Secção de Tokens

Permite associar tokens a identificadores.

Esses identificadores devem depois ser associados a regras léxicas, que podem estar na mesma gramática, noutra gramática, ou mesmo ser directamente programados.

tokens {«Token1» , ... ,«TokenN»}

Por exemplo:

tokens{ BEGIN, END, IF, ELSE, WHILE, DO }

Note que não é necessário ter esta secção quando os tokens tem origem numa gramática lexical antlr4 (basta a secção options com a variável tokenVocab correctamente definida).