Eles representam valores diretos, nomes, símbolos e estruturas que o interpretador reconhece e processa.
Tokens principais
-
TIPO: Tipos básicos da linguagem:"inteiro"— números inteiros"real"— números decimais"texto"— cadeias de caracteres"logico"— valores booleanos (verdadeirooufalso)"vazio"— ausência de valor (usado em funções sem retorno)
-
NUMBER: Literais numéricos, como42ou3.14. -
STRING: Texto entre aspas, como"Olá"ou"Resultado final". -
IDENTIFIER: Nomes usados para variáveis, funções, classes, etc.
Devem seguir regras de formação com letras (ALPHA), dígitos (DIGIT) e caracteres válidos (CHAR). -
arguments: Lista de expressões separadas por vírgulas, usada em chamadas de função.
Exemplo:soma(2, 3, 5)
Regras de formação
ALPHA: Letras do alfabeto (A–Z, a–z)DIGIT: Dígitos numéricos (0–9)CHAR: Qualquer caractere válido para compor strings ou identificadores