Concurso:
TCE-RN
Disciplina:
Não definido
mostrar texto associado
Em um processo de mineração de texto, a tokenização é o processo de dividir textos longos em palavras individuais, removendo-se espaços e pontuação, para fins de identificação da frequência de termos ou da estrutura de uma frase em um grande volume de documentos.
