Tokenizador de Mistral

Los modelos de lenguaje grande como Mistral decodifican texto a través de tokens, secuencias frecuentes de caracteres dentro de un corpus de texto. Estos modelos dominan el arte de reconocer patrones entre tokens, prediciendo hábilmente el token siguiente en una serie.

A continuación, encontrarás una herramienta diseñada para mostrar cómo los modelos Mistral como

descomponen un texto en tokens, junto con un conteo de los tokens totales presentes en el texto.

Más tokenizers