Tokenizer de Mistral

Les grands modèles de langage tels que Mistral décodent le texte à travers des tokens—séquences de caractères fréquentes dans un corpus de texte.

Ces modèles maîtrisent l'art de reconnaître les motifs parmi les tokens, prédisant habilement le token suivant dans une série.

Ci-dessous, vous trouverez un outil conçu pour montrer comment les modèles Mistral tels que

décomposent un texte en tokens, avec en plus le compte total des tokens présents dans le texte.

Plus de tokenizers