Tokenizer de Llama 3

Les grands modèles de langage comme Llama 3.1 décodent le texte par des tokens—séquences de caractères fréquentes dans un corpus de texte. Ces modèles maîtrisent l'art de reconnaître les motifs parmi les tokens, prédisant habilement le token suivant dans une série.

Ci-dessous, vous trouverez un outil conçu pour montrer comment des modèles Llama 3 tels que

décomposent un texte en tokens, ainsi qu'un décompte du total des tokens présents dans le texte.

Plus de tokenizers