Tokenizer de OpenAI

Les grands modèles de langage comme OpenAI décodent le texte par des tokens—séquences de caractères fréquentes dans un corpus de texte. Ces modèles maîtrisent l'art de reconnaître les motifs parmi les tokens, prédisant habilement le token suivant dans une série.

Ci-dessous, vous trouverez un outil conçu pour montrer comment des modèles OpenAI tels que

décomposent un texte en tokens, ainsi qu'un décompte du total des tokens présents dans le texte.

Plus de tokenizers