Tokenizer de OpenAI

Les modèles de langage tels que OpenAI déchiffrent le texte par le biais de tokens—des séquences de caractères fréquentes dans un corpus textuel. Ces modèles maîtrisent l'art de reconnaître les modèles parmi les tokens, prédisant habilement le token suivant dans une série.

Ci-dessous, vous trouverez un outil conçu pour montrer comment des modèles OpenAI tels que

décomposent un texte en tokens, avec un comptage des tokens présents dans le texte.

Plus de tokenizers