Tokenizer de Gemma
Les grands modèles de langage tels que Gemma décodent le texte à travers des tokens—séquences de caractères fréquentes dans un corpus de texte.
Ces modèles maîtrisent l'art de reconnaître les motifs parmi les tokens, prédisant habilement le token suivant dans une série.
Ci-dessous, vous trouverez un outil conçu pour montrer comment les modèles Gemma tels que
Tokens:
1
Caractères:
5
Plus de tokenizers
Vous construisez un produit IA ?
Lunary : open-source de surveillance GenAI, gestion de prompts, et magie.
Open Source
Self Hostable
Evaluations
Alerts
Public API
Exports
Prompt Templates
Chat Replays
Agent Tracing
Metrics
Feedback Tracking
LangChain Support
Open Source
Self Hostable
Evaluations
Alerts
Public API
Exports
Prompt Templates
Chat Replays
Agent Tracing
Metrics
Feedback Tracking
LangChain Support