- Mis à jour le
- Version
- v1.1
- Sources
- 3 sources
- Statut
- Publié
jeton
Token
Une unité de représentation du contenu traité par un modèle ; dans du texte, elle peut correspondre à un mot ou à un fragment.
Formulations courantes
- compter la taille du contexte
- pourquoi un mot compte plusieurs unités
Différence clé
Un token n’est pas toujours un mot. Le découpage varie avec le modèle et la langue ; utilise le compteur adapté plutôt qu’un nombre de pages.
Exemple
Tu mesures un extrait avec le compteur du modèle avant de décider quels passages transmettre.
Contre-exemple
Dix pages ne représentent pas un nombre fixe de tokens quel que soit leur contenu.
Poursuivre avec un guide
Notions liées
Sources
- https://ai.google.dev/gemini-api/docs/tokens
- https://ai.google.dev/gemini-api/docs/long-context
- https://platform.claude.com/docs/en/build-with-claude/context-windows
Révision glossary-v1.1:token · 2026-09-08
- Digest du contenu sourcé
- sha256:16e514031b0cba3864622fcad997c194b8321b37339c6c44b938851c72e01e19
Comprendre → Reconnaître → Choisir → Comparer
Pack pour ton agent
Instruction pré-écrite par SkillCodex — ta demande n’est ni envoyée ni utilisée pour adapter ce texte ; aucun contenu n’est généré et copier n’exécute rien.
Implémenter correctement
Emploie Token à bon escient
# Ancre Token dans ton agent ## Objectif Emploie « Token » avec précision dans le code, la documentation et les échanges : Une unité de représentation du contenu traité par un modèle ; dans du texte, elle peut correspondre à un mot ou à un fragment. ## Prérequis - Inspecte comment le terme est employé aujourd’hui dans le dépôt, la documentation et les prompts. - Repère les notions voisines déjà nommées : Fenêtre de contexte, Prompt. - Préserve les usages corrects existants. ## Définition de travail Une unité de représentation du contenu traité par un modèle ; dans du texte, elle peut correspondre à un mot ou à un fragment. ## Différence décisive Un token n’est pas toujours un mot. Le découpage varie avec le modèle et la langue ; utilise le compteur adapté plutôt qu’un nombre de pages. ## Exemple qui compte comme Token Tu mesures un extrait avec le compteur du modèle avant de décider quels passages transmettre. ## Contre-exemple Dix pages ne représentent pas un nombre fixe de tokens quel que soit leur contenu. ## Critères d’acceptation - Chaque usage du terme correspond à la définition de travail. - Les cas limites sont tranchés avec la différence décisive, pas à l’intuition. - Les notions voisines (Fenêtre de contexte, Prompt) sont désignées par leur propre terme. ## Garde-fous - Montre d’abord les changements envisagés avant toute action externe. - Ne publie, n’envoie, ne supprime, ne paie et ne modifie aucun état distant sans autorisation explicite. - Préserve les changements sans rapport et arrête-toi si le périmètre devient ambigu. ## Format de sortie - Résultat obtenu ou verdict. - Fichiers ou actions concernés. - Vérifications exécutées et preuves observables. - Blocages ou limites restantes.
- Prérequis · Le vocabulaire agentique déjà employé dans le dépôt et la documentation
Pourquoi ça marche
- La notion est cadrée par une définition de travail sourcée, pas par l’usage ambiant.
- La différence décisive tranche les cas limites de façon reproductible.
- L’exemple et le contre-exemple bornent le terme des deux côtés.
À essayer ensuite
Cartographie les notions voisines
# Cartographie les notions voisines ## Objectif Étends la même rigueur aux notions liées (Fenêtre de contexte, Prompt) pour que le vocabulaire du projet reste cohérent. ## Contrôles - Relève chaque notion voisine employée sans définition. - Applique sa différence décisive documentée. - Note les cas encore ambigus pour la fiche suivante. ## Garde-fous - Montre d’abord les changements envisagés avant toute action externe. - Ne publie, n’envoie, ne supprime, ne paie et ne modifie aucun état distant sans autorisation explicite. - Préserve les changements sans rapport et arrête-toi si le périmètre devient ambigu. ## Format de sortie - Résultat obtenu ou verdict. - Fichiers ou actions concernés. - Vérifications exécutées et preuves observables. - Blocages ou limites restantes.
sha256:51bfeeee3f394d05b34d687f129b92a38d579fa17d0878d5c8701e3a75267c55
Diagnostiquer un problème
Corrige une confusion autour de Token
# Corrige une confusion autour de Token ## Symptôme observé [DÉCRIS ICI LE SYMPTÔME] ## Contrôles observables - Compare l’usage contesté à la définition de travail : Une unité de représentation du contenu traité par un modèle ; dans du texte, elle peut correspondre à un mot ou à un fragment. - Applique la différence décisive : Un token n’est pas toujours un mot. Le découpage varie avec le modèle et la langue ; utilise le compteur adapté plutôt qu’un nombre de pages. - Confronte le cas au contre-exemple documenté : Dix pages ne représentent pas un nombre fixe de tokens quel que soit leur contenu. ## Causes possibles - Le terme est employé pour une notion voisine (Fenêtre de contexte, Prompt). - La forme observée (interface, script, service) est confondue avec le comportement réel. - Un alias (jeton) porte un autre sens dans le projet. ## Corrections bornées - Renomme ou reclasse uniquement les usages qui contredisent la définition de travail. - Documente chaque choix en citant la différence décisive. ## Vérification finale - Relis chaque occurrence corrigée face à l’exemple et au contre-exemple documentés. ## Garde-fous - Montre d’abord les changements envisagés avant toute action externe. - Ne publie, n’envoie, ne supprime, ne paie et ne modifie aucun état distant sans autorisation explicite. - Préserve les changements sans rapport et arrête-toi si le périmètre devient ambigu. ## Format de sortie - Résultat obtenu ou verdict. - Fichiers ou actions concernés. - Vérifications exécutées et preuves observables. - Blocages ou limites restantes.
- Prérequis · Le vocabulaire agentique déjà employé dans le dépôt et la documentation
Pourquoi ça marche
- Le diagnostic compare l’usage à des critères documentés au lieu d’un avis.
- Les corrections restent bornées aux usages réellement contradictoires.
- La vérification finale repasse par l’exemple et le contre-exemple sourcés.
À essayer ensuite
Fixe le vocabulaire dans le projet
# Fixe le vocabulaire dans le projet ## Objectif Transforme la clarification en règle réutilisable pour éviter que la confusion revienne. ## Contrôles - Ajoute la définition de travail au glossaire du projet. - Relie chaque terme voisin à sa propre entrée. - Vérifie les nouveaux documents face à la différence décisive. ## Garde-fous - Montre d’abord les changements envisagés avant toute action externe. - Ne publie, n’envoie, ne supprime, ne paie et ne modifie aucun état distant sans autorisation explicite. - Préserve les changements sans rapport et arrête-toi si le périmètre devient ambigu. ## Format de sortie - Résultat obtenu ou verdict. - Fichiers ou actions concernés. - Vérifications exécutées et preuves observables. - Blocages ou limites restantes.
sha256:362e02fe0bfa2535ef0df7416a74c2e5e0d24f548344f845b9936d3419707ab3
Digest du Pack: sha256:9dae499e9555c276ce4eaf5294c06421df52872d2ea1dd5431eb3351f6e5c0cf