Comprendre l'IA · Fiche 1 sur 9

Le Sac
à Tokens

L'IA ne lit pas des mots. Elle lit des petits morceaux de texte : les tokens. Et elle écrit en devinant le suivant.

Le mot à connaître Token

Un petit morceau de texte : un mot court, ou un bout de mot long. Quelques lettres, en général.

L'IA compte tout en tokens : ce qu'elle lit, ce qu'elle écrit, ce que ça coûte.

Écris une phrase

Regarde comment l'IA la découpe en morceaux.

Ton texte

0mots

0tokens

0caractères

0tokens par mot

Découpage simplifié pour l'exemple. Le vrai découpage change un peu selon le modèle.

Court ou long ?

Un mot court ou très courant = 1 token.
Un mot long ou rare = plusieurs tokens.
Un nombre aussi est coupé : 2026 = 2 tokens (202 + 6).

La ponctuation compte aussi. Une espace est collée au mot qui la suit.

Jeu : le compte est bon

0 / 3

Écris une phrase qui fait exactement le bon nombre de tokens. Puis vérifie.

Astuce : un mot court ou très courant fait 1 token. Un mot long ou rare en fait plusieurs. La ponctuation compte aussi.

Ta phrase

Ça fait combien de tokens ?

Remplis le sac : la mémoire de l'IA, de 200 000 tokens. Ajoute des textes, et regarde quand ça déborde.

Le sac : 200 000 tokens

Ordres de grandeur pour un texte en français. 200 000 tokens, c'est une taille de mémoire courante. Selon l'IA et ton abonnement, elle va de quelques dizaines de milliers à 1 million de tokens (voir « La Mémoire qui Déborde »).

Comment l'IA écrit : elle devine la suite

L'IA écrit sa réponse token après token. À chaque fois, elle devine celui qui a le plus de chances de venir après. Ici, pour simplifier, on montre des mots entiers. Choisis une question, puis suis l'IA, étape par étape.

Choisis une question

Toi

IA

Le ton de la réponseSûr

Ses chances d'avoir juste

Les mots possibles, et leurs chances

Chances sur 100. Les autres mots en ont encore moins.

Chances inventées pour comprendre. Sur un sujet rare, elle devine quand même : c'est une hallucination (voir « Le Détecteur de Bobards »).

Mes réflexes anti-gaspi

Mes réflexes0 sur 6

J'écris court et clair. Pas de longue introduction. Je colle seulement la partie utile d'un long texte. Je garde l'ordre de grandeur en tête : 100 mots ≈ 170 tokens. Un mot rare, un nom ou un nombre prend plus de tokens. Je demande une réponse de la bonne longueur : « en 5 lignes », par exemple. Une réponse qui sonne bien n'est pas forcément juste : l'IA devine la suite.

À retenir

L'IA lit et écrit en tokens. Un token = un petit morceau de texte : un mot court, ou un bout de mot long.
Un mot court ou très courant = 1 token. Un mot long ou rare = plusieurs tokens. La ponctuation compte aussi.
Tout se compte en tokens : ce que l'IA lit, ce qu'elle écrit, et ce que ça coûte.
Pour écrire, elle devine le token le plus probable, un par un. Même quand elle ne sait pas.

Le Sacà Tokens