Derrière ces trois lettres se cache un mécanisme étonnamment simple. Démontons-le ensemble, sans jargon — pour pouvoir l'expliquer à votre équipe dès demain.
Il produit du texte nouveau, mot après mot. Il ne recopie pas une base de réponses.
Entraîné sur des milliards de pages bien avant de vous répondre. Ce travail est déjà fait.
L'architecture technique qui le fait fonctionner, inventée par Google en 2017.
On retient surtout le premier mot. Tout le reste découle de cette idée : un GPT génère du texte. Voyons exactement comment.
Il n'a rien mémorisé par cœur, comme un dictionnaire. Il a absorbé quels mots vont statistiquement ensemble. C'est cette intuition statistique qui rend ses prédictions si justes.
anticonstitutionnellement
Un token est un fragment de mot. C'est l'unité que le modèle manipule — et qui sert à facturer l'usage. C'est aussi pourquoi il compte parfois mal les lettres d'un mot : il ne les voit pas une à une.
Le modèle optimise la vraisemblance, pas la vérité. Il peut donc se tromper avec aplomb : c'est l'hallucination. D'où la règle d'or en entreprise — la vérification humaine reste indispensable.
Un GPT est une machine probabiliste qui prédit le mot suivant, entraînée sur d'immenses corpus de texte — puissante, mais à superviser.