ChatGPT, le phénomène

Depuis son lancement en novembre 2022, ChatGPT a atteint 100 millions d'utilisateurs en 2 mois — un record absolu dans l'histoire d'internet (Instagram avait mis 2 ans et demi pour atteindre ce chiffre).

Tout le monde l'utilise, beaucoup s'en étonnent, mais peu savent réellement comment il fonctionne. Voici l'explication honnête.

ChatGPT n'est pas un moteur de recherche

Première chose à comprendre : ChatGPT ne cherche pas sur internet (sauf si vous lui donnez explicitement accès à des outils web). Il ne va pas consulter des sites pour vous répondre.

Il fonctionne différemment : il a mémorisé une quantité astronomique de texte pendant sa phase d'entraînement, et il génère ses réponses à partir de cette mémoire.

Imaginez quelqu'un qui aurait lu une bibliothèque de plusieurs milliards de livres, articles, forums et sites web — et qui serait capable de vous répondre de mémoire sur n'importe quel sujet. C'est à peu près le concept.

La technologie derrière : les LLM

ChatGPT appartient à une famille de modèles appelés LLM — Large Language Models (Grands Modèles de Langage).

Le terme "grand" est un euphémisme. Le modèle GPT-4 qui propulse ChatGPT Plus contient des centaines de milliards de paramètres. Pour vous donner une idée : un paramètre, c'est un petit nombre (un poids mathématique) que le modèle a appris à ajuster pendant son entraînement. Il y en a autant que le nombre de neurones dans plusieurs milliers de cerveaux humains réunis.

Comment ChatGPT génère une réponse

Voici la mécanique, étape par étape.

Étape 1 : La tokenisation

ChatGPT ne lit pas les mots comme vous. Il découpe le texte en tokens — des fragments qui peuvent être des mots entiers, des parties de mots, ou même des caractères de ponctuation.

Par exemple, la phrase "L'intelligence artificielle" devient quelque chose comme : ["L'", "intel", "ligence", " artificielle"].

Ce découpage permet au modèle de gérer n'importe quelle langue et n'importe quel mot, même des mots inventés.

Étape 2 : La prédiction du prochain token

Le cœur du modèle fait une chose étonnamment simple : prédire quel est le token le plus probable qui doit venir ensuite.

Vous tapez : "La capitale de la France est…"

Le modèle calcule la probabilité de chaque token possible comme suite :

  • "Paris" → 97%
  • "Lyon" → 0.5%
  • "une" → 1.2%
  • etc.

Il choisit "Paris" (ou parfois un token légèrement moins probable, pour ne pas être trop répétitif), puis recommence pour le token d'après, et ainsi de suite.

C'est tout. ChatGPT génère son texte mot par mot, en prédisant en permanence ce qui devrait venir ensuite. La magie, c'est que cette opération simple, répétée avec suffisamment de puissance et de données, produit des textes d'une cohérence stupéfiante.

Étape 3 : L'attention — comprendre le contexte

La vraie innovation des LLM modernes, c'est le mécanisme d'attention (issu d'une architecture appelée Transformer, inventée par Google en 2017).

Ce mécanisme permet au modèle de "regarder" l'ensemble de la conversation en cours, et de comprendre quels éléments sont importants pour chaque mot qu'il génère.

Exemple : dans la phrase "Marie a dit à Sophie qu'elle était fatiguée", pour comprendre à qui réfère "elle", un humain regarde l'ensemble de la phrase. Le mécanisme d'attention fait exactement la même chose — il mesure quels mots ont le plus d'influence sur les autres.

L'entraînement : comment ChatGPT a appris

Phase 1 : Pré-entraînement (la lecture universelle)

OpenAI a nourri GPT avec une quantité colossale de textes : des centaines de milliards de mots issus de livres, Wikipedia, Reddit, GitHub, articles scientifiques, sites web…

L'objectif ? Que le modèle apprenne à prédire le texte manquant. On lui montre une phrase avec un mot caché et il doit deviner lequel. Répété des milliards de fois, le modèle finit par développer une compréhension statistique profonde du langage, du raisonnement, des faits et même du code.

Phase 2 : Le fine-tuning (apprendre à être utile)

Un modèle pré-entraîné est capable de générer du texte cohérent, mais pas forcément utile ou sûr. Pour transformer GPT en "assistant", OpenAI a utilisé une technique appelée RLHF (Reinforcement Learning from Human Feedback).

En résumé :

  1. Des annotateurs humains ont généré des exemples de bonnes réponses.
  2. Le modèle a appris à imiter ces exemples.
  3. Un "modèle de récompense" a été entraîné à noter la qualité des réponses.
  4. ChatGPT a été optimisé pour maximiser ces notes.

C'est cette phase qui donne à ChatGPT son ton utile, prudent, et sa capacité à refuser des demandes problématiques.

Les limites réelles de ChatGPT

ChatGPT est impressionnant. Mais il a des limitations importantes que vous devez connaître.

Les hallucinations

ChatGPT peut inventer des faits avec une totale assurance. Il peut citer des livres qui n'existent pas, des études qui n'ont jamais été publiées, ou donner des chiffres incorrects. Pourquoi ? Parce qu'il génère du texte plausible, pas du texte vérifié.

Règle d'or : Ne jamais utiliser ChatGPT comme source unique pour des informations factuelles importantes. Vérifiez toujours.

La date de coupure

ChatGPT ne connaît pas les événements récents. Son entraînement a une "date de coupure" — après cette date, il ne sait rien. Si vous lui demandez les résultats sportifs d'hier, il ne peut pas répondre correctement.

L'absence de compréhension réelle

ChatGPT ne "comprend" pas ce qu'il dit. Il génère des réponses statistiquement cohérentes. Sur des sujets complexes ou ambigus, il peut produire du texte qui a l'air juste mais qui est profondément erroné.

La mémoire limitée

ChatGPT ne se souvient pas de vos conversations précédentes (sauf si vous utilisez la fonctionnalité "mémoire" activée dans les paramètres). Chaque conversation repart de zéro.

ChatGPT vs les autres IA du marché

| Modèle | Entreprise | Points forts | |---|---|---| | GPT-4o | OpenAI | Polyvalence, qualité générale | | Claude 3.5 | Anthropic | Raisonnement, nuance, éthique | | Gemini Ultra | Google | Intégration Google, multimodal | | Llama 3 | Meta | Open-source, hébergeable soi-même | | Mistral | Mistral AI | Efficacité, modèles européens |

Ce qu'il faut retenir

  • ChatGPT génère du texte token par token, en prédisant ce qui est le plus probable.
  • Il a été entraîné sur des centaines de milliards de mots d'internet.
  • Il ne "comprend" pas — il calcule des probabilités avec une sophistication extraordinaire.
  • Ses limites principales : hallucinations, date de coupure, absence de mémoire inter-sessions.
  • Il est extraordinairement utile, à condition de savoir l'utiliser avec esprit critique.

Dans le prochain article, on va parler d'un sujet qui passionne et inquiète à la fois : la révolution de l'IA générative et comment elle est en train de transformer des industries entières.