Comment fonctionne l’IA générative ?

Gains :

• Le jeton peut expliquer intuitivement les concepts de probabilité et de prédiction
• Comprend pourquoi un modèle de langage produit du texte « au coup par coup »
• Peut interpréter pourquoi le modèle se comporte parfois de manière décisive et parfois de manière créative

Lorsque vous écrivez « la meilleure chose à propos d'Istanbul » dans un modèle linguistique, cela produit un paragraphe fluide en quelques secondes. Comment cela se produit-il ? Le modèle « pense-t-il » réellement ou existe-t-il un mécanisme beaucoup plus simple mais puissant derrière lui ? Dans cette unité, nous expliquerons le fonctionnement de l'IA générative, sans entrer dans des équations techniques mais en établissant la bonne intuition. Cette intuition est la base de tout ce qui suit, en particulier les thèmes de l'hallucination, de la vérification et d'une bonne écriture rapide. L'IA générative, c'est-à-dire « intelligence artificielle générative », est le nom commun des outils qui créent du texte à partir de zéro au lieu de rechercher et de récupérer une réponse existante.

Idée de base : prédire la pièce suivante

Ce qui est surprenant, c’est que la seule tâche de base qu’un modèle de langage apprend est « quelle partie d’un texte est la plus susceptible de suivre ? » est de répondre à la question. Le modèle ne prépare pas une phrase complète et ne la présente pas devant vous. Au lieu de cela, il produit la phrase morceau par morceau, de gauche à droite.

Voici comment cela fonctionne étape par étape :

1. Il lit le texte (invite) que vous écrivez.
2. Prédit la partie la plus susceptible de suivre ce texte.
3. Ajoute cette pièce.
4. Il examine à nouveau le texte nouvellement formé et devine le prochain élément le plus probable.
5. Se répète jusqu'à ce que la réponse soit complète.

Exemple : Si vous avez donné au modèle le texte "Prenez une tasse chaude quand vous vous réveillez le matin...", la suite la plus probable serait "thé" ou "café" ; Pas "asphalte". Le modèle a appris ces probabilités à partir de millions de textes. Ensuite, il ajoute « thé », puis regarde la nouvelle phrase et devine la prochaine partie la plus probable, et ainsi de suite.

En d’autres termes, à chaque étape, le modèle passe à l’étape suivante en regardant ce qu’il a écrit. C'est pourquoi on l'appelle parfois « version très avancée de la saisie semi-automatique ». Mais cette analogie ne doit pas minimiser le talent ; À la bonne échelle, cette prédiction peut produire des résultats qui ressemblent à un raisonnement.

Jeton : petits morceaux d'un mot

En réalité, le modèle ne fonctionne pas avec des « mots » complets, mais avec des morceaux plus petits appelés jetons. Un jeton ; Parfois c'est un mot entier, parfois c'est une partie d'un mot, parfois c'est un signe de ponctuation.

• "book" peut être un seul jeton.
• « de nos livres » peut être divisé en plusieurs jetons tels que « livre », « s », « notre », « de ».
• Les espaces et les signes de ponctuation comptent également comme des jetons.

Attention : le token n'est pas qu'un détail technique. La plupart des outils d'IA facturent en fonction du nombre de jetons, et la longueur du texte (fenêtre contextuelle) que les modèles peuvent traiter à la fois est également limitée en jetons. Ainsi, « combien de temps vous écrivez » est un coût direct et une limite.

Probabilité et « chaleur » : détermination ou créativité ?

À chaque étape, le modèle produit non pas une seule réponse définitive mais une liste probable de suites possibles. Par exemple, après le mot « chaud » : thé 55 %, café 35 %, lait 7 %, autres 3 %. Alors lequel choisit-il ?

Ici, un paramètre appelé température entre en jeu. La température est une sorte de bouton de créativité qui détermine le niveau de « risque » du modèle.

Paramètre

comportement

Conclusion

Où est-ce utile ?

basse température

Prend toujours l'option la plus probable

Stable, reproductible

Résumé juridique, description technique, extraction de données

température moyenne

Choix équilibré

Naturel mais cohérent

Courriel général, brouillon de rapport

haute température

Essaie des options moins probables

Créatif, diversifié, imprévisible

Brainstorming, slogan, production de nom

Cela explique également la question fréquemment posée : « Pourquoi est-ce que j'obtiens des réponses différentes lorsque je pose deux fois la même question ? » Parce qu’il y a une certaine part de hasard dans le processus de sélection ; Le modèle ne tire pas une réponse fixe d’une base de données, il la reproduit à chaque fois.

Invite faible/Invite forte

Savoir que le modèle fonctionne avec des « probabilités » change également la façon dont vous lui donnez des instructions. Plus vous donnez de contexte, plus la continuation correcte devient probable.

Invite faible : rédigez un texte d’introduction.

Résultat : Le modèle produit le texte le plus « moyen » et générique car il ne sait pas quel produit, quelle audience, quel ton.

Invite forte : rédigez un texte promotionnel sur Instagram pour le nouveau café filtre d'un petit café. Public : 25-35 ans, passionné de café. Ton : amical, court. Maximum 3 phrases, 2 hashtags à la fin.

Résultat : Un texte utilisable et pertinent car le contexte restreint les possibilités.

Trois mini-étuis

Cas 1 — Marketing, grande variété. Une équipe voulait 30 slogans pour un nouveau produit. Avec son réglage de température élevé, le modèle propose différentes options créatives ; L'équipe en a sélectionné et développé 4 sur 30. Durée totale : 10 minutes. Si c'était fait à la main, cela prendrait une demi-journée.

Cas 2 — Droit, haute détermination. L'équipe juridique de la même entreprise simplifiait une clause contractuelle. Ils voulaient de la cohérence, pas de la créativité ; À basse température, le modèle a donné à chaque fois presque le même résumé conservateur. Il n’y avait donc aucune incohérence entre les différents essais.

Cas 3 — « Pourquoi cela a-t-il changé ? » question. Un employé a demandé deux fois le même brouillon d’e-mail et a reçu deux résultats différents ; Il pensait que c'était une "erreur". En fait, c’est une conséquence naturelle du caractère aléatoire du modèle. Une fois que l’employé a appris à sauvegarder la version qui lui plaisait et à dire « faites-la comme la précédente » si nécessaire, il n’y a eu aucun problème.

Le modèle « comprend-il » ?

C'est la question la plus curieuse. Le modèle a si bien appris les relations statistiques entre les mots qu’il prétend comprendre de nombreuses tâches. Mais il n’a pas de compréhension consciente, d’intention ou de mécanisme de contrôle de la réalité. Il produit « la suite la plus probable » ; Il ne garantit pas la production des « informations les plus précises ». Cette distinction est à la base du sujet de l’hallucination, que nous aborderons dans les prochaines unités.

Erreurs courantes

Erreurs courantes

• Confondre le modèle avec un moteur de recherche. Le modèle ne recherche pas sur Internet et ne récupère pas de ressources (sauf s'il existe une fonction de recherche spéciale) ; Génère du texte possible à partir de la mémoire. Il peut donc inventer la source/le chiffre.
• Confondre aisance et précision. Ce n’est pas parce que le texte est beau et confiant que son contenu est correct.
• S'attendre à la même réponse à chaque fois. Le hasard est naturel ; Enregistrez le résultat que vous aimez pour les tâches critiques.
• Coller du texte très long et inutile et repousser la limite des jetons. La longueur augmente le coût et peut détourner l’attention du modèle ; donnez simplement le contexte nécessaire.

Attention : Ce n'est pas parce que le modèle parle couramment et avec assurance qu'elle parle correctement. La maîtrise est la conséquence naturelle de l’estimation des probabilités ; La précision est quelque chose qui doit être vérifié séparément et indépendamment.

En résumé

• L'IA générative génère du texte étape par étape en prédisant le prochain fragment (jeton) le plus probable ; construit la phrase morceau par morceau.
• Les jetons sont des parties de mots plus petites et fixent des limites de coût et de longueur.
• A chaque étape, le modèle produit une liste de possibilités ; Le réglage de la température détermine la stabilité ou la créativité de la sortie.
• La raison des réponses différentes à la même question est due au caractère aléatoire inhérent à ce processus.
• Le mannequin parle couramment, mais cela ne garantit pas qu'elle dit la vérité ; La fluidité et la précision sont des choses différentes.

Tâche d'application

Donnez à votre outil d'IA la même tâche créative (par exemple « écrire une note de remerciement rapide ») deux fois de suite et observez en quoi les résultats diffèrent. Répétez ensuite la même tâche avec le modèle « Invite puissante », en ajoutant du contexte, et notez la différence de qualité entre les deux résultats.

Liste de contrôle

• [ ] Je peux expliquer que le modèle produit le texte en "prédisant le prochain morceau possible".
• Je sais ce qu'est le jeton [ ] et pourquoi il signifie coût/limite.
• [ ] Je peux faire la distinction entre les emplois qui nécessitent de la détermination et ceux qui nécessitent de la créativité.
• [ ] Je sais qu'il est normal d'obtenir des réponses différentes à la même question.
• [ ] J'ai intériorisé que la maîtrise n'est pas une garantie d'exactitude.