Comment fonctionne un générateur de quiz IA — et pourquoi la plupart se trompent

Il existe aujourd’hui une quantité d’outils qui promettent un quiz sur n’importe quel sujet. Presque tous fonctionnent de la même façon : ils envoient votre sujet à un modèle de langage et publient ce qui revient.

Ça marche étonnamment souvent. Et ça échoue d’une manière très particulière, qui est exactement le pire scénario pour un quiz.

Le problème n’est pas que le modèle ne sait pas

Un modèle de langage ne consulte rien quand il répond. Il produit la suite de mots la plus plausible d’après ce qu’il a lu pendant son entraînement. Pour une question de culture générale solide — la capitale du Pérou, le nombre de joueurs sur un terrain de football — c’est très fiable, parce que l’information est partout dans les données.

Le problème apparaît sur trois cas, et ce sont précisément ceux qui rendent un quiz intéressant :

• Ce qui est récent. Un modèle a une date de fin d’entraînement. Un événement d’il y a trois semaines n’existe pas pour lui, mais il répondra quand même.
• Ce qui est précis. Une date exacte, un score exact, un nom de troisième rôle. Le modèle produit quelque chose qui a la bonne forme — une date plausible, un nom plausible.
• Ce qui est spécialisé. Plus le sujet est pointu, moins il y a de données, plus la génération glisse vers l’approximation.

Dans les trois cas, le modèle ne signale pas qu’il est incertain. Il répond avec exactement le même ton que pour la capitale du Pérou. C’est ça, le vrai défaut : l’erreur arrive avec l’assurance de la vérité.

Pourquoi c’est plus grave pour un quiz que pour un texte

Une faute dans un paragraphe se corrige. Une faute dans un quiz se découvre en public.

Le déroulé est toujours le même : la question tombe, quelqu’un donne la bonne réponse, l’app affirme le contraire, quelqu’un sort son téléphone, et la partie s’arrête. Vous ne perdez pas une question : vous perdez la confiance dans les quinze autres, et la soirée.

Un quiz est un objet dont la valeur repose entièrement sur le fait qu’il ait raison.

Ce qu’il faut ajouter : chercher avant d’écrire

La correction est moins spectaculaire qu’un modèle plus gros : il faut simplement que le système aille chercher l’information au moment de la demande, au lieu de la faire remonter d’une mémoire figée.

Concrètement, une chaîne qui tient ressemble à ça :

1. Planifier la couverture avant de chercher. Une seule recherche générique remonte ce qui est populaire, donc trois questions sur le même angle. Décider d’abord quels angles couvrir donne un quiz varié plutôt que trois fois la même question.
2. Une recherche par angle. Chaque requête ne chasse que sa zone.
3. N’écrire qu’à partir de ce qui est revenu. Le modèle rédige depuis un dossier de sources, pas depuis sa mémoire. S’il n’y a rien dans le dossier, il n’y a pas de question.

À ce stade, on a déjà supprimé l’essentiel des inventions. Mais pas toutes.

La vérification qui change tout : résoudre à l’aveugle

L’étape la plus utile est aussi la moins évidente.

Une fois les questions écrites, on les repasse à un second modèle, à qui on ne donne pas le corrigé. On lui demande simplement de répondre — et de justifier sa réponse à partir des sources.

Trois cas :

• Il trouve la même réponse, et peut la prouver → la question passe.
• Il trouve une autre réponse → soit la question est fausse, soit elle est ambiguë. Dans les deux cas, elle ne devrait pas être jouée.
• Il ne peut pas trancher → la question est mal posée, ou plusieurs réponses sont défendables. Elle saute.

Ce test attrape une chose qu’aucune relecture ne voit : une question sur laquelle deux réponses se défendent. C’est la source la plus fréquente de dispute autour d’une table, et elle ne ressemble pas du tout à une erreur quand on la lit avec le corrigé sous les yeux.

Ce que ça ne garantit pas

Il faut être honnête sur la limite. Si la recherche échoue — un fournisseur en panne, un quota épuisé — un système sérieux a un plan de secours, et ce plan de secours est en général un modèle sans recherche. Autrement dit : le mode dégradé est exactement le mode que tout ce travail vise à éviter.

C’est pour ça que la bonne formulation n’est jamais « garanti correct ». C’est recherché et vérifié, ce qui est une promesse différente, et tenable.

C’est aussi pour ça qu’une explication qui indique d’où vient l’information vaut mieux qu’une explication qui affirme. Le lecteur peut vérifier.

Ce qu’il faut regarder dans un outil

• Est-ce qu’il cherche au moment de la demande, ou est-ce qu’il répond de mémoire ?
• Est-ce qu’il vous dit d’où vient la réponse ?
• Est-ce qu’il accepte un sujet d’hier, ou est-ce qu’il déraille ?
• Est-ce qu’il promet la perfection ? (Si oui, il ne sait pas comment ça marche.)

C’est le principe suivi par le générateur d’EpiQuiz : recherche au moment de la demande, rédaction à partir des sources uniquement, résolution à l’aveugle par un second modèle, et abandon de tout ce qui ne se prouve pas.