Un modèle de langage génère le texte le plus probable, pas le plus vrai. Il peut donc citer une fonction qui n’existe pas, inventer une source ou affirmer un fait faux avec assurance.
Pour une équipe QA, tester une application IA, c’est d’abord mesurer ce taux d’hallucination sur des questions dont on connaît la réponse, puis vérifier que l’application sait dire « je ne sais pas ».