On donne au modèle « juge » la question, la réponse à évaluer et une grille de critères explicite (exactitude, ton, respect des consignes), et il rend une note ou un verdict.
La méthode permet de tester des milliers de réponses, là où une relecture humaine en traite quelques dizaines. Mais le juge a ses propres biais : il préfère les réponses longues, peut être influencé par l’ordre de présentation et se trompe parfois.
Bonnes pratiques
- Calibrer le juge sur un jeu de cas annotés à la main, et mesurer son accord avec les humains.
- Demander un raisonnement avant le verdict.
- Garder des tests déterministes partout où c’est possible.