Comparer deux assistants IA avec un petit banc d’essai

Préparer les cas d’essai

Choisissez plusieurs tâches : résumer une procédure, expliquer une erreur et reformuler une fiche produit. Pour chaque tâche, préparez les éléments attendus et les erreurs qui rendraient la réponse inutilisable.

Exécuter une comparaison équitable

1. Utilisez les mêmes documents et la même consigne.
2. Notez les outils disponibles : recherche, lecture de PDF ou exécution de code.
3. Évaluez les réponses sans regarder le nom du fournisseur si possible.
4. Répétez quelques cas pour observer la variabilité.

Attribuez une note séparée à l’exactitude, au respect des consignes et à la clarté. Mesurez également le temps nécessaire pour corriger et publier le résultat.

Interpréter les scores

Un assistant peut gagner sur la rédaction et perdre sur l’extraction de chiffres. Conservez les résultats par type de tâche au lieu de fabriquer un classement général qui masque ces différences.

Limites

Un petit test interne ne démontre pas une supériorité universelle. Notez la date, la version et les réglages pour pouvoir refaire la comparaison après un changement de modèle ou de fonctionnalités.

Sources et documentation

• www.anthropic.com — documentation de référence

À lire aussi

• Tester une IA locale sur son PC sans commencer trop gros
• Écrire un prompt clair : une méthode en cinq éléments