Et si l’IA avait déjà vu les questions du test ?
Un bon score peut être trompeur si le Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition a déjà rencontré les exercices. Voici pourquoi l’origine des questions compte.
Sommaire
Un Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition peut réussir un test en partie parce que certaines questions, voire leurs réponses, figuraient déjà dans ses Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition. Son score peut alors donner une image trop favorable de sa capacité à traiter des cas nouveaux. C’est un problème d’évaluation appelé « contamination » du test.
Quand les questions entrent dans l’entraînement
Un test comparatif, souvent appelé benchmark, rassemble des exercices pour mesurer certaines capacités. Pour savoir si un Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition réussit sur des cas nouveaux, il faut distinguer ces exercices des données qui ont servi à l’entraîner.
Mais des questions publiées sur Internet peuvent se retrouver dans les textes collectés pour préparer un modèle. Cela peut arriver sans volonté de tricher. Dans leur étude sur GPT-3 publiée en 2020, les chercheurs décrivent ainsi des recoupements restés présents malgré un filtrage prévu pour les retirer.
Un quiz déjà rencontré
Exemple entièrement fictif : une association veut comparer deux assistants avec un quiz disponible sur le Web. Elle vérifie les réponses et constate qu’un assistant réussit très bien.
Supposons que ce quiz et son corrigé aient déjà fait partie des textes utilisés pour Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition son Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition. Les réponses justes ne permettent plus, à elles seules, de savoir s’il saurait résoudre aussi bien des questions nouvelles. L’association pourrait surestimer cette capacité.
Cette situation illustre le risque ; aucun assistant n’a été testé. Elle ne signifie pas que tout quiz public a été mémorisé.
Regarder comment le test a été préparé
En 2024, les auteurs de LiveBench proposent notamment des questions renouvelées à partir de sources récentes pour limiter ce problème. C’est une méthode de réduction du risque, pas une garantie applicable à tous les tests.
Autre réserve : retrouver un texte dans les Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition ne prouve pas que la réponse a été mémorisée. L’étude sur GPT-3 souligne cette difficulté et observe peu de changement des scores dans la plupart de ses comparaisons après filtrage.
Notre conseil : derrière une note, cherchez comment les questions ont été séparées de l’entraînement. Un score élevé ne prouve ni une tricherie ni une réussite sur votre prochain dossier. Le guide des modèles aide ensuite à comparer les options sur vos propres tâches vérifiables.