Une IA peut-elle s’appauvrir en apprenant avec des textes d’IA ?
Des textes générés peuvent servir à Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition d’autres Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition. Mais remplacer les exemples précédents peut faire disparaître une partie de leur diversité.
Sommaire
Oui : quand les textes produits par une Intelligence artificielle (IA)Des programmes capables de réaliser des tâches qui demandaient jusqu'ici l'intelligence humaine : classer, prévoir, reconnaître une image, comprendre ou produire un texte. Voir la définition remplacent les données utilisées pour Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition les suivantes, certaines particularités peuvent se perdre au fil des générations. Ce risque porte le nom d’« effondrement du Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition ». Il concerne ici des entraînements successifs, pas simplement une conversation qui s’allonge.
Une génération ne conserve pas toute la diversité
Pendant l’entraînement, un modèle de langage apprend des régularités à partir d’exemples. Les textes qu’il produit ensuite ne reproduisent pas parfaitement toute leur variété. Des cas rares peuvent manquer dans la nouvelle collection.
Si celle-ci devient la seule matière d’apprentissage de la génération suivante, ces absences peuvent se transmettre et s’amplifier. Une étude de Shumailov et ses collègues, publiée dans Nature en 2024, décrit cette perte des cas peu fréquents, ainsi que l’accumulation d’erreurs dans les conditions étudiées.
Un recueil qui oublie la mer
Exemple entièrement fictif : une équipe Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition un petit modèle à partir de récits, principalement situés dans des jardins, avec quelques aventures en mer. Elle lui fait produire une nouvelle collection, puis écarte les textes de départ.
Imaginons que les récits maritimes soient absents du lot généré. Un nouveau modèle entraîné uniquement sur ce lot ne reçoit plus ces exemples. Répéter l’opération peut appauvrir les situations représentées, même si les phrases restent agréables à lire.
Ce scénario simplifie le risque ; aucun modèle n’a été entraîné pour cet exemple. Il ne prédit pas combien de générations suffiraient à provoquer une perte.
Tout dépend aussi des données conservées
Utiliser des textes générés n’impose donc pas cette issue. Dans leurs expériences sur des modèles de langage, Gerstgrasser et ses collègues (2024) évitent la dégradation progressive mesurée en conservant le corpus initial et en accumulant les ajouts générés, au lieu de remplacer les données à chaque étape.
Cela ne garantit pas la réussite de tout mélange et ne diagnostique pas les assistants actuels. Le résultat dépend du protocole étudié.
À retenir : produire davantage de textes ne garantit pas de préserver la diversité des exemples de départ. Pour comprendre ce qui relève d’un véritable Données d'entraînementL'ensemble des textes, images ou sons qu'une IA a « lus » pour apprendre. Ses connaissances et ses défauts en dépendent. Voir la définition, voyez aussi pourquoi des exemples dans une conversation ne réentraînent pas automatiquement l’IA.