Décryptage des erreurs en simplification de texte : une nouvelle taxonomie et une collection de tests

L’accès à l’information est un droit fondamental, mais la complexité des textes peut constituer un obstacle majeur. La simplification automatique de texte (SAT) se présente comme une solution pour rendre l’information plus accessible à tous, notamment grâce aux progrès récents des grands modèles linguistiques (LLMs). Cependant, les méthodes d’évaluation actuelles de la SAT peinent à suivre le rythme de ces avancées technologiques. Une étude récente a notamment révélé une faible corrélation entre les métriques utilisées et la présence d’erreurs réelles dans les textes simplifiés.

Une taxonomie des erreurs pour une évaluation plus fine

Face à ce constat, une nouvelle approche est nécessaire. Un ensemble de tests a été développé pour détecter et classifier les erreurs dans les textes simplifiés. Ce travail introduit une taxonomie des erreurs, axée sur la distorsion d’information. Cette classification détaillée permet une analyse plus précise des failles des systèmes de SAT.

Un corpus annoté pour une évaluation rigoureuse

Pour alimenter cette analyse, un corpus de textes scientifiques simplifiés automatiquement a été créé. Ce corpus a ensuite été annoté manuellement par des experts, selon la taxonomie définie précédemment. Cette annotation rigoureuse permet une évaluation plus objective de la performance des modèles de SAT.

Analyse des performances et perspectives

L’étude analyse les performances de modèles existants sur ce nouveau corpus annoté. Les résultats permettent d’identifier les forces et faiblesses de ces modèles et ouvrent des perspectives pour le développement de systèmes de SAT plus robustes et précis. L’objectif final est d’améliorer significativement la qualité des textes simplifiés et de garantir un accès plus équitable à l’information.