Évaluation de la qualité des modèles de génération d’images à partir de texte : Le défi NTIRE 2025

Le défi NTIRE 2025, organisé dans le cadre de l’atelier New Trends in Image Restoration and Enhancement (NTIRE) à CVPR 2025, s’est concentré sur l’évaluation fine de la qualité des modèles de génération d’images à partir de texte (T2I). Ce défi crucial a exploré deux axes principaux : l’alignement image-texte et la détection de distorsions structurelles au sein des images générées.

L’alignement image-texte : un défi majeur

Le volet « alignement » a utilisé la base de données EvalMuse-40K, comprenant environ 40 000 images générées par IA (AIGI) issues de 20 modèles populaires. Avec 371 participants enregistrés, 1 883 soumissions ont été reçues durant la phase de développement, et 507 durant la phase de test. Douze équipes ont finalement soumis leurs modèles et fiches techniques. L’objectif était d’évaluer la cohérence sémantique entre le texte d’entrée et l’image générée. Imaginez une requête décrivant un « lion majestueux dans la savane africaine » : un modèle performant restituera une image correspondant précisément à cette description, avec un lion bien reconnaissable dans un paysage de savane réaliste.

Détection des distorsions structurelles

Le second volet, axé sur la détection des distorsions structurelles, a utilisé EvalMuse-Structure, contenant 10 000 AIGI avec des masques de distorsion correspondants. Ici, l’accent était mis sur l’identification d’anomalies dans la structure de l’image générée, comme des déformations ou des incohérences visuelles. Avec 211 participants enregistrés, 1 155 soumissions ont été reçues pendant la phase de développement et 487 pendant la phase de test. Huit équipes ont présenté leurs modèles et fiches techniques. Pensez à une image de girafe où les pattes sont déformées ou où le cou est anormalement court : le modèle de détection de distorsion devrait identifier ces problèmes.

Résultats et perspectives

La plupart des méthodes ont surpassé les méthodes de référence, les méthodes gagnantes dans les deux volets affichant des performances supérieures en matière d’évaluation de la qualité des modèles T2I. Ces résultats soulignent l’importance de développer des outils d’évaluation robustes pour guider le développement de modèles T2I toujours plus performants et réalistes. Les défis futurs pourraient inclure l’extension des bases de données d’évaluation à d’autres types de contenus visuels et l’intégration de critères d’évaluation plus subtils, prenant en compte des aspects esthétiques et émotionnels. Ceci pourrait inclure par exemple l’analyse de la cohérence stylistique pour des images générées dans un style spécifique, comme celui de l’art traditionnel africain.

Points clés à retenir

• ✓ Le défi NTIRE 2025 a évalué la qualité des modèles T2I selon deux axes : alignement image-texte et détection de distorsions structurelles.
• ✓ Des méthodes ont surpassé les méthodes de référence, démontrant des progrès significatifs dans le domaine.
• ✓ L’amélioration continue des outils d’évaluation est cruciale pour le développement de modèles T2I plus performants.
• ✓ De futures recherches pourraient explorer des critères d’évaluation plus nuancés, incluant l’esthétique et l’émotion.