Combattre les Hallucinations dans les Modèles Vision-Langage : Présentation de VaLSe

Les grands modèles vision-langage (LVLMs) ont accompli des progrès remarquables, mais continuent de souffrir du problème des hallucinations d’objets (OH), générant des sorties incohérentes avec les données visuelles. Bien que des travaux précédents aient proposé des méthodes pour réduire ce phénomène, les mécanismes de prise de décision visuelle à l’origine de ces hallucinations restent mal compris. Cet article présente VaLSe, un cadre de pilotage latent conscient de la vision qui adopte une stratégie d’interprétation puis d’atténuation pour résoudre le problème des OH dans les LVLMs.

VaLSe : Une Approche en Deux Étapes

VaLSe s’attaque à deux défis simultanément : la modélisation des interactions complexes vision-langage et l’élimination des artéfacts d’activation parasites. En combinant ces deux aspects, VaLSe génère des cartes de contribution visuelle qui retracent l’influence d’entrées visuelles spécifiques sur chaque jeton de sortie. Ces cartes révèlent les régions sur lesquelles le modèle concentre son attention, fournissant ainsi une interprétation de son processus décisionnel.

Cette étape d’interprétation est cruciale car elle permet de comprendre pourquoi le modèle produit des hallucinations. En identifiant les zones visuelles mal interprétées ou non pertinentes, VaLSe peut ensuite procéder à une étape de mitigation. Cette étape consiste à piloter l’espace latent du modèle, réalignant les représentations internes vers un contenu sémantiquement pertinent et réduisant ainsi les sorties hallucinées.

Résultats et Implications

Des expériences approfondies démontrent que VaLSe est un outil d’interprétabilité puissant et une méthode efficace pour améliorer la robustesse des modèles contre les OH sur plusieurs benchmarks. L’analyse menée a également révélé les limites des métriques d’évaluation OH existantes, soulignant la nécessité de benchmarks plus nuancés, interprétables et visuellement fondés dans les travaux futurs. Le code source est disponible sur GitHub.

Points Clés

• ✓ VaLSe combine interprétation et mitigation pour réduire les hallucinations d’objets dans les LVLMs.
• ✓ Génère des cartes de contribution visuelle pour une meilleure compréhension du processus décisionnel du modèle.
• ✓ Améliore la robustesse des modèles et met en évidence les limites des métriques d’évaluation actuelles.
• ✓ Code source disponible publiquement.

Sources

• arXiv – Seeing It or Not? Interpretable Vision-aware Latent Steering to Mitigate Object Hallucinations