SpatialScore : Révolutionner la compréhension spatiale multimodale

Les grands modèles linguistiques multimodaux (MLLM) ont fait des progrès remarquables dans les tâches de questions-réponses, mais leurs capacités de compréhension spatiale restent largement inexplorées. SpatialScore s’attaque à cette problématique en proposant une évaluation unifiée et exhaustive de la perception et de la compréhension spatiale 3D des MLLM.

VGBench : Un nouveau standard pour la géométrie visuelle

L’étude introduit VGBench, une nouvelle référence pour évaluer la perception géométrique visuelle des MLLM, notamment l’estimation de la pose et du mouvement de la caméra. VGBench complète les lacunes existantes dans l’évaluation des capacités spatiales des modèles d’IA.

SpatialScore : Un benchmark complet et diversifié

SpatialScore, le cœur de cette recherche, intègre VGBench à 11 autres ensembles de données existants, créant ainsi le benchmark le plus complet et diversifié à ce jour pour la compréhension spatiale multimodale. Il contient 28 000 échantillons couvrant diverses tâches, modalités et formats de questions-réponses, incluant un sous-ensemble difficilement « SpatialScore-Hard ». Ce benchmark permet une évaluation rigoureuse et multi-facettes des capacités spatiales des modèles.

SpatialAgent : Un système multi-agents pour une compréhension spatiale avancée

Pour accompagner SpatialScore, les chercheurs ont développé SpatialAgent, un système multi-agents innovant intégrant 9 outils spécialisés pour la compréhension spatiale. SpatialAgent prend en charge les paradigmes de raisonnement Plan-Execute et ReAct, démontrant ainsi une approche plus sophistiquée pour traiter les informations spatiales complexes.

Résultats et défis persistants

Les évaluations menées mettent en lumière les défis persistants liés au raisonnement spatial, même avec des modèles d’IA avancés. Néanmoins, SpatialAgent démontre son efficacité dans l’amélioration de la performance sur SpatialScore. Ces résultats soulignent l’importance de benchmarks rigoureux comme SpatialScore pour guider le développement futur des MLLM.

Points clés à retenir

• ✓ SpatialScore offre une évaluation unifiée et exhaustive de la compréhension spatiale des MLLM.
• ✓ VGBench complète l’évaluation des capacités de perception géométrique visuelle.
• ✓ SpatialAgent, un système multi-agents, améliore la performance sur les tâches spatiales complexes.
• ✓ Les résultats mettent en évidence des défis persistants dans le raisonnement spatial des MLLM.