L’IA apprend à penser comme nous : moins de calculs, plus d’efficacité

Les modèles de langage visuel (VLMs) sont de plus en plus performants, mais leur raisonnement peut être coûteux en calculs. Une nouvelle méthode, TON, s’inspire du processus de pensée humain pour optimiser ce processus.

Le défi du raisonnement dans les modèles IA

L’apprentissage par renforcement (RL) a permis des avancées significatives dans le raisonnement des VLMs. Cependant, des méthodes comme GRPO, bien que performantes, entraînent une augmentation significative de la consommation de ressources. Imaginons une recherche d’informations : un humain ne réfléchit pas longuement à une question simple, mais se concentre sur les questions complexes. TON vise à reproduire cette flexibilité.

TON : Penser ou ne pas penser, telle est la question

TON est une approche en deux étapes. La première, un affinage supervisé (SFT), utilise une technique de « suppression de pensées » où des parties du raisonnement sont aléatoirement supprimées. Ceci entraîne le modèle à choisir de raisonner ou non. La seconde, utilisant GRPO, permet au modèle d’apprendre à optimiser son processus de raisonnement en fonction de la complexité de la tâche.

✓ Étape 1 (SFT) : Apprentissage à ignorer le raisonnement pour les tâches simples.
✓ Étape 2 (GRPO) : Optimisation du choix de raisonner ou non pour maximiser l’efficacité.

Résultats impressionnants

Les résultats sont étonnants : TON réduit la longueur des traces de raisonnement jusqu’à 90% par rapport à GRPO, sans perte de performance, voire avec une amélioration ! Des tests sur différents modèles (3B et 7B paramètres) et tâches montrent que le modèle apprend à éviter les étapes de raisonnement inutiles. Cela ouvre la voie à des IA plus efficaces et plus proches des capacités humaines.