MAPLE : Révolutionner l’apprentissage en contexte avec des données limitées

L’apprentissage en contexte (ICL) a révolutionné la manière dont les grands modèles de langage (LLM) abordent diverses tâches. En intégrant des exemples d’entrée-sortie, appelés démonstrations, dans l’entrée des LLM, l’ICL permet une adaptation flexible. Récemment, l’augmentation de la taille des fenêtres contextuelles des LLM a mené à l’ICL à plusieurs exemples, surpassant l’ICL à quelques exemples grâce à des centaines de démonstrations. Cependant, l’obtention de grands ensembles de données étiquetées reste coûteuse.

Pour pallier ce problème, l’article présente MAPLE (Many-Shot Adaptive Pseudo-Labeling), un nouveau cadre ICL à plusieurs exemples basé sur l’influence. MAPLE utilise des échantillons pseudo-étiquetés pour compenser le manque d’informations étiquetées. Il identifie d’abord un sous-ensemble d’échantillons non étiquetés importants et effectue une pseudo-étiquetage en interrogeant les LLM. Ces échantillons sont ensuite sélectionnés et adaptés à chaque requête de test pour améliorer les performances de l’ICL à plusieurs exemples, sans coûts d’étiquetage importants.

Des expériences sur des ensembles de données réelles démontrent l’efficacité de MAPLE, améliorant l’adaptabilité et les performances des LLM avec des données étiquetées limitées. Imaginez l’application en Afrique : MAPLE pourrait être utilisé pour entraîner des modèles de traduction linguistique avec des données limitées dans des langues africaines spécifiques, améliorant ainsi l’accès à l’information et aux services numériques.

Par exemple, un projet d’éducation en ligne au Sénégal pourrait utiliser MAPLE pour adapter un LLM à la correction de devoirs d’écoles primaires, en utilisant un nombre limité d’exemples corrigés manuellement. Cela réduirait considérablement le travail manuel nécessaire pour la création de jeux de données d’apprentissage.

En résumé, MAPLE ouvre de nouvelles perspectives pour l’utilisation des LLM dans des contextes à faibles ressources, où les données étiquetées sont limitées. Son adaptabilité le rend particulièrement pertinent pour les défis spécifiques du continent africain.