Entraîner efficacement les LLMs à long contexte grâce à l’optimisation par lots

L’essor des grands modèles de langage (LLM) capables de traiter de longs contextes a révolutionné le traitement de documents. Cependant, leur coût d’entraînement prohibitif freine souvent les applications personnalisées. Une nouvelle approche, baptisée Optimisation Séquentielle par Lots (SeCO), propose une solution élégante et efficace.

SeCO : une approche par lots pour l’efficacité

SeCO divise les longues entrées en lots plus faciles à gérer. Chaque lot construit son propre graphe de calcul et effectue une rétropropagation localisée. Cela signifie que seules les activations en avant d’un lot sont stockées en mémoire, réduisant considérablement les besoins en ressources.

L’avantage est clair : l’entraînement devient possible même pour des modèles exigeants sur des machines moins puissantes. Imaginez former un modèle sur un seul GPU au lieu d’un cluster entier !

SpaCO : aller plus loin avec l’optimisation parcimonieuse

Pour optimiser encore le processus, les chercheurs ont développé SpaCO (Optimisation Parcimonieuse par Lots). Cette méthode réduit la charge de calcul en propageant sélectivement les gradients vers des lots spécifiques. Un facteur de compensation est intégré pour garantir une estimation précise des gradients.

Avec SpaCO, le coût de calcul de la rétropropagation se découple de la longueur du contexte. Plus la séquence est longue, plus le temps d’entraînement se rapproche du temps d’inférence. Des gains de temps considérables sont alors observés.

Résultats concrets et impact

Lors de tests, SeCO a permis de passer d’une longueur de séquence maximale de 1 000 jetons à 16 000 jetons lors du finetuning d’un modèle de 8 milliards de paramètres sur une seule carte graphique RTX 3090. SpaCO, quant à lui, a montré une accélération de l’entraînement jusqu’à 3 fois plus rapide que SeCO dans la même configuration.

Ces avancées ouvrent de nouvelles perspectives pour l’optimisation des modèles à long contexte, les rendant plus accessibles aux applications pratiques. Le code source est disponible en open source. Des applications concrètes en Afrique pourraient inclure l’analyse de vastes corpus de textes en langues locales, l’amélioration des systèmes de traduction automatique, ou encore la création de modèles pour répondre aux défis spécifiques du continent.

Points clés à retenir

• ✓ SeCO et SpaCO améliorent significativement l’efficacité de l’entraînement des LLMs à long contexte.
• ✓ SeCO divise les entrées en lots pour une meilleure gestion de la mémoire.
• ✓ SpaCO optimise la rétropropagation des gradients pour une accélération significative.
• ✓ Ces méthodes rendent l’entraînement des modèles à long contexte plus accessible.