AdamS: Une révolution discrète pour l’entraînement des LLM ?

L’entraînement des grands modèles de langage (LLM) est un processus gourmand en ressources. L’optimisation de cette étape est cruciale. Une nouvelle approche, AdamS, promet une amélioration significative en termes d’efficacité et de performances, sans complexité accrue. Découvrons comment.

AdamS : simplicité et efficacité

AdamS se présente comme une alternative élégante à Adam, l’optimiseur largement utilisé pour les LLM. Son innovation majeure réside dans l’utilisation d’un dénominateur revisité, basé sur la somme pondérée des carrés de la quantité de mouvement et du gradient actuel. Cela élimine le besoin d’estimations du second moment, une simplification qui se traduit par une empreinte mémoire et un coût de calcul réduits, similaires à ceux de SGD avec quantité de mouvement. L’efficacité d’AdamS est remarquable : il atteint des performances d’optimisation supérieures tout en préservant une simplicité d’implémentation. Il peut même réutiliser les hyperparamètres d’AdamW, s’intégrant ainsi facilement dans les pipelines existants.

Des fondements théoriques solides

L’approche d’AdamS ne repose pas uniquement sur des observations empiriques. Elle s’appuie sur des propriétés de régularité ($L_0, L_1$) des fonctions objectives des transformers. Ces propriétés suggèrent que la régularité locale est dictée par l’amplitude des gradients, elle-même approximable par l’amplitude de la quantité de mouvement. Des garanties de convergence théoriques rigoureuses ont été établies, renforçant la crédibilité de cette approche. Des guidelines pratiques pour la sélection des hyperparamètres sont également fournies.

Résultats empiriques convaincants

Les résultats expérimentaux sont encourageants. AdamS a démontré des performances supérieures lors de pré-entraînements sur GPT-2 et Llama2 (jusqu’à 13 milliards de paramètres) ainsi que dans des régimes d’apprentissage par renforcement en post-entraînement. Ces résultats confirment le potentiel d’AdamS à devenir un nouvel standard dans le domaine.

Points clés à retenir

✓ AdamS, un nouvel optimiseur pour LLM, offre une amélioration significative en termes d’efficacité et de performances.
✓ Il est plus simple à implémenter qu’Adam et compatible avec les pipelines existants.
✓ Ses performances ont été validées sur des modèles de grande envergure (GPT-2, Llama2).
✓ Il offre des garanties théoriques de convergence.