Révolutionner l’entraînement des RNN : Atteindre un milliard de paramètres grâce à l’optimisation d’ordre zéro

L’entraînement de modèles de Réseaux Neuronaux Récurrents (RNN) de grande envergure pose un défi de taille. La rétropropagation temporelle (BPTT), méthode d’optimisation standard, souffre de limitations cruciales en termes de mémoire et de temps de calcul, limitant la taille des modèles pouvant être entraînés. Une nouvelle approche, basée sur l’optimisation d’ordre zéro (ZOO), vient bouleverser la donne.

L’optimisation d’ordre zéro : une alternative plus performante ?

Cette étude explore l’efficacité des méthodes ZOO, notamment l’estimation de gradient par vecteur aléatoire (RGE), pour l’entraînement des RNN. Contrairement à BPTT, ZOO évite le stockage des activations intermédiaires, permettant d’entraîner des modèles beaucoup plus grands avec une consommation mémoire considérablement réduite. Les résultats montrent une convergence comparable, voire supérieure à BPTT, avec des gains impressionnants.

L’approche CD-RGE (Central-Difference RGE) se démarque particulièrement. Elle optimise une fonction de perte lissée, introduisant une régularisation implicite et améliorant la capacité de généralisation du modèle. Les expériences menées montrent des performances supérieures ou égales à BPTT dans trois contextes distincts : sur-apprentissage, transduction et modélisation du langage.

Des résultats spectaculaires : jusqu’à 19 fois plus rapide !

L’étude met en lumière la capacité de ZOO à entraîner des RNN avec un milliard de paramètres, un objectif inatteignable jusqu’à présent. La vitesse de convergence dépasse celle de BPTT jusqu’à 19 fois, grâce à l’utilisation de techniques telles que FlashRNN et l’inférence distribuée. Malgré le nombre accru de passages en avant par étape, le temps de calcul global est significativement réduit. De plus, la généralisation des modèles entraînés avec ZOO est souvent meilleure ou comparable à celle obtenue avec BPTT.

Points clés à retenir

• ✓ L’optimisation d’ordre zéro (ZOO) offre une solution prometteuse pour l’entraînement de RNN de grande taille.
• ✓ Elle permet d’atteindre des modèles avec un milliard de paramètres, auparavant inaccessibles.
• ✓ La convergence est jusqu’à 19 fois plus rapide que BPTT.
• ✓ Des performances de généralisation comparables, voire supérieures à BPTT, sont observées.

Sources

• arXiv – Scaling Recurrent Neural Networks to a Billion Parameters with Zero-Order Optimization