CASTILLO : Décryptage des distributions de longueur de réponse des grands modèles de langage

L’efficacité de la gestion des ressources informatiques pour l’inférence des grands modèles de langage (LLM) reste un défi de taille en raison de la nature intrinsèquement stochastique et variable de la longueur des générations de texte autorégressives. Estimer précisément la longueur des réponses à l’avance permet une allocation proactive des ressources. Cependant, les approches existantes biaisent soit la génération de texte vers certaines longueurs, soit s’appuient sur des hypothèses qui ignorent la variabilité spécifique au modèle et à l’invite.

L’étude CASTILLO introduit un ensemble de données caractérisant les distributions de longueur de réponse sur 13 LLM open-source largement utilisés, évalués sur sept corpus distincts d’instructions. Pour chaque paire d’échantillons , 10 complétions indépendantes sont générées en utilisant des hyperparamètres de décodage fixes. La longueur en jetons de chaque réponse est enregistrée, et des statistiques sommaires (moyenne, écart type, percentiles) sont publiées, ainsi que les complétions les plus courtes et les plus longues, et les paramètres de génération exacts.

L’analyse révèle une variabilité inter- et intra-modèle significative dans les longueurs de réponse (même avec des paramètres de génération identiques), ainsi que des comportements spécifiques au modèle et des occurrences de dégénérescence partielle du texte dans seulement des sous-ensembles de réponses. CASTILLO permet le développement de modèles prédictifs pour une planification proactive et fournit un cadre systématique pour analyser les comportements de génération spécifiques à chaque modèle. L’ensemble de données et le code sont mis à disposition publiquement pour encourager la recherche à l’intersection de la modélisation linguistique générative et des systèmes.

Variabilité des réponses des LLM

L’étude souligne l’importance de la variabilité dans les réponses générées par les LLM, même avec des paramètres identiques. Cette variabilité, inhérente au processus de génération, pose un défi majeur pour la gestion des ressources et l’optimisation des performances. Comprendre cette variabilité est crucial pour développer des outils prédictifs et améliorer l’efficacité des applications utilisant les LLM.

Impact sur la gestion des ressources

La capacité à prédire la longueur des réponses est essentielle pour optimiser l’allocation des ressources informatiques. En anticipant la demande, on peut éviter les goulots d’étranglement et garantir des temps de réponse rapides. CASTILLO fournit des données précieuses pour construire des modèles prédictifs qui permettront une gestion plus efficace des ressources.

Perspectives futures

L’étude CASTILLO ouvre la voie à de nouvelles recherches sur la prédictibilité de la longueur des réponses des LLM. Elle encourage le développement de techniques plus sophistiquées pour gérer la variabilité inhérente à ces modèles et optimiser leurs performances dans des environnements de production. La mise à disposition publique des données et du code permettra à la communauté de chercheurs de contribuer à ces avancées.

• ✓ Comprendre la variabilité des réponses des LLM est crucial pour l’optimisation des ressources.
• ✓ CASTILLO fournit un ensemble de données précieux pour construire des modèles prédictifs.
• ✓ Des recherches futures sont nécessaires pour améliorer la gestion de la variabilité des LLM.