BitHydra : Une nouvelle menace pour les grands modèles de langage

Les grands modèles de langage (LLM) sont de plus en plus puissants, mais leur taille et leurs besoins en ressources les rendent vulnérables aux attaques par coût d’inférence. Ces attaques visent à pousser les LLM à générer des sorties aussi longues que possible, surchargant ainsi le système. Des recherches récentes ont exploré ces attaques, mais elles se heurtaient à une limitation : elles étaient auto-dirigées, l’attaquant étant aussi l’utilisateur.

Une nouvelle méthode, baptisée BitHydra, contourne cette limitation. Au lieu de cibler les entrées des LLM, BitHydra cible directement les paramètres du modèle lui-même. En modifiant subtilement des bits critiques dans ces paramètres, BitHydra peut manipuler les probabilités des jetons générés, forçant ainsi le modèle à produire des réponses anormalement longues.

Des tests sur 11 LLM, de 1,5 à 14 milliards de paramètres, ont montré l’efficacité de BitHydra. Avec seulement quelques modifications de bits, BitHydra a réussi à atteindre la longueur de génération maximale pour 100% des invites testées sur des modèles comme LLaMA3. Cela souligne la puissance et la transférabilité de cette nouvelle attaque. L’impact potentiel est significatif, soulignant la nécessité de développer des mécanismes de défense plus robustes contre ce type d’attaque.

L’efficacité de BitHydra soulève des questions cruciales sur la sécurité et la robustesse des LLM. Des recherches futures devraient se concentrer sur le développement de contre-mesures efficaces pour protéger les LLM contre de telles menaces. La communauté de la sécurité de l’IA doit rester vigilante face à ces menaces émergentes et collaborer pour développer des solutions innovantes afin de garantir la sécurité et l’intégrité des LLM.