AniSora : Révolutionner la création de vidéos d’animation

L’animation connaît un essor considérable dans l’industrie cinématographique et télévisuelle. Malgré les progrès remarquables de modèles de génération de vidéos comme Sora, Kling et CogVideoX dans la création de vidéos réalistes, ils peinent à reproduire efficacement les vidéos d’animation. L’évaluation de la génération de vidéos d’animation pose également un défi de taille en raison des styles artistiques uniques, des violations des lois de la physique et des mouvements exagérés.

AniSora, un système complet dédié à la génération de vidéos d’animation, apporte une solution innovante. Il comprend un pipeline de traitement de données, un modèle de génération contrôlable et un benchmark d’évaluation. Fort d’un pipeline de traitement de plus de 10 millions de données de haute qualité, le modèle de génération intègre un module de masquage spatio-temporel pour faciliter les fonctions clés de la production d’animation, telles que la génération image-vidéo, l’interpolation d’images et l’animation guidée par image localisée.

Un benchmark d’évaluation de 948 vidéos d’animation variées a été spécialement créé, avec des métriques conçues pour la génération de vidéos d’animation. L’ensemble du projet est accessible publiquement sur GitHub. Ceci ouvre des perspectives considérables pour les artistes et les studios d’animation, en automatisant des tâches complexes et en permettant de nouvelles formes d’expression créative. L’impact potentiel sur l’industrie est énorme, avec la possibilité de réduire les coûts et les délais de production tout en augmentant la créativité et la diversité des productions.

Points Clés

• ✓ AniSora révolutionne la création de vidéos d’animation grâce à un modèle de génération contrôlable et un pipeline de traitement de données performant.
• ✓ Le système intègre un module de masquage spatio-temporel pour gérer des tâches complexes comme la génération image-vidéo et l’interpolation d’images.
• ✓ Un benchmark d’évaluation spécifique aux vidéos d’animation a été développé avec des métriques adaptées.
• ✓ Le projet est open source, rendant accessible cette technologie à une large communauté.