AnimeGamer是什么？

AnimeGamer 是腾讯PCG ARC实验室和香港城市大学联合推出的多模态大语言模型项目。它通过语言指令生成动态动画片段，模拟动漫角色的互动与游戏世界。玩家可实时更新角色状态，体验多轮交互，感受沉浸式动漫生活。AnimeGamer只要应用在游戏、故事创作、教育等场景上。

AnimeGamer功能特点

动态动画生成：能够生成动态动画片段，展示角色的动作和行为。

角色状态更新：系统会根据游戏状态更新角色的体力、社交和娱乐值。

多轮交互：支持多轮游戏状态生成，玩家可以通过语言指令与游戏世界进行持续互动。

上下文一致性：生成的游戏状态在视觉和语义上保持一致性，确保玩家的沉浸感。

AnimeGamer工作原理

动画片段编码与解码：使用动画片段编码器将动画片段编码为动作感知的多模态表示，然后通过基于视频扩散模型的解码器将这些表示解码为高质量的视频片段。

游戏状态预测：利用 MLLM 预测每个游戏状态的多模态表示，输入包括历史动画片段表示和当前指令。MLLM 输出包括动态动画片段和角色状态更新。

解码器自适应训练：通过自适应训练阶段，优化解码器以生成高质量的视频片段，减少生成视频中的伪影。

AnimeGamer应用场景

动漫角色互动游戏：玩家可以扮演动漫电影中的角色，通过语言指令与游戏世界互动。

故事创作与可视化：可用于创作和可视化故事，生成连贯的动画片段，支持多轮交互。

教育与培训：在教育和培训场景中，可以生成动态的模拟环境，帮助学生更好地理解和参与学习内容。

娱乐与互动体验：可用于开发新的娱乐和互动体验，如虚拟现实（VR）和增强现实（AR）应用。

AnimeGamer使用教程

1. 下载AnimeGamer和Mistral-7B的检查点，并保存在./checkpoints文件夹中。

2. 设置推理环境，运行以下命令：

3. 生成动作感知的多模态表示并更新角色状态：

4. 修改./game_demo中的指令来自定义游戏体验。

相关链接

项目主页：https://howe125.github.io/AnimeGamer.github.io

GitHub：https://github.com/TencentARC/AnimeGamer

模型：https://huggingface.co/TencentARC/AnimeGamer

论文：https://arxiv.org/abs/2504.01014