PoPo开源AI工具:自然语言驱动MMD角色动作表情生成

PoPo是一个开源的AI工具,它通过自然语言输入来控制MikuMikuDance角色的动作与表情,提供高效的动作创作体验,并优化了日系角色骨骼结构和物理约束。

5AI工具AI工具MMD动画自然语言动作生成

PoPo简介

PoPo是一个开源的AI工具,允许用户通过自然语言指令控制MikuMikuDance(MMD)角色的动作和表情。只需输入文字描述,PoPo即可生成精确的MPL(MMD Pose Language)脚本,实现实时骨骼动画和角色表情的渲染。

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

PoPo功能亮点

PoPo支持多种自然语言输入,如“挥右手、大笑邀请晚餐”,输出结构化的MPL代码,能够控制角色的各个部位,渲染效果流畅,特别针对日系角色进行了优化。

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

PoPo技术架构

  • 前端采用Next.js与shadcn/ui和TypeScript
  • 渲染基于Babylon.js和babylon-mmd插件
  • 核心使用GPT-4o-mini模型进行微调,将自然语言转换为MPL语义脚本
  • 项目部署在Vercel平台

MPL语言优势

MPL是MMD专用的语义姿势描述语言,它避免了复杂的四元数数值训练,具有更好的可读性和可调试性,输出的模型表现稳定,姿势符合人体运动规则,便于修改和调试。

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

示例训练流程

训练数据采用如下结构:

PoPo开源AI工具:用自然语言生成MMD角色动作与表情

{ \"messages\":[ {