Skip to content

Latest commit

 

History

History
181 lines (101 loc) · 5.4 KB

README.zh-cn.md

File metadata and controls

181 lines (101 loc) · 5.4 KB

banner

SysMocap

GitHub Actions release forks stars

English Version | 中文版本

跨平台的实时视频驱动动作捕捉及3D虚拟形象生成系统 for VTuber/Live/AR/VR.

提供用于Windows，macOS的可执行文件包，可在Linux上通过源代码运行

立刻下载 (压缩包，无需安装)

(这是一个多语言软件，支持中文和英文)

本科毕业设计作品。

特色

🌟 好看的用户图形界面（得益于Material Design 3自动取色系统）

GUI

🌟 简单易用，只需拖拽即可导入虚拟形象模型

add-model-drag.mp4

🌟 动作转发系统支持支持WebXR API (HTTPS only，用于VR和AR技术)

webxr-ar-demo.mp4

🌟 带有骨骼控制器和变装工具的模型查看器

Model viewer

🌟 可导入至OBS进行直播使用

OBS

🌟 支持全身动作捕捉

Full-body

Full-body-animotion

🌟 支持自动检测骨骼类型并完成映射（ for All VRM files and Mixamo Format FBX files）

fbx-mixamo-animotion

🌟 支持通过手动进行骨骼映射来驱动各种骨骼类型FBX、GLB、GLTF模型文件

bdd-animotion

🌟 无需独立显卡，甚至在八年前的老电脑上都能流畅使用 (i7-4790k/GTX770/16G RAM)

🌟 感谢 Mediapipe and Kalidokit 提供技术支持，基于Web 技术开发

更多效果展示

🌟 面部

Facial-animotion

🌟 半身

Half-body-animotion

🌟 半身与手部

Half-body with Hands animotion

🌟 全身

Full-body-animotion

系统架构

System architecture

如何使用

使用源代码运行 (需要最新版 Node.js):

git clone https://github.com/xianfei/SysMocap.git
cd SysMocap
npm i
npm start

或从Release页面下载可执行程序（仅限Windows和macOS）

Bugs

  • 如有请在issue中告知

注意

  1. HTTP & HTTPS 在动作捕捉转发中将会使用同一个端口。

需要的骨骼节点 （glTF/glb/FBX Model File）:

(对于其他类型的骨骼，你可以在本程序中进行手动映射和坐标系转换)

  • Hips (Main Node, both Position and Rotation. Ratation only for other nodes)

  • Neck

  • Chest

  • Spine

  • RightUpperArm

  • RightLowerArm

  • LeftUpperArm

  • LeftLowerArm

  • LeftUpperLeg

  • LeftLowerLeg

  • RightUpperLeg

  • RightLowerLeg

Star 历史

Star History Chart

开发进度

To-Do

  • Settings page and global settings utils

  • Add play/pause button and progress bar when mocap from video

  • Support bones binding for glTF/glb

  • Support rendering glTF/glb model

  • Support binding when bones' name is non-uniformed

  • Model library add user's custom 3D model

  • Live plug-in / interface for Open Broadcast Software

  • Output video ( using such as libffmpeg )

  • Support per-frame rendering without drop frame

  • Support c-s architecture for online video mocap ( on cloud )

  • Support Material Designed 3 Color System (color picking)

  • Mocap data forwarding via network

  • Adapt for Linux and macOS