在UE中利用动捕数据提升项目效率 无穿戴高精度易上手
liebian365 2024-10-15 13:51 60 浏览 0 评论
在虚拟现实、游戏开发、影视制作等领域中,动作捕捉技术与实时渲染引擎的结合已经越来越紧密。UE作为业界领先的3D创作平台,受到了众多开发者的青睐,而DS FUN-UE插件能够帮助开发者更便捷地在UE平台中利用动捕数据进行高效创作,提升项目效率。
*准备事项*
1、软件
DS FUN-采集端软件、DS FUN-UE插件、UE(4.26及以上)
DS FUN相关软件下载请到动石科技官网的开发者界面中下载
2、硬件
摄像头、电脑
普通家用RGB摄像头即可,电脑推荐配置如下
推荐配置 | 基础配置 | |
主板 | B550级别及以上,具有USB3.0接口 | B550级别及以上,具有USB3.0接口 |
CPU | intel 10代处理器 | intel 10代处理器 |
显卡 | 2080Ti显卡及以上 | 2070 |
内存 | 16G以上 | 16G |
3、动捕环境
室内9平??以上明亮无遮挡的活动空间,演员请着修身衣物
一、插件放入当前项目或引擎目录下
A. 如果不需要打包,插件直接放入项目文件中的plugins文件夹下就可以使用。
B. 如果需要打包,请放入引擎插件目录中的Marketplace文件夹下。(跳转目录“八、打包设置”查看详情)
二、引擎导入数字人(已有数字人可以忽略)
1、打开Bridge
2、在MetaHumans界面,下载自己喜欢的数字人,点击Add,导入引擎
三、数字人设置
1、打开导入引擎的数字人蓝图,添加组件DSActor:
2、Body骨骼动画蓝图设置为DS_ABP_Body_DM_C
3、Face骨骼动画蓝图设置为DS_ABP_Face_C
四、项目设置
1、打开项目设置面板,找到DS_UserSettings
2、设置以下链接动捕参数:
IP:为DS FUN采集端IP;
Port:端口,默认8899;
Use FixedFrameRate、FrameRate:
勾选Use FixedFrameRate可以锁定帧率,保证DS FUN采集端不被占用。由于UE默认会占据所有线程,所以锁定帧率越高,其他程序能使用的线程就越少,这样容易导致采集端运行卡帧,因此FrameRate(帧率)建议设置在25左右;
App ID,App Secret:使用DS FUN-UE插件需要开发人员提供App ID和App Secret。申请地址可到动石官网注册账号后到官网-控制台中申请。
五、开始运行
数字人蓝图拖入场景,确保采集端已经启用,点击开始运行
提示1:如果需要展示切换IP效果,请在世界大纲视图找到BP_Cooper勾选“是否动态切换IP”;
提示2:如果需要展示切换角色效果,请在世界大纲视图找到Bp_ChangeHuman_01勾选“是否动态切换角色”;
六、自定义设置(高级用法)
1、每个数字人的DSActor组件独立存在
可以在组件细节面板设置不同位置偏移和端口识别索引接收采集端的不同人物数据。
DSC(基础设置):
(1)Face Link Options(面捕方案),面部捕捉方案选择,有三个选项视觉解算、Livelink解算、混合解算:
DSLink:动石自研面部解算方案,默认选项,默认启用,无需额外配置。
Livelink:支持UE支持的所有LiveLink面捕设备。
Both解算:当检测到LiveLink软件时自动应用Livelink解算,否则使用视觉解算。
(2)Offest(位置偏移),场景中角色的最终位置将会是采集端的数据+位置偏移。
(3)iPersonIndex(使用采集端识别到的第几位角色),根据填入的数字选择使用采集端识别到的第几位人物的数据。
Dev(高级设置):
(1)Use Actor Location(使用Actor位置作为原点),默认原点位置为采集端的数据,勾选后以场景角色的位置为起点,模拟运行支持手动拖放改变角色位置;
(2)Print Log(打印日志),勾选后显示细节日志消息;
(3)Change LowerBody(是否驱动下半身),取消勾选后下半身保持不动;
(4)Skeleton Index(骨骼模型的匹配方案索引),根据项目设置界面的骨骼匹配方案库的索引来选择使用对应骨骼的数据;
(5)Foot Offest(脚步偏移系数),用于调整不同玩家和角色的体型差异导致的滑步问题;
(6)Use FootTracFloor(是否开启脚步贴地),开启后人物站直状态会不断适配角色的脚步位置;
(7)Foot Trac Height(脚步贴地后偏移的高度),用于调整不同玩家和角色的体型差异导致的开启脚步贴地后仍然陷入地面一部分的问题。
RunTime(运行时查看):
(1)APPID is Vail?(APP ID是否生效),运行后查看APP ID是否生效,
(2)DLL Data Index(当前DLL唯一索引),运行后查看当前角色生成的UUID
2、动态切换IP
蓝图中找到DSGameInstanceSubsystem,拖拽CreateSocket函数立即切换IP(延迟时间根据网络动态调整);
3、动态切换骨骼
(延迟时间根据网络动态调整);
4、动态切换蓝图
以上节点在参考项目中Bp_ChangeHuman_01和BP_Cooper图表界面可以查看
Blueprint'/Game/Bp_ChangeHuman_01.Bp_ChangeHuman_01'
Blueprint'/Game/MetaHumans/Cooper/BP_Cooper.BP_C
七、骨骼匹配方案库设置
不同骨骼模型需要使用自身对应的骨骼方案库,默认包含四种骨骼的匹配模式(Metahum标准、VRM_UE5标准、VRM_Bip标准、Mixamo标准)。
通过在DSActor的细节面板指定当前角色所使用的骨骼匹配方案的索引号来使角色正确被识别,比如metahuam骨骼模型的匹配方案索引为0或-1,VRM_UE5标准骨骼模型的匹配方案索引为1,RM_Bip标准骨骼模型的匹配方案索引为2,Mixamo标准骨骼模型的匹配方案索引为 3
如果需要添加自定义的骨骼模型的骨骼匹配方案:
(1)打开项目设置面板,找到DS_UserSettings->SocketSetting
(2)点击添加新匹配库:
(3)填入当前方案名字,比如“NewElements”:
(4)依次点击当前方案身体骨骼名称、当前方案左手骨骼名称、当前方案右手骨骼名称,进行骨骼重定向,左边是标准骨骼名称,右边是对应的你的自定义骨骼的名称:
八、打包设置
如果项目有打包需求,需要做如下设置才能打包成功并生效:
1、插件不要放到项目Plugins下,而是放入Engine\Plugins\Marketplace
2、打包之前请在项目设置中填写配置信息,然后把DSUserSetings设置为默认,重复点击Yes
九、补充说明
1、依赖插件:
使用数字人资产需要包装UE引擎开启以下插件,默认开启,如果项目运行时失效,请检查这些插件是否开启:
"LiveL ink":
"Live Link Control Rig":
"Apple ARKit":
"RigLogic plugin":
2、示例项目打包说明:
示例项目依赖的VRM4U插件是服务于VRM的,所以并没有提供源代码,需要打包项目请禁用VRM4U
相关推荐
- “版本末期”了?下周平衡补丁!国服最强5套牌!上分首选
-
明天,酒馆战棋就将迎来大更新,也聊了很多天战棋相关的内容了,趁此机会,给兄弟们穿插一篇构筑模式的卡组推荐!老规矩,我们先来看10职业胜率。目前10职业胜率排名与一周前基本类似,没有太多的变化。平衡补丁...
- VS2017 C++ 程序报错“error C2065:“M_PI”: 未声明的标识符"
-
首先,程序中头文件的选择,要选择头文件,在文件中是没有对M_PI的定义的。选择:项目——>”XXX属性"——>配置属性——>C/C++——>预处理器——>预处理器定义,...
- 东营交警实名曝光一批酒驾人员名单 88人受处罚
-
齐鲁网·闪电新闻5月24日讯酒后驾驶是对自己和他人生命安全极不负责的行为,为守护大家的平安出行路,东营交警一直将酒驾作为重点打击对象。5月23日,东营交警公布最新一批饮酒、醉酒名单。对以下驾驶人醉酒...
- Qt界面——搭配QCustomPlot(qt platform)
-
这是我第一个使用QCustomPlot控件的上位机,通过串口精确的5ms发送一次数据,再将读取的数据绘制到图表中。界面方面,尝试卡片式设计,外加QSS简单的配了个色。QCustomPlot官网:Qt...
- 大话西游2分享赢取种族坐骑手办!PK趣闻录由你书写
-
老友相聚,仗剑江湖!《大话西游2》2021全民PK季4月激燃打响,各PK玩法鏖战齐开,零门槛参与热情高涨。PK季期间,不仅各种玩法奖励丰厚,参与PK趣闻录活动,投稿自己在PK季遇到的趣事,还有机会带走...
- 测试谷歌VS Code AI 编程插件 Gemini Code Assist
-
用ClaudeSonnet3.7的天气测试编码,让谷歌VSCodeAI编程插件GeminiCodeAssist自动编程。生成的文件在浏览器中的效果如下:(附源代码)VSCode...
- 顾爷想知道第4.5期 国服便利性到底需优化啥?
-
前段时间DNF国服推出了名为“阿拉德B计划”的系列改版计划,截至目前我们已经看到了两项实装。不过关于便利性上,国服似乎还有很多路要走。自从顾爷回归DNF以来,几乎每天都在跟我抱怨关于DNF里面各种各样...
- 掌握Visual Studio项目配置【基础篇】
-
1.前言VisualStudio是Windows上最常用的C++集成开发环境之一,简称VS。VS功能十分强大,对应的,其配置系统较为复杂。不管是对于初学者还是有一定开发经验的开发者来说,捋清楚VS...
- 还嫌LED驱动设计套路深?那就来看看这篇文章吧
-
随着LED在各个领域的不同应用需求,LED驱动电路也在不断进步和发展。本文从LED的特性入手,推导出适合LED的电源驱动类型,再进一步介绍各类LED驱动设计。设计必读:LED四个关键特性特性一:非线...
- Visual Studio Community 2022(VS2022)安装图文方法
-
直接上步骤:1,首先可以下载安装一个VisualStudio安装器,叫做VisualStudioinstaller。这个安装文件很小,很快就安装完成了。2,打开VisualStudioins...
- Qt添加MSVC构建套件的方法(qt添加c++11)
-
前言有些时候,在Windows下因为某些需求需要使用MSVC编译器对程序进行编译,假设我们安装Qt的时候又只是安装了MingW构建套件,那么此时我们该如何给现有的Qt添加一个MSVC构建套件呢?本文以...
- Qt为什么站稳c++GUI的top1(qt c)
-
为什么现在QT越来越成为c++界面编程的第一选择,从事QT编程多年,在这之前做C++界面都是基于MFC。当时为什么会从MFC转到QT?主要原因是MFC开发界面想做得好看一些十分困难,引用第三方基于MF...
- qt开发IDE应该选择VS还是qt creator
-
如果一个公司选择了qt来开发自己的产品,在面临IDE的选择时会出现vs或者qtcreator,选择qt的IDE需要结合产品需求、部署平台、项目定位、程序猿本身和公司战略,因为大的软件产品需要明确IDE...
- Qt 5.14.2超详细安装教程,不会来打我
-
Qt简介Qt(官方发音[kju:t],音同cute)是一个跨平台的C++开库,主要用来开发图形用户界面(GraphicalUserInterface,GUI)程序。Qt是纯C++开...
- Cygwin配置与使用(四)——VI字体和颜色的配置
-
简介:VI的操作模式,基本上VI可以分为三种状态,分别是命令模式(commandmode)、插入模式(Insertmode)和底行模式(lastlinemode),各模式的功能区分如下:1)...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- “版本末期”了?下周平衡补丁!国服最强5套牌!上分首选
- VS2017 C++ 程序报错“error C2065:“M_PI”: 未声明的标识符"
- 东营交警实名曝光一批酒驾人员名单 88人受处罚
- Qt界面——搭配QCustomPlot(qt platform)
- 大话西游2分享赢取种族坐骑手办!PK趣闻录由你书写
- 测试谷歌VS Code AI 编程插件 Gemini Code Assist
- 顾爷想知道第4.5期 国服便利性到底需优化啥?
- 掌握Visual Studio项目配置【基础篇】
- 还嫌LED驱动设计套路深?那就来看看这篇文章吧
- Visual Studio Community 2022(VS2022)安装图文方法
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)