1秒钟生成3D模型!腾讯混元甩出5款开源3D模型
liebian365 2025-03-24 17:51 10 浏览 0 评论
作者 | 陈骏达
编辑 | 心缘
智东西3月19日报道,今天,持续2天的混元3D开源日活动收官,腾讯混元一次性开源了5款全新的3D生成模型。其中,运用了腾讯自研3D生成加速框架FlashVDM的3款模型,实现了秒级3D资产生成,较今年早些时候开源的Hunyuan3D-2版本提速30倍左右。
▲左侧的Hunyuan3D-2 Turbo正高速生成3D模型
除了生成速度的提升之外,本次腾讯混元开源的3D模型还在贴图细节、材质表达上有明显提升。基于物理渲染(PBR)功能背后的模型从测试版升级到正式版,能让3D模型在渲染过程中更加真实,符合物理规律。
▲腾讯混元3D模型开源页面
面向创作者,腾讯自研的3D AI创作引擎迎来升级。新增的多视图输入功能可提升创作过程中的可控性,模型3D智能减面功能则可以降低模型的渲染压力。这一引擎还可以作为插件,直接在3D编辑工具Blender中生成3D资产。
现在,这一创作引擎已经支持了更多主流3D格式,可直接3D打印,也可将3D生成结果作为视频和动图分享,满足不同类型用户的使用需求。
体验链接:
https://3d.hunyuan.tencent.com/
开源地址:
https://huggingface.co/spaces/tencent
一、半秒钟生成3D模型,计算量暴砍超95%
本次开源活动中最大的亮点便是实现秒级3D资产生成的3款Turbo加速版模型,包括Hunyuan3D-2 Turbo、Hunyuan3D-2mini Turbo及Hunyuan3D-2mv Turbo。
这3款模型均采用了腾讯自研的FlashVDM通用加速架构,主要适用于在端侧快速生成3D资产,Hunyuan3D-2mv Turbo进一步支持了多视图输入。FlashVDM这一架构不仅能用于混元3D模型,也兼容大部分其他3D生成模型。
采用FlashVDM加速架构的模型,能将显存占用降低到5GB以内,生成时间缩短到1秒以内,兼容MacOS、Windows等操作系统,英伟达4050、3050、2060、1070等显卡均可以快速运行,若设备没有配备显卡,也可以在搭载M1等CPU的设备上流畅运行,获得比较合理的运行速度。
这一加速究竟是如何实现的呢?混元团队分享,3D模型的生成就好比堆积木,VAE解码是将画面分为多个积木,而将积木组装起来的流程便是DiT采样,上述两个环节占据了生成过程中超过99%的计算负载。
目前,主流3D生成模型采用Vecset架构。以采用这一架构的Hunyuan3D-2为例,生成一个3D模型大约需要半分钟。经过FlashVDM加速后,Hunyuan3D-2的生成耗时最短可以达到1秒钟,而Hunyuan3D-2 mini模型生成耗时最短可达半秒钟。
在DiT环节,FlashVDM的渐进式流蒸馏技术将标准版模型几十个推理步骤浓缩至个位数。在VAE环节,层次化体素解码技术将体素查询量减少了95%,动态KV选取降低30%,在与高效网络设计的结合后,计算量还可以进一步降低。
加速并未对模型的生成效果带来明显影响。在专业创作者的盲测中,仅用5-8步实现模型生成的Turbo模型,与未经加速的原版模型相比,可比率达到90%左右。
混元团队也分享了他们开发FlashVDM的原因。一方面,艺术家对3D模型的生成质量和可控性有一定要求,但在创作过程中,艺术家也需要有即时的反馈,才能快速迭代设计。在复杂场景中,如果能将单个模型的速度从30秒-60秒降低到1秒,将会极大地节约创作时间。
二、随手拍可生成3D手办,支持3D打印主流格式
腾讯混元3D AI创作引擎在开源日中迎来一系列升级。Web端多视图功能背后的模型Hunyuan3D-2mv,轻量版模型Hunyuan3D-2mini相应开源,而完整版的Hunyuan3D-2已经于今年稍早时候开源。
首先是多视图功能,这一功能支持用户上传2-4张标准视角图片,从而生成高精度、高质量的3D模型。
多视图模型提升了用户对生成结果的可控性,针对游戏制作、3D UGC创作等场景,可以大幅降低3D设计师从多视图原画到三维模型的制作成本。
在直播活动的实测中,测试人员用手机摄像头拍摄了随意放置在纸杯上的腾讯企鹅公仔,并上传正反面照片,模型在1分钟之后便给出了这一场景的3D建模。
▲左图、右图为手机实拍,中间为3D模型
腾讯混元3D AI创作引擎还引入了3D智能减面能力。在建模过程中,AI模型可能会将一些画面刻画得过于细致,切分为成千上万个三角面,这会给后续3D资产的渲染带来很大压力。
3D智能减面可以自适应生成几百至数千面的三角面,进一步提升几何边缘平滑度,生成结果可在低面片的基础上最大化体现模型细节,让模型布线更加规整,以降低渲染难度,提升模型可用率及生产效率。
实测中,在生成桌子这类几何结构较为简单的模型上,智能减面极大地减少了模型的三角面数量。而在生成下方的的青龙3D模型时,智能减面会在细节丰富的部位保留更多面数,在细节不多的部位自动减少面数,实现了成本和效果的平衡。
此次升级还实现了PBR(基于物理渲染技术)的材质生成效果提升,通过物理特性模拟技术,赋予模型更真实的颜色与材质表达。
兼容性上,除通用OBJ、GLB、FBX外,腾讯混元3D AI创作引擎现在可输出STL、USDZ、GiF、MP4等主流格式,无缝连接3D打印工具,也可支持模型快速预览及移动端实时交互,满足不同业务场景对3D模型格式的使用要求。
结语:多款模型获创作者好评,未来将持续升级
据腾讯混元团队分享,他们未来还将进一步提升模型和加速框架的性能。FlashVDM目前仅支持对3D模型生成的加速,而未来将加入对纹理生成的支持,从模型到纹理的生成管线总耗时有望控制在10秒钟以内,AI编辑功能也在研发过程中。
在腾讯混元3D开源日的直播过程中,有不少网友对混元3D模型的表现和开源决策表达了赞赏。相信无论是动漫创作者、游戏开发者等创意人士,还是3D模型的开发者,都能本次开源的模型中受益。
相关推荐
- go语言也可以做gui,go-fltk让你做出c++级别的桌面应用
-
大家都知道go语言生态并没有什么好的gui开发框架,“能用”的一个手就能数的清,好用的就更是少之又少。今天为大家推荐一个go的gui库go-fltk。它是通过cgo调用了c++的fltk库,性能非常高...
- 旧电脑的首选系统:TinyCore!体积小+精简+速度极快,你敢安装吗
-
这几天老毛桃整理了几个微型Linux发行版,准备分享给大家。要知道可供我们日常使用的Linux发行版有很多,但其中的一些发行版经常会被大家忽视。其实这些微型Linux发行版是一种非常强大的创新:在一台...
- codeblocks和VS2019下的fltk使用中文
-
在fltk中用中文有点问题。英文是这样。中文就成这个样子了。我查了查资料,说用UTF-8编码就行了。edit->Fileencoding->UTF-8然后保存文件。看下下边的编码指示确...
- FLTK(Fast Light Toolkit)一个轻量级的跨平台Python GUI库
-
FLTK(FastLightToolkit)是一个轻量级的跨平台GUI库,特别适用于开发需要快速、高效且简单界面的应用程序。本文将介绍Python中的FLTK库,包括其特性、应用场景以及如何通过代...
- 中科院开源 RISC-V 处理器“香山”流片,已成功运行 Linux
-
IT之家1月29日消息,去年6月份,中科院大学教授、中科院计算所研究员包云岗,发布了开源高性能RISC-V处理器核心——香山。近日,包云岗在社交平台晒出图片,香山芯片已流片,回片后...
- Linux 5.13内核有望合并对苹果M1处理器支持的初步代码
-
预计Linux5.13将初步支持苹果SiliconM1处理器,不过完整的支持工作可能还需要几年时间才能完全完成。虽然Linux已经可以在苹果SiliconM1上运行,但这需要通过一系列的补丁才能...
- Ubuntu系统下COM口测试教程(ubuntu port)
-
1、在待测试的板上下载minicom,下载minicom有两种方法:方法一:在Ubuntu软件中心里面搜索下载方法二:按“Ctrl+Alt+T”打开终端,打开终端后输入“sudosu”回车;在下...
- 湖北嵌入式软件工程师培训怎么选,让自己脱颖而出
-
很多年轻人毕业即失业、面试总是不如意、薪酬不满意、在家躺平。“就业难”该如何应对,参加培训是否能改变自己的职业走向,在湖北,有哪些嵌入式软件工程师培训怎么选值得推荐?粤嵌科技在嵌入式培训领域有十几年经...
- 新阁上位机开发---10年工程师的Modbus总结
-
前言我算了一下,今年是我跟Modbus相识的第10年,从最开始的简单应用到协议了解,从协议开发到协议讲解,这个陪伴了10年的协议,它一直没变,变的只是我对它的理解和认识。我一直认为Modbus协议的存...
- 创建你的第一个可运行的嵌入式Linux系统-5
-
@ZHangZMo在MicrochipBuildroot中配置QT5选择Graphic配置文件增加QT5的配置修改根文件系统支持QT5修改output/target/etc/profile配置文件...
- 如何在Linux下给zigbee CC2530实现上位机
-
0、前言网友提问如下:粉丝提问项目框架汇总下这个网友的问题,其实就是实现一个网关程序,内容分为几块:下位机,通过串口与上位机相连;下位机要能够接收上位机下发的命令,并解析这些命令;下位机能够根据这些命...
- Python实现串口助手 - 03串口功能实现
-
串口调试助手是最核心的当然是串口数据收发与显示的功能,pzh-py-com借助的是pySerial库实现串口收发功能,今天痞子衡为大家介绍pySerial是如何在pzh-py-com发挥功能的。一、...
- 为什么选择UART(串口)作为调试接口,而不是I2C、SPI等其他接口
-
UART(通用异步收发传输器)通常被选作调试接口有以下几个原因:简单性:协议简单:UART的协议非常简单,只需设置波特率、数据位、停止位和校验位就可以进行通信。相比之下,I2C和SPI需要处理更多的通...
- 同一个类,不同代码,Qt 串口类QSerialPort 与各种外设通讯处理
-
串口通讯在各种外设通讯中是常见接口,因为各种嵌入式CPU中串口标配,工业控制中如果不够还通过各种串口芯片进行扩展。比如spi接口的W25Q128FV.对于软件而言,因为驱动接口固定,软件也相对好写,因...
- 嵌入式linux为什么可以通过PC上的串口去执行命令?
-
1、uboot(负责初始化基本硬bai件,如串口,网卡,usb口等,然du后引导系统zhi运行)2、linux系统(真正的操作系统)3、你的应用程序(基于操作系统的软件应用)当你开发板上电时,u...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- go语言也可以做gui,go-fltk让你做出c++级别的桌面应用
- 旧电脑的首选系统:TinyCore!体积小+精简+速度极快,你敢安装吗
- codeblocks和VS2019下的fltk使用中文
- FLTK(Fast Light Toolkit)一个轻量级的跨平台Python GUI库
- 中科院开源 RISC-V 处理器“香山”流片,已成功运行 Linux
- Linux 5.13内核有望合并对苹果M1处理器支持的初步代码
- Ubuntu系统下COM口测试教程(ubuntu port)
- 湖北嵌入式软件工程师培训怎么选,让自己脱颖而出
- 新阁上位机开发---10年工程师的Modbus总结
- 创建你的第一个可运行的嵌入式Linux系统-5
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)