百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

1秒钟生成3D模型!腾讯混元甩出5款开源3D模型

liebian365 2025-03-24 17:51 10 浏览 0 评论

作者 | 陈骏达
编辑 | 心缘

智东西3月19日报道,今天,持续2天的混元3D开源日活动收官,腾讯混元一次性开源了5款全新的3D生成模型。其中,运用了腾讯自研3D生成加速框架FlashVDM的3款模型,实现了秒级3D资产生成,较今年早些时候开源的Hunyuan3D-2版本提速30倍左右。

▲左侧的Hunyuan3D-2 Turbo正高速生成3D模型

除了生成速度的提升之外,本次腾讯混元开源的3D模型还在贴图细节、材质表达上有明显提升。基于物理渲染(PBR)功能背后的模型从测试版升级到正式版,能让3D模型在渲染过程中更加真实,符合物理规律。

▲腾讯混元3D模型开源页面

面向创作者,腾讯自研的3D AI创作引擎迎来升级。新增的多视图输入功能可提升创作过程中的可控性,模型3D智能减面功能则可以降低模型的渲染压力。这一引擎还可以作为插件,直接在3D编辑工具Blender中生成3D资产。

现在,这一创作引擎已经支持了更多主流3D格式,可直接3D打印,也可将3D生成结果作为视频和动图分享,满足不同类型用户的使用需求。

体验链接:
https://3d.hunyuan.tencent.com/

开源地址:
https://huggingface.co/spaces/tencent

一、半秒钟生成3D模型,计算量暴砍超95%

本次开源活动中最大的亮点便是实现秒级3D资产生成的3款Turbo加速版模型,包括Hunyuan3D-2 Turbo、Hunyuan3D-2mini Turbo及Hunyuan3D-2mv Turbo。

这3款模型均采用了腾讯自研的FlashVDM通用加速架构,主要适用于在端侧快速生成3D资产,Hunyuan3D-2mv Turbo进一步支持了多视图输入。FlashVDM这一架构不仅能用于混元3D模型,也兼容大部分其他3D生成模型。

采用FlashVDM加速架构的模型,能将显存占用降低到5GB以内,生成时间缩短到1秒以内,兼容MacOS、Windows等操作系统,英伟达4050、3050、2060、1070等显卡均可以快速运行,若设备没有配备显卡,也可以在搭载M1等CPU的设备上流畅运行,获得比较合理的运行速度。

这一加速究竟是如何实现的呢?混元团队分享,3D模型的生成就好比堆积木,VAE解码是将画面分为多个积木,而将积木组装起来的流程便是DiT采样,上述两个环节占据了生成过程中超过99%的计算负载。

目前,主流3D生成模型采用Vecset架构。以采用这一架构的Hunyuan3D-2为例,生成一个3D模型大约需要半分钟。经过FlashVDM加速后,Hunyuan3D-2的生成耗时最短可以达到1秒钟,而Hunyuan3D-2 mini模型生成耗时最短可达半秒钟。

在DiT环节,FlashVDM的渐进式流蒸馏技术将标准版模型几十个推理步骤浓缩至个位数。在VAE环节,层次化体素解码技术将体素查询量减少了95%,动态KV选取降低30%,在与高效网络设计的结合后,计算量还可以进一步降低。

加速并未对模型的生成效果带来明显影响。在专业创作者的盲测中,仅用5-8步实现模型生成的Turbo模型,与未经加速的原版模型相比,可比率达到90%左右。

混元团队也分享了他们开发FlashVDM的原因。一方面,艺术家对3D模型的生成质量和可控性有一定要求,但在创作过程中,艺术家也需要有即时的反馈,才能快速迭代设计。在复杂场景中,如果能将单个模型的速度从30秒-60秒降低到1秒,将会极大地节约创作时间。

二、随手拍可生成3D手办,支持3D打印主流格式

腾讯混元3D AI创作引擎在开源日中迎来一系列升级。Web端多视图功能背后的模型Hunyuan3D-2mv,轻量版模型Hunyuan3D-2mini相应开源,而完整版的Hunyuan3D-2已经于今年稍早时候开源。

首先是多视图功能,这一功能支持用户上传2-4张标准视角图片,从而生成高精度、高质量的3D模型。

多视图模型提升了用户对生成结果的可控性,针对游戏制作、3D UGC创作等场景,可以大幅降低3D设计师从多视图原画到三维模型的制作成本。

在直播活动的实测中,测试人员用手机摄像头拍摄了随意放置在纸杯上的腾讯企鹅公仔,并上传正反面照片,模型在1分钟之后便给出了这一场景的3D建模。

▲左图、右图为手机实拍,中间为3D模型

腾讯混元3D AI创作引擎还引入了3D智能减面能力。在建模过程中,AI模型可能会将一些画面刻画得过于细致,切分为成千上万个三角面,这会给后续3D资产的渲染带来很大压力。

3D智能减面可以自适应生成几百至数千面的三角面,进一步提升几何边缘平滑度,生成结果可在低面片的基础上最大化体现模型细节,让模型布线更加规整,以降低渲染难度,提升模型可用率及生产效率。

实测中,在生成桌子这类几何结构较为简单的模型上,智能减面极大地减少了模型的三角面数量。而在生成下方的的青龙3D模型时,智能减面会在细节丰富的部位保留更多面数,在细节不多的部位自动减少面数,实现了成本和效果的平衡。

此次升级还实现了PBR(基于物理渲染技术)的材质生成效果提升,通过物理特性模拟技术,赋予模型更真实的颜色与材质表达。

兼容性上,除通用OBJ、GLB、FBX外,腾讯混元3D AI创作引擎现在可输出STL、USDZ、GiF、MP4等主流格式,无缝连接3D打印工具,也可支持模型快速预览及移动端实时交互,满足不同业务场景对3D模型格式的使用要求。

结语:多款模型获创作者好评,未来将持续升级

据腾讯混元团队分享,他们未来还将进一步提升模型和加速框架的性能。FlashVDM目前仅支持对3D模型生成的加速,而未来将加入对纹理生成的支持,从模型到纹理的生成管线总耗时有望控制在10秒钟以内,AI编辑功能也在研发过程中。

在腾讯混元3D开源日的直播过程中,有不少网友对混元3D模型的表现和开源决策表达了赞赏。相信无论是动漫创作者、游戏开发者等创意人士,还是3D模型的开发者,都能本次开源的模型中受益。

相关推荐

go语言也可以做gui,go-fltk让你做出c++级别的桌面应用

大家都知道go语言生态并没有什么好的gui开发框架,“能用”的一个手就能数的清,好用的就更是少之又少。今天为大家推荐一个go的gui库go-fltk。它是通过cgo调用了c++的fltk库,性能非常高...

旧电脑的首选系统:TinyCore!体积小+精简+速度极快,你敢安装吗

这几天老毛桃整理了几个微型Linux发行版,准备分享给大家。要知道可供我们日常使用的Linux发行版有很多,但其中的一些发行版经常会被大家忽视。其实这些微型Linux发行版是一种非常强大的创新:在一台...

codeblocks和VS2019下的fltk使用中文

在fltk中用中文有点问题。英文是这样。中文就成这个样子了。我查了查资料,说用UTF-8编码就行了。edit->Fileencoding->UTF-8然后保存文件。看下下边的编码指示确...

FLTK(Fast Light Toolkit)一个轻量级的跨平台Python GUI库

FLTK(FastLightToolkit)是一个轻量级的跨平台GUI库,特别适用于开发需要快速、高效且简单界面的应用程序。本文将介绍Python中的FLTK库,包括其特性、应用场景以及如何通过代...

中科院开源 RISC-V 处理器“香山”流片,已成功运行 Linux

IT之家1月29日消息,去年6月份,中科院大学教授、中科院计算所研究员包云岗,发布了开源高性能RISC-V处理器核心——香山。近日,包云岗在社交平台晒出图片,香山芯片已流片,回片后...

Linux 5.13内核有望合并对苹果M1处理器支持的初步代码

预计Linux5.13将初步支持苹果SiliconM1处理器,不过完整的支持工作可能还需要几年时间才能完全完成。虽然Linux已经可以在苹果SiliconM1上运行,但这需要通过一系列的补丁才能...

Ubuntu系统下COM口测试教程(ubuntu port)

1、在待测试的板上下载minicom,下载minicom有两种方法:方法一:在Ubuntu软件中心里面搜索下载方法二:按“Ctrl+Alt+T”打开终端,打开终端后输入“sudosu”回车;在下...

湖北嵌入式软件工程师培训怎么选,让自己脱颖而出

很多年轻人毕业即失业、面试总是不如意、薪酬不满意、在家躺平。“就业难”该如何应对,参加培训是否能改变自己的职业走向,在湖北,有哪些嵌入式软件工程师培训怎么选值得推荐?粤嵌科技在嵌入式培训领域有十几年经...

新阁上位机开发---10年工程师的Modbus总结

前言我算了一下,今年是我跟Modbus相识的第10年,从最开始的简单应用到协议了解,从协议开发到协议讲解,这个陪伴了10年的协议,它一直没变,变的只是我对它的理解和认识。我一直认为Modbus协议的存...

创建你的第一个可运行的嵌入式Linux系统-5

@ZHangZMo在MicrochipBuildroot中配置QT5选择Graphic配置文件增加QT5的配置修改根文件系统支持QT5修改output/target/etc/profile配置文件...

如何在Linux下给zigbee CC2530实现上位机

0、前言网友提问如下:粉丝提问项目框架汇总下这个网友的问题,其实就是实现一个网关程序,内容分为几块:下位机,通过串口与上位机相连;下位机要能够接收上位机下发的命令,并解析这些命令;下位机能够根据这些命...

Python实现串口助手 - 03串口功能实现

 串口调试助手是最核心的当然是串口数据收发与显示的功能,pzh-py-com借助的是pySerial库实现串口收发功能,今天痞子衡为大家介绍pySerial是如何在pzh-py-com发挥功能的。一、...

为什么选择UART(串口)作为调试接口,而不是I2C、SPI等其他接口

UART(通用异步收发传输器)通常被选作调试接口有以下几个原因:简单性:协议简单:UART的协议非常简单,只需设置波特率、数据位、停止位和校验位就可以进行通信。相比之下,I2C和SPI需要处理更多的通...

同一个类,不同代码,Qt 串口类QSerialPort 与各种外设通讯处理

串口通讯在各种外设通讯中是常见接口,因为各种嵌入式CPU中串口标配,工业控制中如果不够还通过各种串口芯片进行扩展。比如spi接口的W25Q128FV.对于软件而言,因为驱动接口固定,软件也相对好写,因...

嵌入式linux为什么可以通过PC上的串口去执行命令?

1、uboot(负责初始化基本硬bai件,如串口,网卡,usb口等,然du后引导系统zhi运行)2、linux系统(真正的操作系统)3、你的应用程序(基于操作系统的软件应用)当你开发板上电时,u...

取消回复欢迎 发表评论: