您的当前位置:首页>科技咨询>资讯详情

直观即时绘制3D模型,可添加文本提示,VAST又开

发表于:2025-04-21 21:00:02 浏览:18次 发布者: 网易互联网

VAST 投稿
量子位 | 公众号 QbitAI

3D生成明星玩家VAST,又又又又又开源了!

Tripo Doodle(内部代号TripoSG Scribble),能够将简单的2D草图和文本提示(Text Prompt)实时转化为精细的3D模型。

它改进了传统3D建模学习曲线陡峭、耗时耗力的痛点,尤其是在初期“打形”阶段。

现在,该项目的关键组件已经开源。



通过Tripo Doodle,用户可以:

  1. 直观绘制(Sketch Intuitively):在画布上随手勾勒简单的 2D 形状和线条。
  2. 添加文本提示(Add Text Prompts):通过文字输入,赋予模型语义信息或特定属性。
  3. 即时生成(Generate Instantly):实时看到基于草图和文本生成的 3D 模型,并随着输入的修改而动态更新。

在SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中,Tripo Doodle展示了一个“万物皆可画”的未来——3D 建模可以像2D涂鸦一样流畅自然、触手可及。

它让创作者能从繁琐的工具操作中解放出来,将精力完全聚焦于创意本身。

基于TripoSG的实时交互延伸

Tripo Doodle是一款旨在彻底简化并加速3D创作流程的全新交互界面。



值得注意的是,Tripo Doodle并非从零构建,它巧妙地利用并扩展了VAST旗下TripoSG基础模型的能力,并针对实时、多模态交互进行了创新:

首先来了解一下TripoSG基础模型(TripoSG Base Model)。

TripoSG是它的底层引擎,它是一图像到3D(Image-to-3D)形状生成模型。

该模型开创性地采用了大规模整流流 Transformer(Large-Scale Rectified Flow Transformer)架构,能在精选数据集上进行训练,直接从条件输入(基础模型通常是图像)生成高保真3D网格。

其内部通过定制的VAE管理精确的符号距离函数(Signed Distance Function, SDF)表征。

其次是多模态条件注入(Multimodal Conditioning - Sketch + Text)。

Tripo Doodle的核心突破在于增强了TripoSG,使其能够理解并同时融合草图文本两种输入模态。

其一,草图引导(Sketch Guidance)。

2D绘图提供了强几何约束,定义了3D模型的核心形状、结构和姿态。



其二,文本引导(Text Guidance)。

自然语言提示则负责引导语义理解,影响物体的类型、风格和具体特征(例如,演示中加入“dragon”文本提示,就能将一个基础的怪兽草图转化为龙形态)

再者还有实时性能优化(Real-Time Optimization - 例如蒸馏技术)。

为了实现“涂鸦”体验所必需的近乎实时的生成速度,Tripo Doodle采用了CFG Distillation等优化技术。

通过训练一个更快的“学生”模型来模拟(或“学习”)更大TripoSG 模型的输出能力,从而实现能在用户连续输入时进行快速推理和实时更新。

从概念到初步3D可视化的时间缩短至秒级

SIGGRAPH Asia 2024 Real-Time LIVE! 现场,Tripo Doodle生动演示了自己的能力。

以下实例突显了Tripo Doodle如何将从概念到初步3D可视化的时间缩短至秒级,让3D创作变得前所未有的简单和有趣。

轻松创建

无论是植物、桌子、戒指还是怪兽,简单的几笔草图都能即时转化为3D物体。



实时迭代

随着用户绘制、擦除、修改草图,或添加/更改文本提示(如将普通怪兽变为“乌龟怪兽”或带翅膀的“龙怪兽”),3D模型会动态、无缝地更新。



创意探索

“Randomize”(随机化)功能允许用户基于同一份草图和文本输入,快速浏览多种不同的、合理的3D解释,极大地促进了创意发散。

易用性与效率

“Doodle 1v1” 环节中,观众成员在30秒内创作怪兽。

即使是初次使用者,也能快速上手并创造出如“番茄怪兽”、“毛毛虫怪兽”等充满趣味(有时甚至出人意料)的作品,充分证明了其直观性和高效性。



一直以来,VAST致力于通过开放合作推动领域发展。

此次,TripoSG Scribble(即Tripo Doodle)与TripoSG的核心组件都将对外开放。

VAST诚邀全球的研究者、开发者和创作者们,深入探索TripoSG及Tripo Doodle背后的技术理念,在其基础上构建应用。

TripoSG-Scribble抱抱脸:
https://huggingface.co/spaces/VAST-AI/TripoSG-scribble
TripoSG抱抱脸:
https://huggingface.co/spaces/VAST-AI/TripoSG
TripoSG GitHub:
https://github.com/VAST-AI-Research/TripoSG
TripoSG arXiv:
https://arxiv.org/abs/2502.06608

猜你喜欢

亚马逊会员促销规模创下新高?分析公司称全美在
亚马逊会员促销规模创下新高?分析公司称全美在
发表于:2025-07-13 浏览:9 发布者: 网易互联网
抗议马斯克浪潮席卷欧洲 特斯拉销量3月持续溃败
抗议马斯克浪潮席卷欧洲 特斯拉销量3月持续溃败
发表于:2025-04-02 浏览:18 发布者: 网易IT
苹果 2024 款 MacBook Pro 开售:首发 M4 Max 芯片,12999 元起
苹果 2024 款 MacBook Pro 开售:首发 M4 Max 芯片,12999 元起
发表于:2024-11-09 浏览:41 发布者: 砍柴网
OpenAI发布GPT-4.1!全系支持百万token上下文,
OpenAI发布GPT-4.1!全系支持百万token上下文,
发表于:2025-04-15 浏览:20 发布者: 网易互联网
砸10亿买菜谱,刘强东要硬刚幽灵外卖。
砸10亿买菜谱,刘强东要硬刚幽灵外卖。
发表于:2025-07-25 浏览:0 发布者: 网易互联网
315活动丨消费集市行 集豆换好礼
315活动丨消费集市行 集豆换好礼
发表于:2025-03-15 浏览:18 发布者: 网易互联网
腾讯云TDSQL蝉联中国金融与银行分布式数据库市
腾讯云TDSQL蝉联中国金融与银行分布式数据库市
发表于:2025-07-24 浏览:1 发布者: 网易互联网
AI眼镜成消费新宠 上市公司纷纷入局
AI眼镜成消费新宠 上市公司纷纷入局
发表于:2025-04-25 浏览:17 发布者: 网易科技
宁王联手滴滴,再布局换电
宁王联手滴滴,再布局换电
发表于:2025-02-19 浏览:22 发布者: 网易互联网
上海闵行:支持虹桥国际中央商务区跨境电商、数
上海闵行:支持虹桥国际中央商务区跨境电商、数
发表于:2025-01-08 浏览:29 发布者: 网易互联网