您的当前位置:首页>科技咨询>资讯详情

一句话爆改三维场景!斯坦福吴佳俊团队新作:场景语言,智能补全文本到3D的场景理解

发表于:2024-11-14 00:00:05 浏览:47次 发布者: 机器之心Pro

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

从文字生成三维世界的场景有多难?

试想一下,如果我们要 “生成复活节岛的摩艾石像”,AI 怎么才能理解我们的需求,然后生成一个精美的三维场景?

斯坦福的研究团队提出了一个创新性解决方案:就像人类使用自然语言(natural language)进行交流,三维场景的构建需要场景语言(Scene Language)

  • 项目主页:https://ai.stanford.edu/~yzzhang/projects/scene-language/

  • 文章地址:https://arxiv.org/abs/2410.16770

这个新语言不仅能让 AI 理解我们的需求,更让它能够细致地将人类的描述转化为三维世界的场景。同时,它还具备编辑功能,一句简单指令就能改变场景中的元素!物体的位置、风格,现在都可以随意调整。

智能的场景理解

再比如,输入 “初始状态的国际象棋盘”,模型可以自动识别并生成如下特征:

  • 64 个黑白相间的格子

  • 按规则排列的 32 个棋子

  • 每个棋子的独特造型

最终生成的 3D 场景完美还原了这些细节。

这个方法支持多种渲染方式,能适应不同的应用场景:

更具吸引力的是其编辑能力:只需一句指令,就能调整场景中的元素:

支持图片输入

动态生成

不仅限于静态,Scene Language 还能生成动态场景,让 3D 世界生动起来。

技术亮点

Scene Language 的核心在于三大组件的融合:

1.程序语言(program):用于精确描述场景结构,包括物体间的重复、层次关系;

2.自然语言(word):定义场景中的物体类别,提供语义层面的信息;

3.神经网络表征(embedding):捕捉物体的内在视觉细节。

这种组合就像给 AI 配备了一套完整的 “建筑工具”,既能整体规划,又能雕琢细节。

对比传统方法的优势

与现有技术相比,Scene Language 展现出显著优势:

  • 用户偏好测试中获得 85.65% 的偏好,相比现有方法提高了近 7 倍;

  • 在物体数量控制方面,测试集中的准确率达到 100%,而现有方法只有 11%。

这一研究展示了 AI 理解和创造 3D 世界的全新可能性,期待它在游戏开发、建筑设计等领域引领新一轮的创新!

作者简介

该篇论文主要作者来自斯坦福大学吴佳俊团队。

论文一作张蕴之,斯坦福大学博士生。主要研究为视觉表征及生成。

吴佳俊,现任斯坦福大学助理教授。在麻省理工学院完成博士学位,本科毕业于清华大学姚班。

猜你喜欢

京东发布“灯塔计划+”,优秀服务商最高可得100
京东发布“灯塔计划+”,优秀服务商最高可得100
发表于:2025-07-31 浏览:2 发布者: 网易互联网
顺丰集团与上海迪士尼度假区达成合作;快手电商
顺丰集团与上海迪士尼度假区达成合作;快手电商
发表于:2025-05-28 浏览:18 发布者: 网易互联网
淘宝海外爆红,全球购物车少不了“中国货”
淘宝海外爆红,全球购物车少不了“中国货”
发表于:2025-04-18 浏览:20 发布者: 网易互联网
谷歌想外传高精密地图数据,韩国左右为难
谷歌想外传高精密地图数据,韩国左右为难
发表于:2025-05-13 浏览:22 发布者: 网易互联网
酷派集团 × 影目科技达成合作,聚焦 AI & AR
酷派集团 × 影目科技达成合作,聚焦 AI & AR
发表于:2025-07-03 浏览:7 发布者: 网易科技
优步(UBER.US)六年以来首次任命COO 以协助推进
优步(UBER.US)六年以来首次任命COO 以协助推进
发表于:2025-06-03 浏览:13 发布者: 网易互联网
AI模型被指诈骗,扎克伯格大怒后下血本,组建
AI模型被指诈骗,扎克伯格大怒后下血本,组建
发表于:2025-06-11 浏览:12 发布者: 网易IT
评论:充电宝行业“内卷”下的危与机
评论:充电宝行业“内卷”下的危与机
发表于:2025-07-07 浏览:8 发布者: 网易互联网
抖音上线安全与信任中心网站,首次公开推荐算法
抖音上线安全与信任中心网站,首次公开推荐算法
发表于:2025-03-30 浏览:19 发布者: 网易互联网
消息称苹果正评估电视新品类,智能家居是关键
消息称苹果正评估电视新品类,智能家居是关键
发表于:2024-11-23 浏览:66 发布者: IT之家