GPT-6 Astra 从图像到3D (一):概览

近日 OpenAI 发布了最新的 GPT-6 Astra, YouTube 官方介绍视频中提到 Astra 在 3D 建模任务上进步明显,于是尝试亲自试试效果如何。

测试介绍

测试非常简单,将物品照片交给 Astra1,让它调用 Blender 制作 3D 资产。我负责提出需求、提供参考图片2和反馈,建模过程由 Astra 自主完成。

我给出的核心要求包括:

  • Sim-Ready:仿真动态交互,例如抽拉、转动、按压等;
  • 视觉逼真:看齐近距离产品渲染品质;
  • 三维一致性:脑补未拍到的区域,推测尺寸和重量,建模内部结构等。

制作流程可参考制作流程的详细介绍,下面我们直接看几个具体的例子。

测试例子

遥控器

遥控器我只给了一张正面图片。按键布局本身有据可依,但背面和电池仓等则需要合理补全。

遥控器参考图
遥控器参考图

Astra 将正面拆成 45 个可以独立按压的部件;背面则补出电池仓滑盖、电池仓内壁等。

抽屉柜

抽屉柜也仅给了一张图片。由于图片中并没有展示柜子哪里可以活动,核心是测试交互结构和内部结构的建模。

抽屉柜参考图
抽屉柜参考图

Astra 为它建立了完整的抽屉箱体、导轨和把手,四个脚轮各有转向与滚动轴,下抽屉另有一个随动支撑轮。导轨上还包括轴承滚珠等细节。

洗地机

洗地机则给了两张参考图片,一张包含整体结构,另一张则聚焦于洗地机头部细节。

洗地机参考图1
洗地机参考图1
洗地机参考图2
洗地机参考图2

Astra 建模了头部的俯仰、侧倾,滚刷与后轮的转动等。

咖啡机

咖啡机的两张参考图中除了咖啡机外,还包含了若干干扰物体3(咖啡杯以及牛奶)。

咖啡机参考图
咖啡机参考图

Astra 建模了八个关节,覆盖水箱、接水盘、奶壶、出液口、豆仓盖、奶壶盖、奶嘴与屏幕。

冷冻柜

冰激凌商业冷冻柜的5张图片都来自商品介绍页面的截图。柜面上的印刷贴纸是其主要视觉特征。

冷冻柜参考图。包装图片印在柜面上。
冷冻柜参考图。包装图片印在柜面上。

Astra 将柜体、玻璃、盖框、控制器与内部格栅分别建模。关闭时看到完整外形,打开时则露出内胆和分隔结构。

上方的玻璃推拉门是其主要交互组件。Astra 将两扇曲面玻璃盖放在不同高度的轨道上,为交错滑动留出空间。

至于包装图片,则通过调用图像生成工具,把参考中的柜贴整理成平面纹理:保留印刷内容,去掉照片里的控制器和通风口影像,补成连续背景。

电煮锅

这三张参考图来自我自己手机实拍。

电煮锅参考图
电煮锅参考图

Astra 建模了可提起的锅盖、锅体,以及移动调温滑杆。这里温度调节器的外凸建模和图片存在明显差异,但作为生成而非重建任务,也可以接受这种差异。

篇幅所限,更多细节增强、统计信息以及 Token 消耗等列在了 GPT-6 Astra 从图像到3D (二)


附录一:3D 结构预览

换成灰模,从斜向视角看看这些资产的形体与结构。

附录二:制作流程

我要求 Astra 需要按照顺序依次完成六个物体的建模,前面积累的经验需要沉淀到后面。因而,Astra 逐渐搭起了一套共用工具4:基础几何、材质、零件关系和动作都有可复用的函数,每个资产再写自己的形状与结构。

Astra 自己总结出的建模流程,可以概括为四步:

  1. 读图并推断结构。 从轮廓、比例和可见接缝判断零件,估计尺度,再根据交互需要补出背面和内部。
  2. 按活动关系分件建模。 壳体、盖板、抽屉和按键各自独立,建模时就安排转轴、通道与间隙。
  3. 分别处理外观与碰撞。 精细网格表现材质和局部细节,简化几何承担碰撞,再配上质量、关节限位和驱动。
  4. 自己检查,再继续修改。 渲染整体与近景,展开活动部件,结合图像和几何检查判断哪里需要重做。

  1. GPT-6 Astra Ultra 

  2. 未特别说明的均来自互联网检索 

  3. 我明确指出不需要建模这些内容,因而是干扰物体 

  4. 尽管我特意强调不限制如何操作 Blender(可以通过 computer use 直接控制界面也可以代码),而 Astra 仍然选择了 Python 脚本