GPT-6 Astra 从图像到3D (一)
近日 OpenAI 发布了最新的 GPT-6 Astra, YouTube 官方介绍视频中提到 Astra 在 3D 建模任务上进步明显,于是尝试亲自试试效果如何。
测试介绍
测试非常简单,将物品照片交给 Astra1,让它调用 Blender 制作 3D 资产。我负责提出需求、提供参考图片2和反馈,建模过程由 Astra 自主完成。
我给出的核心要求包括:
- Sim-Ready:仿真动态交互,例如抽拉、转动、按压等;
- 视觉逼真:看齐近距离产品渲染品质;
- 三维一致性:脑补未拍到的区域,推测尺寸和重量,建模内部结构等。
制作流程可参考制作流程的详细介绍,下面我们直接看几个具体的例子。
测试例子
遥控器
遥控器我只给了一张正面图片。按键布局本身有据可依,但背面和电池仓等则需要合理补全。
Astra 将正面拆成 45 个可以独立按压的部件;背面则补出电池仓滑盖、电池仓内壁等。
抽屉柜
抽屉柜也仅给了一张图片。由于图片中并没有展示柜子哪里可以活动,核心是测试交互结构和内部结构的建模。
Astra 为它建立了完整的抽屉箱体、导轨和把手,四个脚轮各有转向与滚动轴,下抽屉另有一个随动支撑轮。导轨上还包括轴承滚珠等细节。
洗地机
洗地机则给了两张参考图片,一张包含整体结构,另一张则聚焦于洗地机头部细节。
Astra 建模了头部的俯仰、侧倾,滚刷与后轮的转动等。
咖啡机
咖啡机的两张参考图中除了咖啡机外,还包含了若干干扰物体3(咖啡杯以及牛奶)。
Astra 建模了八个关节,覆盖水箱、接水盘、奶壶、出液口、豆仓盖、奶壶盖、奶嘴与屏幕。
冷冻柜
冰激凌商业冷冻柜的5张图片都来自商品介绍页面的截图。柜面上的印刷贴纸是其主要视觉特征。
Astra 将柜体、玻璃、盖框、控制器与内部格栅分别建模。关闭时看到完整外形,打开时则露出内胆和分隔结构。
上方的玻璃推拉门是其主要交互组件。Astra 将两扇曲面玻璃盖放在不同高度的轨道上,为交错滑动留出空间。
至于包装图片,则通过调用图像生成工具,把参考中的柜贴整理成平面纹理:保留印刷内容,去掉照片里的控制器和通风口影像,补成连续背景。
电煮锅
这三张参考图来自我自己手机实拍。
Astra 建模了可提起的锅盖、锅体,以及移动调温滑杆。这里温度调节器的外凸建模和图片存在明显差异,但作为生成而非重建任务,也可以接受这种差异。
篇幅所限,更多细节增强、统计信息以及 Token 消耗等列在了 GPT-6 Astra 从图像到3D (二)。
附录一:3D 结构预览
换成灰模,从斜向视角看看这些资产的形体与结构。
附录二:制作流程
我要求 Astra 需要按照顺序依次完成六个物体的建模,前面积累的经验需要沉淀到后面。因而,Astra 逐渐搭起了一套共用工具4:基础几何、材质、零件关系和动作都有可复用的函数,每个资产再写自己的形状与结构。
Astra 自己总结出的建模流程,可以概括为四步:
- 读图并推断结构。 从轮廓、比例和可见接缝判断零件,估计尺度,再根据交互需要补出背面和内部。
- 按活动关系分件建模。 壳体、盖板、抽屉和按键各自独立,建模时就安排转轴、通道与间隙。
- 分别处理外观与碰撞。 精细网格表现材质和局部细节,简化几何承担碰撞,再配上质量、关节限位和驱动。
- 自己检查,再继续修改。 渲染整体与近景,展开活动部件,结合图像和几何检查判断哪里需要重做。