五个场景的生成结果概览

既然 Astra 并不擅长复杂物体建模,那么一个更加自然的思路就是:将图生 3D 生成模型(例如:Trellis 2,hunyuan 3D,Meshy 等)作为一项 Skill 交给 Astra。

以 Astra 加持下的 Codex 作为 Agent,让 Agent 自己识别难以建模的困难物体,将空间理解、Blender 3D 建模、图生 3D 生成模型等能力自动串成一套制作流程:

  • Agent 决定哪些物体使用 Blender 建模(如桌子、水杯),哪些交给专门的生成模型(如手办);
  • Agent 调用 imagegen 为图生 3D 模型准备合适的输入参考图(涉及抠图、遮挡补全、视角矫正、超分辨率等);
  • 最后,Agent 需要将不同路径建模的物体组织整合到一个场景中。


以下几个场景示例中全程我仅输入文字(包括场景图片描述以及建模任务):

  1. 文字描述场景需求。由最新的 GPT Image 2.5 模型为每个场景生成 1 张图片。
  2. 以上图片作为 3D 场景建模的参考,由 AI 自己组织场景建模流程。

    特别地,需要合理调用图生 3D 生成模型,每个场景分别使用两条路线对照:

    • 路线 A:全部基于 Blender 完成建模(允许使用图像生成制作纹理),作为对比基线。
    • 路线 B:在 A 的基础上,可引入图生 3D,自主完成物体选择、物体建模和场景整合。

办公桌:手办

办公桌输入参考
办公桌输入图,由 GPT Image 2.5 生成。手办为识别到的困难物体。

路线 B 建模结果:

办公桌路线 B 生成结果
办公桌路线 B 三维场景总览

路线 A 的手办结构虽然完整,但建模相当生硬。

办公桌手办对比:左为路线 A,右为路线 B
人物局部:左为 A,右为 B。

工作台:玩具车

工作台输入参考
工作台输入图,由 GPT Image 2.5 生成。玩具车为困难物体。

路线 B 建模结果:

工作台路线 B 生成结果

路线 A 建模效果其实也相当不错,但路线 B 在复杂的车身轮廓、印花和精细结构上仍然更好。

玩具车对比:左为路线 A,右为路线 B
车辆局部:左为 A,右为 B。

这个例子还有一处有趣的细节,蓝色零件箱内包含了168个独立的五金件模型(132颗螺栓、18个螺母和18个垫圈)。

工作台零件箱与五金件细节

更多场景

厨房餐桌

厨房餐桌输入参考
输入参考图。机器人 WALL·E 为困难物体。

建模结果:

厨房餐桌路线 B 生成结果
厨房餐桌路线 B 交互结构展示

路线 A 的结果也具有非常真实的机械细节,当然路线 B 的造型更加忠实于原图。

WALL·E 对比:左为路线 A,右为路线 B

客厅茶几

客厅茶几输入参考
客厅茶几输入图。

路线 B 生成结果:

客厅茶几路线 B 局部细节

两种路线对比:

高达模型对比:左为路线 A,右为路线 B

学习文具

文具桌面输入参考
文具桌面输入图。

建模结果:

文具桌面路线 B 生成结果
文具桌面路线 B 开合结构展示

意料之中,两种路线对于手办的建模差距仍然明显:

文具桌面手办对比:左为路线 A,右为路线 B