A2. 资产生成:范围占位与接口线索
用户在原会话中明确:text/image → 3D 资产是课题组已有积累,本轮不重复调研。保留此页是为了说明管线的这个位置,以及后续取用资产时需要对接什么。
已有线索的正确归属
Tripo / VAST:原记 2026-09-04,报道提及面向导演台的三维资产。应归资产生成与组织,不能作为视频模型接收 proxy 的证据。这里只保留已有报道,不展开模型比较。
将来有实际导入任务时再查
- 资产能否携带部件、层级、局部原点、pivot/锚点和 rest pose,还是仅一块几何?
- 共享几何和独立实例如何表示;尺寸、颜色和朝向怎样保存?
- 格式转换和体素采样怎样保留来源、局部坐标和人工修改?
- 材质、纹理、骨架中哪些信息对当前镜头必要,哪些留给下游?
这些是待对接的问题,不是要求每份外部资产满足的新协议。
实拍/单图 → 可编辑代理:接口线索
2026-09-25 检索补充。 本节不重复课题组已有的 text/image → 3D 生成调研,只回答本页原来列的「将来有实际导入任务时再查」问题:外部资产和实拍场景能否变成可体素化、可带来源的代理几何,以及各自的可程序化程度与许可。检索转述,未下载或运行任何工具。
三条件路径(按「输出是不是真几何」排序)
| 路径 | 工具 | 输出 | 体素化难度 | 可程序化 | 许可红线 |
|---|---|---|---|---|---|
| 摄影测量(真三角网格,最适合体素化) | RealityCapture / RealityScan(Epic) | 稠密点云、网格 PLY/OBJ/FBX、正射 | 低(网格→Open3D/trimesh voxelize/binvox) | 强 CLI/批处理;年收入 <$1M 免费,>$1M $1,250/席位/年 | 闭源,Windows + CUDA |
| Agisoft Metashape | 稠密点云、网格、DEM、正射 | 低 | Python API + CLI,可完全脚本化 | 闭源永久:Standard $179 / Pro $3,499 | |
| Meshroom / AliceVision | 三角网格 OBJ/PLY、点云、EXR | 低 | 节点图 + Python 脚本;可分布式 | MPL-2.0(含商用);MeshroomHub 插件支持 Gaussian Splatting | |
| 单图/少图 3D 生成(GLB 直出) | TripoSR(Tripo + Stability) | 网格 OBJ(--bake-texture 出纹理),~0.5s/A100 | 低 | CLI python run.py image.png --output-dir out/ | MIT;仅单物体、几何较粗、背面幻觉 |
| TRELLIS(Microsoft) | Radiance Fields / 3D Gaussians / Mesh 三种解码,mesh 可出 GLB | 低 | Python API、Gradio;≥16GB VRAM | MIT(原版);仅 Linux/CUDA;检索提到 TRELLIS.2 但未从官方仓库确认 | |
| Hunyuan3D 2.1 / 3.0(Tencent) | 网格 + PBR 纹理;导出 GLB/OBJ/PLY | 低 | Python、Gradio、Blender 插件;2.1 需 10/21/29GB | Tencent Hunyuan Community License(非 OSI,含商用限制/规模条款);3.0 细节未经官方确认 | |
| Meshy 7 | GLB/FBX/OBJ/USDZ/STL/3MF,可先下「白模 GLB」再贴图 | 低 | 成熟 REST API(上传→task_id→webhook/轮询),Unity/Unreal 插件 | 闭源;免费 100–200 credits/月(CC BY 4.0)、Pro $20/月 | |
| Rodin / Hyper3D(Deemos) | GLB/OBJ/FBX/USDZ/STL;有 Voxel 风格预设 | 低 | REST API + MCP + Blender/Unity/Unreal/Godot/Maya/3dsMax/ComfyUI 插件 | 闭源;Creator $30/月、Business $120/月 | |
| Luma Genie / Alpha3D | GLTF/OBJ/USDZ;GLB | 低 | Web/iOS,无正式 CLI(API 待核实);Alpha3D API €5/月起 | 闭源免费 beta / 闭源 | |
| 3DGS / NeRF(视觉参考,非几何) | Postshot(Jawset) | Radiance Field PLY / SPZ;可导相机位姿与点云 | 高(需先转网格) | GUI + CLI(CLI 归 Studio 档) | 闭源商业;Windows + NVIDIA;官方页价格字段动态渲染为 €0.00,实际价位待核实 |
| SuperSplat Editor(PlayCanvas) | PLY/SPLAT/SPZ/KSPLAT;SplatTransform CLI | 高 | 浏览器编辑器 + 开源 CLI/源码 | MIT(唯一成熟的开源高斯清理/裁剪/合并工具) | |
| gsplat / Nerfstudio/Splatfacto | gsplat 出 3DGS;Nerfstudio ns-export 出 .ply,NeRF 模型可 TSDF/Poisson → .ply/.obj + 相机路径 JSON | 高 | Python 库 / 全 CLI(ns-train/ns-export) | Apache-2.0;Splatfacto 本身不导出网格(需用 NeRF 模型) | |
| Brush / LichtFeld Studio | PLY(3DGS) | 高 | Brush 跨平台(含 AMD);LichtFeld 有 Python 插件 + MCP | 开源(许可待核实);较新、文档不足 | |
| Polycam / Scaniverse / Luma Capture | 网格 OBJ/FBX/GLB/USDZ、点云、高斯;Luma 含网格近似回退 | 中 | Polycam 有 REST Content API(Beta,仅 Enterprise);Scaniverse/Luma API 细节来自二手 | 闭源;关键导出与 API 需付费/企业档 | |
| ml-sharp / Apple SHARP | 3DGS .ply(OpenCV 坐标系,具公制绝对尺度);--render 出相机轨迹视频 | 高 | CLI sharp predict -i <imgs> -o <out> | 代码与模型分属不同 LICENSE/LICENSE_MODEL,社区指出二者不兼容,商用条款必须自行核实。单目生成非真几何,背面为幻觉 | |
| instant-ngp | 交互式 NeRF;内置 NeRF→Mesh / SDF→Mesh | 中 | GUI + 命令行;Python 绑定需自行编译 | NVIDIA Source Code License(非 OSI,商用受限) |
高斯 → 网格/占用:体素化的关键中间件
| 工作 | 时间 | 输出 | 对本项目 |
|---|---|---|---|
| SuGaR | CVPR 2024;仓库 | 表面对齐高斯 → Poisson 重建三角网格(可联合优化),支持编辑/绑定/重光照 | 从实拍 3DGS 得到可编辑网格再体素化,是「实拍→占用网格」最短路径;研究许可 |
| 2D Gaussian Splatting | 仓库 | 2D 圆盘高斯 → 深度图 → TSDF fusion + Marching Cubes → 水密三角网格 | 比原版 3DGS 深度更平滑,网格更适合体素化 |
| GS2Mesh / GaussianPro | arXiv 2501.00625 | 逐视角深度 TSDF 融合成网格,部分指标优于 2DGS | 备选 |
| VoxelSplat / GaussianOcc / VolSplat | CVPR 2025 / ICCV 2025 / 2025-09 | 体素空间占用 + 语义 + 场景流(VoxelSplat 把高斯投影做占用/流正则) | 直接证明「高斯 → 体素占用网格」可行且有活跃研究;面向自动驾驶基准,需适配 |
| 通用体素化 | — | Open3D / trimesh voxelize、binvox、Blender Remesh(Blocks)/Voxel Remesh | 任何上述网格(RealityCapture/Metashape/Meshroom/SuGaR/2DGS/TripoSR/TRELLIS/Hunyuan)都可离散为占用网格,再套用 dyadic lattice / local frame |
对本环节的结论
- 「实拍→可编辑代理」最稳路径:照片/视频 →(RealityCapture 免费档 / Meshroom MPL-2.0 / Metashape 脚本)→ 真三角网格 → Open3D/trimesh/binvox 体素化 → 套入 VoxelModel。这条路径输出真几何,天然契合占用网格,无需从高斯反推。
- 「实拍→视觉参考」路径:Postshot / Nerfstudio-Splatfacto / Brush → PLY 高斯 → SuperSplat 清理 → 作为 AI 视频的 3D 参考/背景,不进入 voxel 几何(保留为渲染层)。
- 需要高斯→网格时:2DGS 或 SuGaR 出网格再体素化;VoxelSplat/GaussianOcc 的体素对齐思路可参考。
- 自动化接口优先级:Nerfstudio(CLI, Apache-2.0)> Meshroom(MPL-2.0)> Metashape(Python API)> RealityCapture(CLI)> Polycam(企业 REST)> Meshy/Rodin(云 API + MCP)。
- 许可可放心商用:SuperSplat(MIT)、gsplat/Nerfstudio(Apache-2.0)、Meshroom(MPL-2.0)、TripoSR/TRELLIS(MIT)。需核实:ml-sharp 模型许可、Hunyuan 社区许可、instant-ngp、SuGaR/2DGS(研究许可)。
- 待核对:Postshot 实际价格;Hunyuan3D 3.0/3.5 与 TRELLIS.2 规格均来自第三方聚合;Scaniverse/Luma 的 API 细节来自二手;2026 年多个「best 3DGS tools」聚合站疑似 AI 生成,数字应与厂商官网二次核对。
- 与 AGENTS 边界的对应:本页只回答「资产怎样进入场景」的接口问题。「资产能否携带部件、层级、pivot/锚点和 rest pose」这一问题在检索材料中仍无明确答案——上述工具的输出普遍是 mesh/高斯/点云,未见带部件语义与局部原点的通用导出。这仍是未解决的问题。
维护记录
- 2026-09-23:按用户范围决定建立占位。
- 2026-09-24:保留暂不调研;将 Tripo/VAST 从下游视频消费条目移回资产侧。
- 2026-09-25:新增「实拍/单图 → 可编辑代理:接口线索」,回答本页原有「将来有实际导入任务时再查」问题:三条件路径(摄影测量真网格 / 单图-3D GLB / 3DGS 视觉参考)、高斯→网格中间件与体素化工具。明确「部件/层级/pivot/rest pose 的通用导出」仍未解决。检索转述,未下载或运行任何工具。