Skip to content

A2. 资产生成:范围占位与接口线索 ​

研究入口 · 场景构建

用户在原会话中明确:text/image → 3D 资产是课题组已有积累,本轮不重复调研。保留此页是为了说明管线的这个位置,以及后续取用资产时需要对接什么。

已有线索的正确归属 ​

Tripo / VAST:原记 2026-09-04,报道提及面向导演台的三维资产。应归资产生成与组织,不能作为视频模型接收 proxy 的证据。这里只保留已有报道,不展开模型比较。

将来有实际导入任务时再查 ​

  • 资产能否携带部件、层级、局部原点、pivot/锚点和 rest pose,还是仅一块几何?
  • 共享几何和独立实例如何表示;尺寸、颜色和朝向怎样保存?
  • 格式转换和体素采样怎样保留来源、局部坐标和人工修改?
  • 材质、纹理、骨架中哪些信息对当前镜头必要,哪些留给下游?

这些是待对接的问题,不是要求每份外部资产满足的新协议。

实拍/单图 → 可编辑代理:接口线索 ​

2026-09-25 检索补充。 本节不重复课题组已有的 text/image → 3D 生成调研,只回答本页原来列的「将来有实际导入任务时再查」问题:外部资产和实拍场景能否变成可体素化、可带来源的代理几何,以及各自的可程序化程度与许可。检索转述,未下载或运行任何工具。

三条件路径(按「输出是不是真几何」排序) ​

路径工具输出体素化难度可程序化许可红线
摄影测量(真三角网格,最适合体素化)RealityCapture / RealityScan(Epic)稠密点云、网格 PLY/OBJ/FBX、正射低(网格→Open3D/trimesh voxelize/binvox)强 CLI/批处理;年收入 <$1M 免费,>$1M $1,250/席位/年闭源,Windows + CUDA
Agisoft Metashape稠密点云、网格、DEM、正射低Python API + CLI,可完全脚本化闭源永久:Standard $179 / Pro $3,499
Meshroom / AliceVision三角网格 OBJ/PLY、点云、EXR低节点图 + Python 脚本;可分布式MPL-2.0(含商用);MeshroomHub 插件支持 Gaussian Splatting
单图/少图 3D 生成(GLB 直出)TripoSR(Tripo + Stability)网格 OBJ(--bake-texture 出纹理),~0.5s/A100低CLI python run.py image.png --output-dir out/MIT;仅单物体、几何较粗、背面幻觉
TRELLIS(Microsoft)Radiance Fields / 3D Gaussians / Mesh 三种解码,mesh 可出 GLB低Python API、Gradio;≥16GB VRAMMIT(原版);仅 Linux/CUDA;检索提到 TRELLIS.2 但未从官方仓库确认
Hunyuan3D 2.1 / 3.0(Tencent)网格 + PBR 纹理;导出 GLB/OBJ/PLY低Python、Gradio、Blender 插件;2.1 需 10/21/29GBTencent Hunyuan Community License(非 OSI,含商用限制/规模条款);3.0 细节未经官方确认
Meshy 7GLB/FBX/OBJ/USDZ/STL/3MF,可先下「白模 GLB」再贴图低成熟 REST API(上传→task_id→webhook/轮询),Unity/Unreal 插件闭源;免费 100–200 credits/月(CC BY 4.0)、Pro $20/月
Rodin / Hyper3D(Deemos)GLB/OBJ/FBX/USDZ/STL;有 Voxel 风格预设低REST API + MCP + Blender/Unity/Unreal/Godot/Maya/3dsMax/ComfyUI 插件闭源;Creator $30/月、Business $120/月
Luma Genie / Alpha3DGLTF/OBJ/USDZ;GLB低Web/iOS,无正式 CLI(API 待核实);Alpha3D API €5/月起闭源免费 beta / 闭源
3DGS / NeRF(视觉参考,非几何)Postshot(Jawset)Radiance Field PLY / SPZ;可导相机位姿与点云高(需先转网格)GUI + CLI(CLI 归 Studio 档)闭源商业;Windows + NVIDIA;官方页价格字段动态渲染为 €0.00,实际价位待核实
SuperSplat Editor(PlayCanvas)PLY/SPLAT/SPZ/KSPLAT;SplatTransform CLI高浏览器编辑器 + 开源 CLI/源码MIT(唯一成熟的开源高斯清理/裁剪/合并工具)
gsplat / Nerfstudio/Splatfactogsplat 出 3DGS;Nerfstudio ns-export 出 .ply,NeRF 模型可 TSDF/Poisson → .ply/.obj + 相机路径 JSON高Python 库 / 全 CLI(ns-train/ns-export)Apache-2.0;Splatfacto 本身不导出网格(需用 NeRF 模型)
Brush / LichtFeld StudioPLY(3DGS)高Brush 跨平台(含 AMD);LichtFeld 有 Python 插件 + MCP开源(许可待核实);较新、文档不足
Polycam / Scaniverse / Luma Capture网格 OBJ/FBX/GLB/USDZ、点云、高斯;Luma 含网格近似回退中Polycam 有 REST Content API(Beta,仅 Enterprise);Scaniverse/Luma API 细节来自二手闭源;关键导出与 API 需付费/企业档
ml-sharp / Apple SHARP3DGS .ply(OpenCV 坐标系,具公制绝对尺度);--render 出相机轨迹视频高CLI sharp predict -i <imgs> -o <out>代码与模型分属不同 LICENSE/LICENSE_MODEL,社区指出二者不兼容,商用条款必须自行核实。单目生成非真几何,背面为幻觉
instant-ngp交互式 NeRF;内置 NeRF→Mesh / SDF→Mesh中GUI + 命令行;Python 绑定需自行编译NVIDIA Source Code License(非 OSI,商用受限)

高斯 → 网格/占用:体素化的关键中间件 ​

工作时间输出对本项目
SuGaRCVPR 2024;仓库表面对齐高斯 → Poisson 重建三角网格(可联合优化),支持编辑/绑定/重光照从实拍 3DGS 得到可编辑网格再体素化,是「实拍→占用网格」最短路径;研究许可
2D Gaussian Splatting仓库2D 圆盘高斯 → 深度图 → TSDF fusion + Marching Cubes → 水密三角网格比原版 3DGS 深度更平滑,网格更适合体素化
GS2Mesh / GaussianProarXiv 2501.00625逐视角深度 TSDF 融合成网格,部分指标优于 2DGS备选
VoxelSplat / GaussianOcc / VolSplatCVPR 2025 / ICCV 2025 / 2025-09体素空间占用 + 语义 + 场景流(VoxelSplat 把高斯投影做占用/流正则)直接证明「高斯 → 体素占用网格」可行且有活跃研究;面向自动驾驶基准,需适配
通用体素化—Open3D / trimesh voxelize、binvox、Blender Remesh(Blocks)/Voxel Remesh任何上述网格(RealityCapture/Metashape/Meshroom/SuGaR/2DGS/TripoSR/TRELLIS/Hunyuan)都可离散为占用网格,再套用 dyadic lattice / local frame

对本环节的结论 ​

  1. 「实拍→可编辑代理」最稳路径:照片/视频 →(RealityCapture 免费档 / Meshroom MPL-2.0 / Metashape 脚本)→ 真三角网格 → Open3D/trimesh/binvox 体素化 → 套入 VoxelModel。这条路径输出真几何,天然契合占用网格,无需从高斯反推。
  2. 「实拍→视觉参考」路径:Postshot / Nerfstudio-Splatfacto / Brush → PLY 高斯 → SuperSplat 清理 → 作为 AI 视频的 3D 参考/背景,不进入 voxel 几何(保留为渲染层)。
  3. 需要高斯→网格时:2DGS 或 SuGaR 出网格再体素化;VoxelSplat/GaussianOcc 的体素对齐思路可参考。
  4. 自动化接口优先级:Nerfstudio(CLI, Apache-2.0)> Meshroom(MPL-2.0)> Metashape(Python API)> RealityCapture(CLI)> Polycam(企业 REST)> Meshy/Rodin(云 API + MCP)。
  5. 许可可放心商用:SuperSplat(MIT)、gsplat/Nerfstudio(Apache-2.0)、Meshroom(MPL-2.0)、TripoSR/TRELLIS(MIT)。需核实:ml-sharp 模型许可、Hunyuan 社区许可、instant-ngp、SuGaR/2DGS(研究许可)。
  6. 待核对:Postshot 实际价格;Hunyuan3D 3.0/3.5 与 TRELLIS.2 规格均来自第三方聚合;Scaniverse/Luma 的 API 细节来自二手;2026 年多个「best 3DGS tools」聚合站疑似 AI 生成,数字应与厂商官网二次核对。
  7. 与 AGENTS 边界的对应:本页只回答「资产怎样进入场景」的接口问题。「资产能否携带部件、层级、pivot/锚点和 rest pose」这一问题在检索材料中仍无明确答案——上述工具的输出普遍是 mesh/高斯/点云,未见带部件语义与局部原点的通用导出。这仍是未解决的问题。

维护记录 ​

  • 2026-09-23:按用户范围决定建立占位。
  • 2026-09-24:保留暂不调研;将 Tripo/VAST 从下游视频消费条目移回资产侧。
  • 2026-09-25:新增「实拍/单图 → 可编辑代理:接口线索」,回答本页原有「将来有实际导入任务时再查」问题:三条件路径(摄影测量真网格 / 单图-3D GLB / 3DGS 视觉参考)、高斯→网格中间件与体素化工具。明确「部件/层级/pivot/rest pose 的通用导出」仍未解决。检索转述,未下载或运行任何工具。