A4b. 分镜与相机轨迹
分镜表达叙事、节奏与镜头关系;相机轨迹表达位置、朝向、投影和时间。二者需要对应,但故事板格子不等同于已经可执行的相机时间线。以下方法、时间与资产线索继承自 2026-09-23 笔记,本轮未在线重验。
文本到相机与几何控制
ShotVerse
- 时间与来源:原记 arXiv v1 2026-03、v2 2026-08;论文、项目、仓库。
- 原记机制:Plan-then-Control,规划全局对齐的多镜头轨迹,再经 camera adapter 控制视频;记录有 12D 轨迹、跨镜标定、shot 轴与三轨评测。
- 对闭环:分开检查文本→轨迹、轨迹→视频、最终质量,便于定位镜头规划和执行的错误。
- 待核实:12D 各维含义、单位、相机 basis、时间索引、cut 语义和真实评测条件。模型内部 query tokens / RoPE 不能直接变成场景交换 schema;消融有效也不证明软件协议必须采用同样的轴编码。
OmniCam
- 时间与来源:原记 ICLR 2026 投稿;OpenReview PDF。录用状态和版本待补。
- 原记机制:离散运动 token 连接文本、轨迹和视频,关注场景尺度引起的感知速度差异;OmniTr 数据。
- 对闭环:同样的世界速度在不同距离和焦距下视觉效果不同。可研究描述词和参数之间的对应,但不必先训练专门 planner。
UCPE
- 时间与来源:CVPR 2026;会议论文页。
- 原记机制:Relative Ray Encoding 结合位姿、内参与畸变,用适配器注入视频模型。
- 对闭环:下游相机条件需要明确轴、单位、投影和畸变适用范围。不能把模型的 pitch/roll 编码偏好升级为作者端朝向表示规则。
其他方法线索
| 名称 | 时间 / URL | 下一步阅读重点 |
|---|---|---|
| ConfCtrl | 2026-03-10,论文入口 | “置信度插值”究竟作用于何种表示;不能直接套用到轨迹 baker |
| InfiniBench | 原记 CVPR 2026 Oral,会议列表 | 原记有任务感知机位覆盖;需补独立论文链接,通用会议列表不能支撑机制细节 |
| CameraAnything / Beyond Inpainting / UniMoCa | 2026,下游报告 | 相机条件如何进入视频模型,及运动/相机的解耦 |
专业 previs / 分镜工具的相机表示与数据可导出性
2026-09-25 检索补充。 本节材料来自并行联网检索的转述,多数未逐页复核官方文档;标注「原页」者表示检索者称已抓取页面正文。列为对照基准与外部编辑器候选,不作为已接入的能力。
| 工具 | 时间 | 来源 | 相机表示 | 可程序化导出 | 对本项目 |
|---|---|---|---|---|---|
| Toon Boom Storyboard Pro(22/24) | 2026 活跃,官方帮助(原页) | 商业 | 2D→3D 后有真实 3D 相机 + 视锥 + 相机关键帧 | EDL / AAF / FCP XML 用于剪辑 conform;FBX 含 3D 元素与动画 | 分镜→剪辑→3D 全链路的最佳对照:EDL/AAF 管时间线,FBX 管 3D 相机 |
| Blender(4.x) | 2026 活跃,官方手册(原页) | 开源 GPL | 完整 3D 相机:焦距/传感器/sensor fit/clip/DOF + 关键帧 + F-curve | 原生 USD、glTF 2.0、FBX;bpy 可完全脚本化读写 | 最现实的外部编辑器宿主;GPL 需进程边界隔离。Storypencil 只是轻量分镜插件 |
| Unreal Engine(VP / ICVFX / Live Link) | 2026 活跃,官方文档(原页) | 闭源,按营收 | Cine Camera Actor + Sequencer 关键帧;Live Link 接收物理相机 + 镜头文件/畸变/nodal offset | Sequencer FBX 含相机;USD 需整 level/sequence 导出(非单相机);Alembic 相机不可导入 Sequencer | 物理相机轨迹的黄金基准;「相机轨迹 provenance」可参照 Live Link Camera Role |
| SynthEyes 2026(Boris FX) | 2026-02,CG Channel(二手) | 商业 | 解算相机(位置/朝向,RPY 或 look-at+roll)、焦距、畸变、点云 | USD / FBX / Alembic / OBJ / PLY;2026 起可导入整 USD 场景;可导出镜头畸变图 | 参考视频→相机轨迹→与场景对齐的最短路径 |
| PFTrack(The Pixel Farm) | 2026 活跃,官方文档(原页) | 商业 | 解算相机,朝向支持 RPY 或 look-at+roll 两种表示 | USD / FBX / OBJ / Alembic / PLY,导出面板可分选 Cameras/Geometry/Point Clouds/Distortion | 与 SynthEyes 同类的备选;其「朝向两种表示」正是相机朝向交换的坑 |
| Previs Pro 3.x | 2025-09 发 3,2025-11 发 3.1,官方 wiki(原页) | 商业订阅 | 真实传感器(Full Frame/Alexa LF/Super 35/M4/3)、17 个定焦 10–270mm、变形镜头 squeeze、DOF(光圈/对焦/超焦距)、关键帧相机 | PDF/JPG/PNG、MP4 animatic、FCP7 XML 到 Premiere/Resolve;导入 glTF;无 USD/FBX/EDL/AAF | 焦距/传感器/DOF 字段可作 SceneNode 相机参数的语义参照;无 3D 相机交换 |
| FrameForge 3D Studio | 基本停滞(官方对比称 2019-12 后无重大更新),支持库(原页) | 商业 | 光学精确虚拟相机,可匹配真实镜头包,焦距/传感器/景深/焦点拉动,立体 3D | 数据丰富的 2D 分镜、RTF shot list、animatic、HD 影片;未见 FBX/Alembic/USD | 镜头/传感器/景深语义的最佳对照(曾获技术艾美);导出链路封闭 |
| Cine Tracer 2 | Steam EA 持续更新,Steam(原页) | 商业约 $89.99 | 真实相机/镜头库、焦距/曝光/对焦、浮动机位、shot list | 渲染图/分镜 + shot list;glTF/FBX 是导入用;相机轨迹导出未证实 | 只宜作镜头感/光照对照,不能当外部编辑器 |
| Shot Designer | 2025 仍更新,官方页 | 商业(免费版受限) | 2D 俯视机位图 + 摄影机运动动画 + Director's Viewfinder | PDF / JPG / XLS shot list;无 USD/FBX/JSON | 2D 调度语义对照;数据是平面图,无 3D 相机轨迹 |
| Storyboarder(Wonder Unit) | 维护基本停滞(最后实质提交约 2024-03),仓库 | 开源但实际长期无 OSI 许可 | 弱:Shot Generator 仅摆位参考,不输出真实相机轨迹 | 原生分镜 JSON(.storyboarder)+ Fountain;可导 PDF/GIF/NLE | 「分镜即 JSON」是值得学的正面数据模型;相机能力不足 |
| Boords | 2026 活跃,2026 加入 Boords Agent,导出文档(原页) | SaaS | 仅文本字段级(镜头尺寸、运动注释),无光学模型 | 公开 REST API + webhook(frames/comments/teams 端点);PDF/ZIP/MP4/docx/Slides | API + 文本镜头元数据可作 Stage-1 语义解析的外部数据源;无 3D |
| StudioBinder | 2026 活跃,支持库 | SaaS | 文本字段级(shot size/angle、movement、lens、frame rate) | 官方确认 CSV + PDF;搜索摘要中的 REST API 未证实,应按「无公开 API」对待 | shot list 字段字典的行业对照 |
| Godot 4.6/4.7 | 2026,MIT | 开源 MIT | Camera3D + 关键帧 | 无原生 USD(有 glTF) | MIT + 轻量 + 可脚本,适合自研编辑器/查看器宿主 |
| Set.a.light 3D V3 | 2026-03 前后,官方博客 | 商业一次性 | 物理精确灯光 + 相机位/运动;偏影棚灯光 | 分镜 PDF、静帧、CINEMA 版 MP4、3D 导入 obj/fbx/dae;无相机轨迹 USD/FBX | 灯光/影调对照 |
| Cavalry(Scene Group / Canva) | 2026-02 被 Canva 收购,2026-04 起个人免费,CG Channel | 现免费 | 2.0 起 Camera + Camera Guide,2.5D 视差相机 | MP4/ProRes/EXR/SVG/Lottie;JSON + JS API 为主;无 USD/FBX | 纯 2D 动效,作 previs 对照价值低 |
结论:USD 与 EDL/AAF 的分工
- USD(
UsdGeom.Camera)是唯一同时承载「几何层级 + 相机光学 + 逐帧动画 timesample」的开放标准:可记录 focalLength、horizontal/verticalAperture(传感器)、clippingRange,以及 xformOp 的位置/朝向关键帧。这与VoxelModel + SceneNode + AnimationTrack想要的交换语义最接近。 - 2026 检索到真正导出 USD 的四类:Blender(原生)、Unreal(整 level)、SynthEyes 2026、PFTrack(Mocha Pro 同类)。恰好覆盖「自研编辑器宿主 + 相机反求 + 虚拟制片」三条链路。
- 传统分镜/轻量 previs 工具几乎全部缺席 USD(Cine Tracer、FrameForge、Previs Pro、Set.a.light、Cavalry、Boords、StudioBinder、Shot Designer)——这是它们不能作为外部编辑器的根本原因。
- EDL/AAF 是剪辑时间线格式,不承载 3D 相机几何:EDL(CMX3600 等)是剪辑决策表,AAF 是媒体合成/授权格式。它们在 previs→AI 视频链路里的价值是「切点/时长/节奏」的时间线权威,与 CAMERA_TIMELINE 的显式 cut 需求对应;相机运动必须另走 USD/FBX。
- 对本项目的可操作结论:把 USD 定为「场景 + 相机轨迹」的主交换格式候选,并自带一个「分镜工具文本元数据 → 相机」的转换层,把 Boords/StudioBinder/Previs Pro 的镜头字段提升为可执行相机。这是设想,不是已验证的接入。
PrevizWhiz:与「粗 3D 场景 + 2D 视频生成」最接近的学术对标
- 时间与来源:原记 arXiv
2602.03838,2026;论文页(检索转述)。 - 原记机制:粗 3D 场景 + 2D 视频生成;在 3D 中记录相机与角色运动路径引导视频;三级保真(blocking 运动 / 粗角色 / 精细);用户研究 SUS 中「相机引导 helpful」中位数 4/5。
- 对本项目:它把「blockout 运动 + 相机路径」当作视频条件,并做了 HCI 用户研究,是少见的把 previs 控制做成人因实验的工作。未涉及 voxel 晶格、provenance 或场景程序。待核对:编号与页面需复核,检索转述不足以支撑机制细节。
CineForge Previz:同方向的中文独立项目
已在 2026-09-25 读过仓库元数据与 README 全文。它主要是 B 环节(白模→视频) 的产品,完整条目归下游接口 · CineForge,本页不重复维护。与相机相关的一点:它的相机只有「透视 / 二点透视 + 预制镜头 + 关键帧」,没有真实传感器/焦距模型,与本页上表的专业工具不在一个量级。
分镜格式:从素材提取字段
创作者 SOP 与 分镜模板文章(原记 2026)记录了镜头编号、时长、角色、场景、动作、对白、构图、声音和转场等字段。原记所谓“12 项格式”未完整列足 12 项,不再保留为标准名称。
可提取的最小信息是:本镜头表达什么、哪些主体出现、起止状态、时长、景别/机位/运镜、与前后镜的连续性、哪些效果由生成负责及哪些留给后期。2–5 秒单镜、前 3 镜钩子等都是特定短剧的节奏选择,不是通用限制。
补充提示素材:joshesye 分镜文章(原记 2026,日期待补)、中文分镜指南(原记 2026-03-22),可对照景别、动作、时长和节奏词表。
AI-real-person-short-drama-workflow(2026-08-06)原记的返修四要素很实用:出错镜头、错误现象、期望效果、必须保留项。完整条目归编排报告。
可获取的故事板资产
DeepWhite:故事板提示模板与拍摄 skill
- 来源:BV1DwRuB5EQw,2026-05-01;BV1ZqtJ6dE2j,2026-09-02。
- 入口:夸克资料;原记第 17 期为提示模板,第 33 期为拍摄 skill;RunningHub 故事板 / 分镜板。内容与许可未下载核验。
- 原记做法:把多个镜头和约束放进一张故事板,作为视频参考;作者提及分镜错误和台词消失。
- 可借:镜头阅读顺序、参考图如何关联角色/场景,以及画面信息和文字信息如何分工。世界重建实践交叉见proxy → video,资产地址只在本条维护。
笨鸟 MiniMax-H3 故事板包
- 来源:BV1Bium6xEWt,2026-08-09;夸克、飞书 wiki。
- 原记置顶评论补了下载地址;包整合故事、角色、场景和多宫格参考,实际包未获取。
- 可借:素材引用关系和读取顺序。原记“草图比写实拼图好”的观察需按模型/版本/任务测试,不能推出粗 voxel 总优于精细几何。
ComfyUI-TDNodes / LTX2.3 宫格工作流
- 来源:BV1pnRFB3EPY,2026-05-03;仓库、飞书。
- 分发:本期 workflow、模型资料、整合包;原记仓库未发现 LICENSE,复用需再核对。
- 原记功能:20 宫格、动态时长、四宫格变体;评论反映文档权限、缺节点和插件分发不全。
- 可借:镜头链怎样切分和绑定时间。多格图片只是输入组织,不能声称它天然保证连续动作或准确 cut。
Comfy 官方广告分镜 workflow
- 来源:工作流页面,原记 2026,具体发布日期待补。
- 原记
INPUT SHOT LIST→ 图像节点 → 六格线稿和文字;资产为可导出的 workflow JSON,可由 SDK 执行。 - 可借:固定输入/输出和节点依赖。需要取得实际 JSON、依赖版本和示例后,才能确认可重跑。
补充下载与演示入口
| 线索 | 原记时间 | 地址与状态 |
|---|---|---|
| LTX 四宫格升级版 | 2026-03-27 | YouTube,实际文件待取得 |
| LTX 20 宫格 | 2026-04 | 掘金、CSDN、百度,码 s1wl,内容未验 |
| AutoDL V6.1 宫格台 | 2026-06-12 | 应用页,平台镜像入口 |
| Qwen Image Edit 网格 | 原记 2026 | YouTube,仅演示线索 |
| H3 故事板讲解 | 2026-08-26 | YouTube,是否附可下载资产待查 |
社区观察及其限度
原记 DeepWhite 评论提到:太多要求导致遗漏、故事板分辨率拖累输出、高清场景图未必盖过故事板参考、手工逐镜仍有价值。可用于设计对照样本;“20 条只能做 10 条”和基于 O(n²) 的上下文解释都是评论者推测,不作为模型机制事实。
LibTV 36 集教程 BV1FnT46FE3s(2026-07-03)仅有引流页,未取得 workflow。章节中的站位锁定、导演台、手动/自动分镜和故事板可作教学目录参考,与其他无资产演示合并维护在下游报告。
后续验证
先取得一个故事板 JSON 和一个相机轨迹样本,对照其镜头编号、时间、素材用途与实际输出。分别评估:分镜是否表达要求、相机是否实现该构图/运动、下游是否遵循。多镜头支持和焦距/时长上限见下游接口,不在此重复维护产品规格。
维护记录
- 2026-09-24:按相机方法、分镜格式和资产 entry 重写;取消 RoPE→协议、草图→粗体素效果的直接外推,保留下载地址和失败线索。
- 2026-09-25:新增「专业 previs / 分镜工具的相机表示与数据可导出性」(15 个工具)与 USD/EDL/AAF 分工结论;新增 PrevizWhiz 学术对标与 CineForge Previz 待核对条目。本节为并行检索转述,未逐页复核官方文档,已在正文标注。
- 2026-09-25(同日修订):CineForge 已读仓库,完整条目改归下游接口,本页只保留相机相关的差异结论。