精选 01
UGG: Unified Generative Geometry Model
Kiruga, Amani; Li, Zhiyi; Cai, Ruojin; Lillemark, Hansen; Wu, Xiaoshan; Tewari, Ayush; Du, Yilun · arXiv 预印本
首发 2026-11-10 · 正文核验
多模态条件几何一致性
将 RGB、深度与相机几何统一为可条件补全的生成任务。
多通道条件的共享注意力与独立编码,可用于比较生成和几何监督如何相互促进。
关键贡献
- 用同一个生成模型承担视频生成、深度预测和相机位姿估计。
- 以模态/时间噪声模式表达任务,并用不完整标注的数据联合训练。
- 通过几何一致性为多种场景假设评分,支持测试时搜索。
方法与原文图解
Figure 2 将 RGB、depth 和表示相机的 dense ray map 编成空间对齐的 token。各模态拥有独立投影与前馈层,共享多模态 self-attention,使外观和几何直接交换信息;文本通过交叉注意力输入。已观测 token 保持零噪声,缺失部分加噪后补全,因此更换干净/带噪模式即可切换生成与预测任务。训练从 Wan2.2-TI2V-5B 初始化,冻结 VAE 与文本编码器,在 288×384、50 帧片段上训练;没有标注的模态不计入对应损失。推理可采样多组几何假设,以观测 RGB 的重投影一致性筛选。
查看原尺寸 / 恢复适配宽度
统一的生成—几何 Transformer
Figure 2 · v1
蓝色RGB、黄色深度和紫色ray-map分别投影,再进入共享注意力;模态独立FFN保留表示差异。
实验与原文证据
- RealEstate10K 单视图条件下,PSNR 为21.79 dB,对照SEVA为19.58;LPIPS为0.150,对照0.194。给定第一帧RGB及相机轨迹;非独立复现。Table 1 · PDF p7
- DL3DV 双视图设置下UGG的PSNR为16.61,低于SEVA的17.61;统一模型优势并非覆盖所有设置。给定首尾两帧与相机轨迹。Table 1 · PDF p7
查看原尺寸 / 恢复适配宽度
相机控制生成的单视图与双视图对照
Table 1 · PDF p7 · v1
上半表为双视图,下半表为单视图;PSNR/SSIM越高越好,LPIPS越低越好。重点比较RealEstate10K单视图收益及DL3DV双视图的反例。
采用时注意:当前训练分辨率较低;统一能力不等于各任务都超过专用模型,测试时搜索还增加采样成本。
精选 02
PhysLoop: Harnessing LLMs' Physics Awareness for Self-Improving Video Generation Models
Chen, Yuxuan; Li, Xiaojie; Chen, Hao; Ma, Juncheng; Zhang, Kewei; Du, Zhongjing; Wei, Guoqiang; Wang, Fangfang; Dong, Zhen; Dou, Zhiyang; Zhao, Liming; Zeng, Yan; Zhang, Jianwei; Zhou, Daquan · arXiv 预印本
首发 2026-11-12 · 正文核验
物理数据生成修复
用可执行物理场景、分阶段验证和修正,构建受控视频数据并修复生成视频。
为同步几何通道、物理事件和外观细化后的对应关系提供数据设计参考。
关键贡献
- 将LLM规划、资产选择、物理模拟、验证与外观细化组织为同一harness。
- 发布100K视频及生成、修复两个评价集。
- 保留参数、相机、模拟状态和修改历史,支持受控变量变化与失败回溯。
方法与原文图解
Figure 1 左侧从文本和可选视觉参考出发,经规划与资产管理产生可执行场景,再由UE为主、Taichi/Genesis辅助的物理后端计算运动。多机位共用模拟时间线,同时记录RGB、深度、分割和对象状态。验证器检查目标事件是否发生,以及物理约束是否满足;失败时回到负责该问题的阶段修改。通过模拟检查后再做视频外观细化,并对细化后的运动重新验证。右侧将相同机制用于输入视频的局部物理修复。原始渲染具有同步标注,但细化可能改变物体位置,论文明确不将原标注视为细化视频的像素对齐真值。
查看原尺寸 / 恢复适配宽度
PhysLoop的数据构建与视频修复流程
Figure 1 · v1
左侧规划、资产、执行、验证通过反馈循环连接,右侧细化和最终验证再次筛选;检查模拟正确与最终视频正确是两个环节。
实验与原文证据
- PhysLoop任务成功率Gen为85.00、Repair为86.00;Seedance 2.5单模型分别为73.00、19.33。Table 1所列GPT-6 Astra+Seedance 2.5组合;任务分数为作者报告。Table 1 · PDF p7
- 外部Physics-IQ Verified为52.06,对照Seedance 2.5为48.07;模型PC分数则为15.29,低于21.51。不同评价维度方向与定义按原表;不能概括为所有物理指标均提升。Table 1 · PDF p7
查看原尺寸 / 恢复适配宽度
生成、修复及物理评价结果
Table 1 · PDF p7 · v1
读取底部PhysLoop行与Seedance 2.5单模型行,重点看Gen/Repair任务列;同时保留PC未提高及Win评价设置的限制。
采用时注意:表中Win来自一位作者的301次非盲补充比较;当前证据主要支持数据构建和修复能力,不能等同于已验证多轮递归自训练收益。
精选 03
Few-Step Streaming Video Generation via Condition Shifting
Liu, Deyuan; Li, Jungang; Zheng, Kaiwen; Jiang, Kai; Chen, Jintao; Wang, Yaole; Lin, Ming; Lin, Tao; Chen, Jianfei; Zhu, Jun; Zhang, Jintao · arXiv 预印本
首发 2026-11-10 · 正文核验
少步蒸馏流式视频
让生成器兼任fake估计器,减少少步流式蒸馏中的辅助网络成本。
与长视频自生成历史训练和少步蒸馏直接相关。
关键贡献
- 通过condition shifting共享生成器与fake估计器参数及默认优化器状态。
- 与Self-Replay Forcing结合,使估计器适应带因果历史的生成片段。
- 在180秒流式视频上报告指令跟随收益及训练资源折衷。
方法与原文图解
Figure 2 上排DMD使用独立参数η拟合生成分布,下排APEX将这一角色交给同一组θ参数:原文本条件用于生成,取反后的文本嵌入用于fake速度估计。论文强调改变条件并不使整个注意力输出简单取反。冻结教师仍提供参考预测,教师和fake的速度差形成停止梯度的修正目标。训练沿用Self-Replay Forcing,对自身生成的长序列片段重加噪并做可微因果回放,再交替执行生成与fake拟合更新。方法减少独立fake网络,但保留教师、感知正则和历史回放。
查看原尺寸 / 恢复适配宽度
DMD与APEX在Self-Replay Forcing中的区别
Figure 2 · PDF p5 · v1
左图比较独立η与共享θ;右图说明文本嵌入取反后,softmax注意力仍是非线性变化。
实验与原文证据
- 320个StreamAV-Bench案例中,整体VIF为3.891,对照S2为3.834;视觉美学VA为0.641898,对照0.632606。两模型采用3次backbone NFE和相同一步2×Refiner,生成180秒视频。Table 2 · PDF p7
- 匹配训练配置下,每GPU峰值分配显存102.7降至98.2 GiB,平均迭代35.9降至32.6秒。相对DMD,分别下降4.4%和9.2%,仍含冻结教师。Figure 5 / §4.3
- 整体视频质量VQ为3.256,略低于S2的3.267;音画同步误差1.340521秒,高于1.318854秒。同一320案例,VQ越高越好,AVSync越低越好。Table 2 · PDF p7
查看原尺寸 / 恢复适配宽度
按轨道及整体汇总的StreamAV-Bench结果
Table 2 · PDF p7 · v1
三组列分别是Overall、Progressive、Interactive;APEX−S2的差值揭示指令/美学提升与VQ、同步指标的折衷。
采用时注意:当前主要是音视频流式场景;指令指标提高不能直接推出运动质量或所有一致性指标提高。
- 主页
- 代码
精选 04
NanoKV: High-Ratio KV Cache Compression for Autoregressive Video Generation
Lu, Jiacheng; Zhu, Haoyi; Yi, Sipei; Xie, Enze; Zhuo, Cheng; Li, Yu · arXiv 预印本
首发 2026-11-04 · 正文核验
KV缓存表示压缩
以不同目标拟合K与V,在冻结视频骨干下高比例压缩历史缓存。
为有限KV预算下保留长历史提供token淘汰之外的表示压缩方案。
关键贡献
- 跨token与head共享中心,以低比特系数编码head-channel联合残差。
- K解码器用block输出对齐,V编解码器用量化路径重建拟合。
- 可选Fast变体直接复用压缩系数,按敏感性混合低维与全维注意力。
方法与原文图解
Figure 2 对比三条缓存路径。NanoKV保留原始KV投影和冻结的视频骨干,把共同内容放入簇中心,将每个token的残差压缩为联合head-channel系数。K影响注意力权重,因此用下游Transformer block输出误差拟合解码器;V直接影响被加权内容,因此按实际量化路径优化重建。标准版本解码后进行全维注意力,优先保真;NanoKV-Fast在不敏感历史上直接进行较低维计算,同时保护近期帧和敏感层/头。这一区分避免把缓存压缩率当作端到端加速比。
查看原尺寸 / 恢复适配宽度
KV压缩与注意力访问路径对比
Figure 2 · v1
右列保留原KV投影,压缩系数可经解码回全维,也可走Fast混合维度路径;K/V采用不同的生成感知拟合目标。
实验与原文证据
- HY-WorldPlay名义32×设置:实际KV为0.80 GiB、压缩26.09×,KVTC为1.55 GiB、13.50×;相对Original参考轨迹的PSNR为19.56,对照18.56。20段固定评测视频,骨干与参考生成路径按原文配置;PSNR衡量对Original生成的保真。Table 1 · PDF p7
- Fast变体为20.53×实际KV压缩、19.04 dB PSNR;相对Original端到端加速1.06×,KVTC为0.92×,因此相对KVTC约1.15×。HY-WorldPlay相同名义32×面板;标准NanoKV的速度比为0.96×。Table 1 · PDF p7
查看原尺寸 / 恢复适配宽度
质量、实际压缩与端到端速度对照
Table 1 · PDF p7 · v1
按三种骨干分区,蓝色行是NanoKV和Fast;将KV CR、PSNR和E2E列联合解读,不把名义32×与实际压缩混淆。
采用时注意:26.09×是历史KV压缩,不是总显存或推理速度;Fast在长rollout后段会有更大的保真损失。
精选 05
L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
Choi, Jinhyeok; Lee, JoungBin; Lee, Jongmin; Jeon, Minkyeong; Kim, Jiyoung; Han, Kaeun; Yoon, Yoonjin; Kim, Seungryong · arXiv 预印本
首发 2026-10-29 · 正文核验
空间记忆latent渲染
把持久3D记忆直接渲染为VAE latent,连接回访一致性与实时生成。
可比较几何对齐latent条件与RGB重编码条件对细节、闪烁及运行成本的影响。
关键贡献
- 按新探索区域生成高斯、按回访观测修正已有高斯,记忆随场景覆盖增长。
- 每个高斯储存VAE latent特征,可直接渲染到视频生成器的latent空间。
- 将记忆更新与分块视频生成交替,结合少步蒸馏提高吞吐。
方法与原文图解
L3G-Mem根据当前片段与已有记忆决定哪些区域需要生成新高斯,并对可见旧高斯预测残差更新,而不是不断堆积所有历史像素。Figure 3 展示L3G-Gen:先从目标相机渲染记忆latent和不透明度,与噪声latent沿通道拼接,再结合历史latent由因果DiT生成下一片段。新片段反过来更新持久3D记忆。直接latent渲染省去RGB渲染后的VAE编码,因此将几何对齐信息送入扩散模型时可减少额外开销。
查看原尺寸 / 恢复适配宽度
由潜空间3D记忆条件化的L3G-Gen
Figure 3 · v1
左图将目标视角VAE特征和不透明度与噪声latent拼接;右图展示空间对齐的latent条件及生成视频。
实验与原文证据
- 400帧生成、单H100配置中,L3G-World为480×832、峰值7.4 GiB、9.02 FPS;Yume 1.5为66.7 GiB、1.42 FPS。原表中Yume 1.5分辨率704×1280,其他方法也不同,因此这是各自系统配置对照,不是同分辨率算法加速比。Table 1 · PDF p3
- DL3DV消融中,完整记忆的VAE MSE为0.177,去除refinement为0.213。L3G-Mem记忆模块消融;MSE越低越好。Table 3
查看原尺寸 / 恢复适配宽度
400帧生成的系统效率对照
Table 1 · PDF p3 · v1
阅读Memory Scaling、峰值GPU内存与FPS三列,同时核对Resolution列;不同分辨率使数值不宜直接归因于单个模块。
采用时注意:首发10月29日,作为近30天内与当前研究高度相关的补充;空间记忆仍会受早期几何错误影响,不能仅凭吞吐代表几何正确。