01

60 秒回答模板

Video-LLaMA 可以按视频、音频和语言三条链路来解释。视频链路先从视频中采样帧或片段，用视觉编码器提取帧级特征，再通过 Video Q-Former 或 query-based 模块把多帧视觉特征压缩成数量可控的 video tokens，并投影到 LLaMA 可消费的 embedding 空间。音频链路如果启用，会把语音或声音经过音频编码器得到音频特征，再通过 Audio Q-Former 或类似查询模块形成 audio tokens，同样映射到语言模型空间。语言链路是 LLM，它接收 video tokens、audio tokens 和文本指令后生成回答。训练上通常先做模态到语言空间的对齐，再用视频描述、视频问答、多模态指令数据提升问答和推理能力。面试里要强调 Video-LLaMA 的关键不是端到端重训全部大模型，而是用查询模块和投影层把已有视觉/音频编码器连接到 LLaMA。

考点 视频不是图片堆叠
难度 真实面经题
回答目标 讲清机制、训练与评估取舍
02

深入解析

01

先抓住视频时间维度

视频理解比图片理解多了帧序列和时间关系。模型不仅要识别每帧里的物体和场景，还要理解动作、顺序、状态变化和事件持续时间。因此回答 Video-LLaMA 结构时，要先说明视频帧采样和时间聚合。

02

视频编码器提取帧级特征

输入视频通常会被采样成若干帧或片段，再由视觉编码器提取特征。这一步可以继承图像视觉编码器的能力，但单独的帧特征还不等于视频理解，因为它没有充分表达跨帧动作和顺序。

03

时间聚合压缩视频信息

为了让 LLM 处理视频，需要把大量帧级 token 聚合成数量可控的视频表示。Video-LLaMA 的回答应点出 Video Q-Former 或查询模块：它用少量 query 从多帧视觉特征中抽取和语言相关的信息，再经过投影形成 video tokens。这里的取舍是保留动态细节与控制 token 数、显存和延迟之间的平衡。

04

音频分支补充声音线索

视频场景中声音、语音和环境音可能提供关键语义。Video-LLaMA 的音频链路可以概括为音频编码器提取声音特征，Audio Q-Former 或类似查询模块压缩成 audio tokens，再投影到 LLaMA 的 embedding 空间。音频和视频时间不同步、噪声较大或缺失时，需要做对齐和鲁棒处理。

05

LLM 负责指令理解和生成

视频 token、音频 token 和用户文本 prompt 进入 LLM 后，LLM 负责按指令生成描述、回答、总结或推理结果。LLM 的能力决定语言表达和推理上限，但它能否答对视频问题取决于前面是否把关键视觉和时间证据传进上下文。

06

训练核心是模态对齐

训练通常要让视频、音频和文本表示落到可协同的空间，可以用视频描述、视频问答、图文/音文对齐和多模态指令数据。回答时保持高层即可：先对齐连接模块，再用任务数据提升视频问答和指令跟随能力。

03

易错点

  • 把 Video-LLaMA 讲成普通图片 VLM，只说视觉编码器加 LLM。
  • 忽略视频的时间维度和动作顺序建模。
  • 只说多模态融合，没有拆出视频、音频和语言链路。
  • 认为把所有帧 token 直接送入 LLM 就可行，忽略上下文和显存成本。
  • 过度展开论文细节或具体超参数，偏离面试所需的结构级解释。
  • 只讲推理结构，不讲模态对齐训练数据和目标。
04

面试官追问

Video-LLaMA 和 LLaVA 最大的结构差异是什么？

LLaVA 主要处理单张图片的视觉 token，Video-LLaMA 类模型要处理多帧视频和可能的音频，因此多了时间采样、时间聚合和音视频对齐问题。

Video-LLaMA 为什么需要 query 模块而不是直接把所有帧 token 输入 LLM？

视频帧 token 数量很大，直接输入 LLM 会造成上下文、显存和延迟压力。Video Q-Former 这类 query 模块用少量查询压缩视觉证据，既控制 token 成本，也完成模态对齐。

音频分支有什么价值？

音频可以提供语音内容、环境声音和事件线索，例如掌声、警报、说话内容。对部分视频问答，单靠视觉可能不够。

如果模型答错动作顺序，可能是哪一层出了问题？

可能是帧采样间隔不合适、时间聚合太弱、视频 token 压缩丢了关键帧，或者训练数据缺少顺序推理类问题。