Q-former 和 Q-fusion 在多模态大模型中有什么区别，分别如何完成视觉-语言交互？

60 秒回答模板

我会先把两者放到视觉-语言对齐链路里解释：视觉编码器先把图片变成 patch 或区域级特征，后面要把这些视觉信息变成语言模型能使用的条件。Q-Former 更典型的做法是引入一组可学习 query token，让 query 通过 cross-attention 去读取视觉特征，再把少量 query 表示送给语言侧，相当于在视觉编码器和 LLM 中间做压缩、筛选和对齐。Q-fusion 这个名字在不同论文里可能指不同的查询驱动融合模块，面试里可以抽象成把视觉 token、query 表示和文本表示在更靠近语言侧或多层交互中融合，强调多模态信息的直接交互而不是只输出固定数量的视觉摘要。区别可以从四点讲：一是交互入口，Q-Former 用 query 从视觉特征中取信息；Q-fusion 更强调视觉和语言特征在哪里融合。二是信息瓶颈，Q-Former 的 query 数量会限制传入 LLM 的视觉信息量；Q-fusion 如果保留更多 token 或多层融合，表达更充分但成本更高。三是训练目标，Q-Former 常配合图文对齐、匹配或生成类目标学习 query 表示；Q-fusion 要看具体实现，通常关注融合后对下游生成或理解任务是否有效。四是适用场景，Q-Former 适合把冻结视觉编码器和大语言模型稳定接起来，Q-fusion 适合需要更细粒度视觉-语言交互的任务。