标签题目
多模态学习相关面试题第 2 页
文本搜图场景如何设计图片搜索系统，让用户搜“小狗”时能召回包含小狗的图片？
文本搜图系统要让用户输入“小狗”时召回包含小狗的图片，核心不是只按文件名搜索，而是建立图片内容理解、文本语义表示、索引召回和排序评估的完整链路。图片侧需要离线或实时提取对象标签、检测框、caption、OCR、视觉向量和多模态向量；查询侧需要把文本解析成语义向量和关键词；召回侧结合倒排索引、向量检索和元数据过滤；排序侧再按语义匹配、对象置信度、图片质量和用户意图重排。
图像融合算法怎么实现？像素级、特征级和决策级融合分别适合什么场景？
这题考的是对图像融合任务的完整建模能力：不仅要说把多张图加权平均，还要能区分像素级、特征级和决策级融合在信息粒度、配准要求、鲁棒性、可解释性、计算代价和适用场景上的差异，并给出可落地的实现、评估和故障排查思路。
电商 App 中的 AI 穿搭推荐功能应如何设计整体流程，并从数据来源、模型链路和效果评估上落地？
这道题考 AI 推荐系统设计，重点不是只说“训练一个推荐模型”，而是把商品图文、用户偏好、穿搭兼容性、业务约束、线上反馈和评估闭环串起来。
视频剪辑智能体的全链路架构如何设计，核心模块的职责和交互逻辑是什么？
这道题考察 AI 应用开发候选人能否把“视频剪辑智能体”设计成可落地的工程系统：从用户意图理解、素材解析、剪辑计划、工具执行、预览修正到渲染导出，拆清楚核心模块、数据结构和交互闭环。
多模态/RAG 项目上线前如何设计评价指标，如何拆分整体效果与 RAG 子模块指标？
这题考察的不是“能不能背几个指标名”，而是能否把多模态/RAG 项目上线前的评价体系拆成可决策、可归因、可监控的指标框架。来源只支持“项目上线前评价指标”和“RAG 子模块评价指标”这两个面试追问，因此回答应聚焦通用方法论，不编造任何阿里内部指标。高质量答案要先定义上线目标和风险边界，再把评价拆成三层：端到端业务效果、模型回答质量、RAG 链路子模块效果。最终要能回答三个问题：整体效果好不好、如果不好是哪一段坏了、达到什么阈值才能灰度上线。
如果 CLIP 主要学到全局图文对齐，如何优化它以提取更细粒度的视觉特征？
这道题考察对 CLIP 全局对比学习局限和细粒度视觉表征优化的理解。好的回答要从数据标注、区域/patch 对齐、损失设计、模型结构和评估任务多个层面改造。
多源检索 Agent 如何判断证据已足够生成结论，在文献、病历和网页结果冲突时划分可信优先级并排序筛选，同时用停止条件避免死循环？
这题考多源检索 Agent 的证据治理能力。高质量回答要说明如何拆解问题、判断证据是否足够、处理文献/病历/网页冲突、排序筛选来源，并用明确停止条件避免检索和推理循环失控。
视频 AIGC 的多镜头与智能分镜调度能力，如何划分模型侧与产品侧交付边界，并设计可控参数、质量指标和异常兜底？
这题考视频 AIGC 产品经理能否划清模型能力、产品编排和用户控制之间的边界。好答案要讲清模型侧负责生成质量和多镜头一致性，产品侧负责工作流、参数控制、质量门禁和异常兜底，并用结构化分镜协议把两边衔接起来。
VLM 做 SFT 后过度依赖文本、忽略图像并产生视觉幻觉时，如何从数据、loss mask、图文对齐、hard negative 和评测切片排查修复？
这题考 VLM 训练排障能力。重点不是泛泛说“加图像数据”，而是要从 SFT 数据比例、文本捷径、loss mask、视觉 token 利用、图文对齐、hard negative、消融实验和评测切片系统定位：模型是没有看视觉信息，还是看了但对齐差，还是评测集暴露了特定幻觉类型。
已有数字人视频生成模型如何定向训练为只生成指定人物，并设计身份一致性数据、参考图注入、训练约束和评估指标？
这题考数字人视频生成的定向个性化训练方案。重点要覆盖指定人物数据集、参考图像注入、微调策略、身份约束、时序一致性、安全合规和评估指标。好的回答会说明如何让模型只生成目标人物，同时避免过拟合、身份漂移、动作僵硬和未经授权的人脸生成风险。
将文本客服 Agent 升级为语音甚至图/视频多模态客服时，如何重构交互、指标和风险控制？
这题考文本客服向语音和多模态客服升级时的产品系统设计。重点是交互链路、指标体系和风险控制都要随输入模态变化重新设计。
多模态 CoT 场景下，如何构造用于 DPO 的偏好数据，并保证推理过程与图文证据一致？
这题考多模态偏好数据构造。回答要讲正负样本、图文证据一致性、推理链标注、偏好质量、DPO 训练和评估闭环。
统一生成理解多模态模型做下游微调时，如何为分类、VQA、OCR、定位和生成任务设计统一样本格式，同时保留各任务的专属监督，并控制混训比例、数据质量和能力退化风险？
这题考统一生成理解模型的下游微调数据设计。回答要讲任务格式统一、数据混合、采样比例、模态对齐、质量控制和评测。
多模态大模型如何支持动态分辨率输入，位置编码应如何设计以兼顾长宽比、局部细节和视觉 token 成本？
这题考 VLM 视觉输入工程。回答要讲动态分辨率切分、视觉 token 预算、位置编码、长宽比保留、局部细节和训练推理一致性。
面向 VQA、图像描述、OCR、视频理解等多模态生成/理解任务，如何评估输出质量，并通过数据集质量控制与 GPT 辅助标注提升评测可靠性？
这题考多模态模型评测和评测集质量建设。回答要覆盖 VQA、图像描述、OCR、视频理解等任务的输出质量维度，也要讲数据集清洗、人评标注、GPT 辅助构造和裁判校准。