60 秒回答模板

我会先说明,大模型和 2020 年前常见传统模型的区别不能简单归结为“参数变大”。更本质的变化有五层。第一,训练目标变了:很多传统模型依赖人工特征、标注数据和单任务监督训练,大模型则用海量通用语料做自监督预训练,再通过指令微调、偏好对齐或领域适配进入具体任务。第二,能力形态变了:传统模型通常解决一个明确任务,例如分类、排序、识别或序列标注;大模型更像基础能力底座,可以通过 Prompt、上下文示例、工具调用和少量适配迁移到问答、生成、推理、代码、检索增强等多类任务。第三,交互方式变了:传统模型多是输入特征后输出固定标签或分数,大模型可以用自然语言承接需求、追问上下文、生成结构化结果,并通过多轮对话不断修正。第四,泛化机制变了:传统模型更多依靠训练集分布内泛化,大模型通过大规模预训练获得更强的语言、知识和模式迁移能力,但仍会受幻觉、时效性和上下文质量影响。第五,工程要求变了:传统模型重点在特征、训练、离线指标和线上推理服务,大模型还要考虑 Prompt 管理、RAG、上下文窗口、推理成本、延迟、安全对齐、评测集、内容治理和用户信任。补一句边界:2020 年前也有深度学习、Transformer 和预训练模型,不能说传统模型都很简单;区别在于这些技术在大模型时代被规模化、通用化和产品化,形成了新的基础模型范式。

考点 不是只大在参数
难度 真实面经题
回答目标 让候选人能把“大模型 vs 传统模型”讲成范式变化:从单任务监督模型到通用预训练基础模型,并能补充交互、泛化和工程治理层面的真实差异。

深入解析

01

先界定比较对象

这里的“传统模型”更适合理解为 2020 年前常见的任务专用机器学习或深度学习系统,包括基于人工特征的模型、CNN/RNN 等深度模型,以及面向特定 NLP 任务的预训练模型。它们不是没有神经网络,也不是完全没有预训练;只是多数系统仍围绕单一任务、固定输入输出和明确训练集构建。大模型的变化是把通用语言能力和多任务迁移能力做成可复用底座。

02

训练范式从监督任务转向通用预训练

传统模型常见路径是先定义任务,再收集标注样本,做特征工程或端到端训练,最后服务于一个较窄目标。大模型通常先在海量文本、代码或多模态数据上做自监督预训练,学习语言结构、世界知识和模式关系,再通过指令微调、偏好对齐、工具使用或领域数据适配到具体场景。这让“先学通用能力,再迁移到任务”成为主路径。

03

模型能力从单点预测变成生成式底座

许多传统模型输出的是分类标签、排序分数、识别框、实体标签或固定长度向量,能力边界相对清楚。大模型以生成为核心,可以把任务统一成序列到序列或上下文到答案的问题:回答问题、生成文案、写代码、总结材料、抽取结构化信息、调用工具、进行多轮澄清。它的价值不只是完成一个任务,而是用同一个底座覆盖一组相邻任务。

04

泛化方式出现上下文学习

传统模型的泛化主要来自训练数据和模型结构,遇到新任务通常需要重新训练、微调或设计特征。大模型除了参数内知识,还能从当前上下文中临时学习任务格式和示例,也就是 zero-shot、few-shot 和 in-context learning。它可以快速适应新指令,但这种适应依赖 Prompt 质量、上下文完整性和模型已有能力,不等于真正理解所有业务事实。

05

交互形态从接口调用变成自然语言协作

传统模型通常嵌在业务流程里,用户很少直接感知模型,只看到推荐、识别或预测结果。大模型可以直接成为用户交互界面:用户用自然语言描述目标、补充约束、要求格式、追问原因,模型则给出可读答案或可执行步骤。产品上因此出现 Prompt、对话状态、上下文管理、工具调用和人机协作工作流,而不只是一个预测 API。

06

工程治理复杂度显著提高

大模型上线不只看准确率,还要看幻觉率、拒答策略、事实一致性、结构化输出通过率、上下文长度、token 成本、延迟、并发、隐私、越权风险和内容安全。传统模型也需要监控和治理,但大模型因为输出开放、能力泛化、用户输入不可控,评测和风控更难。工程上常要配合 RAG、缓存、审计、人工兜底和持续评测。

易错点

  • 只回答“大模型参数更多、数据更多”,没有解释训练范式、能力形态和交互方式的变化。
  • 把 2020 年前模型说成完全没有深度学习、Transformer 或预训练,忽略历史连续性。
  • 认为大模型天然理解业务事实,不需要检索、上下文、权限和事实校验。
  • 把 Prompt 当成普通输入字段,没有说明自然语言指令、上下文学习和多轮交互的意义。
  • 只强调大模型更强,不讲成本、延迟、幻觉、安全和评测治理。
  • 把大模型和传统模型对立成替代关系,忽略混合架构和任务适配。

面试官追问

2020 年前已经有 BERT 这类预训练模型,为什么还说大模型是新范式?

BERT 等模型已经体现了预训练思想,所以不能把 2020 年前模型都说成没有预训练。新的变化在于规模、生成式能力、指令跟随、上下文学习、工具化和产品交互一起成熟,使模型从某类任务的表示器变成更通用的基础能力底座。

是不是模型参数越多就一定越强?

不是。参数规模只是条件之一,还要看数据质量、训练目标、架构、对齐方式、推理策略和应用约束。参数更大可能带来更强能力,也可能带来更高成本、更慢响应和更难治理的风险。

大模型为什么能做 zero-shot 或 few-shot?

因为预训练阶段覆盖了大量语言模式和任务痕迹,模型学到了把上下文、指令和示例映射到输出的能力。few-shot 示例本质上是在当前上下文中临时定义任务格式和边界,但它依赖模型已有能力,并不是万能泛化。

大模型会完全替代传统模型吗?

不会。高频、低延迟、强可解释、成本敏感、数据结构清晰的任务,传统模型或小模型仍然很有价值。更现实的架构是大模型负责理解、生成和复杂交互,传统模型负责排序、风控、召回、识别或确定性决策。

从产品或工程角度最该关注哪一点?

要关注能力边界和落地成本。大模型让自然语言交互和多任务复用变容易,但也引入幻觉、安全、隐私、延迟和成本问题。好的落地方案要把模型能力放进可评测、可回退、可监控的业务流程。