激活函数面试题解析

激活函数有哪些？

激活函数的作用是给神经网络引入非线性，常见包括 Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、GELU、Softmax 和 Swish。回答要讲清各自范围、梯度特点、适用层和常见问题。

ReLU 是为了解决什么问题设计的？

ReLU 的设计目标是给神经网络引入简单高效的非线性，同时缓解 Sigmoid/Tanh 在深层网络中的梯度消失和计算饱和问题。回答要同时讲优点和死亡 ReLU 等代价。

Qwen 这类大模型中的 SwiGLU 激活函数有什么作用，相比传统 FFN 激活函数有哪些优势？

这题考的是候选人是否理解现代 Transformer 前馈网络里的门控激活机制：SwiGLU 不是一个简单替换 GELU 的名字，而是通过 gate/value 两路投影和逐元素乘法提升 FFN 的表达能力与训练效果。

同公司岗位有 2 条面经记录

手写单层 MLP 做回归或二分类时，如何实现 forward、loss、反向传播和参数更新？

这题考的是能否从零写出一个最小神经网络训练闭环：线性层、激活、任务损失、链式法则、梯度形状和参数更新。回答要同时覆盖回归和二分类，并能解释为什么回归常用 MSE，二分类常用 sigmoid + BCE，以及如何验证梯度和训练是否正确。