企业官网建设流程全解析

从感知机到神经网络：激活函数是连接两者的桥梁

感知机回顾：二分类的利器

我们先回顾一下感知机的结构。如图3-2所示，感知机接收两个输入信号x₁和x₂，通过加权求和后，根据阈值决定输出0或1：

y={0(b+w1x1+w2x2⩽0)1(b+w1x1+w2x2>0) y = \begin{cases} 0 & (b + w_1 x_1 + w_2 x_2 \leqslant 0) \\ 1 & (b + w_1 x_1 + w_2 x_2 > 0) \end{cases}y={01​(b+w1​x1​+w2​x2​⩽0)(b+w1​x1​+w2​x2​>0)​

其中：

• b是偏置参数，控制神经元激活的难易程度
• w₁, w₂是权重参数，控制各信号的重要性
• x₁, x₂是输入信号

关键转变：引入激活函数

感知机的核心是一个阶跃函数，它像开关一样，输入超过阈值就输出1，否则输出0。这个函数可以用数学形式表达：

h(x)={0(x⩽0)1(x>0) h(x) = \begin{cases} 0 & (x \leqslant 0) \\ 1 & (x > 0) \end{cases}h(x)={01​(x⩽0)(x>0)​

于是感知机的计算可以分解为两步：

1. 计算加权总和：a=b+w1x1+w2x2a = b + w_1 x_1 + w_2 x_2a=b+w1​x1​+w2​x2​
2. 应用激活函数：y=h(a)y = h(a)y=h(a)

这个h(x)就是激活函数，它的作用是将输入信号的总和转换为输出信号。

神经网络的真正样貌

神经网络与感知机最大的区别就在于激活函数的选择。感知机使用阶跃函数，而神经网络使用更平滑、更复杂的激活函数。

让我们看看神经网络的典型结构（图3-1）：

• 输入层：接收外部信息
• 隐藏层（中间层）：内部处理，外界不可见
• 输出层：输出最终结果

注意命名规范：

• 本书中，输入层是第0层，第一个隐藏层是第1层，输出层是第2层
• 虽然看起来有3层，但只有2层有权重（输入层到隐藏层，隐藏层到输出层），所以这是"2层网络"

激活函数：神经网络的核心

在图3-4中，我们可以清晰地看到激活函数的计算过程：

每个神经元先计算输入信号的加权总和（节点a），然后通过激活函数h()转换为输出（节点y）。

重要概念澄清

感知机 vs 神经网络：

• 朴素感知机：单层网络，使用阶跃函数作为激活函数
• 多层感知机（神经网络）：多层网络，使用sigmoid、ReLU等平滑激活函数

为什么激活函数如此重要？

1. 引入非线性：没有激活函数，多层网络只是线性变换的叠加
2. 决定神经元如何响应：不同的激活函数让神经元有不同的"性格"
3. 实现复杂映射：使网络能够学习复杂的非线性关系

从感知机到神经网络的跨越

感知机就像一把简单的锤子，只能解决线性可分问题（如与、或、非）。但当问题变得复杂（如异或问题），简单的感知机就无能为力了。

神经网络通过两个关键改进解决了这个问题：

1. 增加隐藏层：增加网络深度，提高表达能力
2. 更换激活函数：使用可微分的平滑函数，使反向传播成为可能

展望

在接下来的文章中，我们将深入探讨：

1. 常用的激活函数：sigmoid、tanh、ReLU等
2. 这些激活函数的特性和适用场景
3. 如何通过激活函数的选择优化神经网络性能

思考题：如果神经网络仍然使用阶跃函数作为激活函数，会有什么问题？为什么我们需要平滑的激活函数？

深度学习小贴士：激活函数是神经网络能够学习复杂模式的关键。选择合适的激活函数，往往能让模型性能大幅提升！

#深度学习 #神经网络 #感知机 #激活函数 #AI基础