企业官网建设流程全解析

M = torch.normal(0, 1, size=(4,4)) print('一个矩阵 \n',M) for i in range(100): M = torch.mm(M,torch.normal(0, 1, size=(4, 4))) print('乘以100个矩阵后\n', M)

一个矩阵

tensor([[-0.7872,2.7090,0.5996,-1.3191],

[-1.8260,-0.7130,-0.5521,0.1051],

[1.1213,1.0472,-0.3991,-0.3802],

[0.5552,0.4517,-0.3218,0.5214]])

乘以100个矩阵后 tensor([[-2.1897e+26,8.8308e+26,1.9813e+26,1.7019e+26],

[1.3110e+26,-5.2870e+26,-1.1862e+26,-1.0189e+26],

[-1.6008e+26,6.4559e+26,1.4485e+26,1.2442e+26],

[3.0943e+25,-1.2479e+26,-2.7998e+25,-2.4050e+25]])

打破对称性

神经网络设计中的另一个问题是其参数化所固有的对称性。假设我们有一个简单的多层感知机，它有一个隐藏层和两个隐藏单元。在这种情况下，我们可以对第一层的权重W(1)进行重排列，并且同样对输出层的权重进行重排列，可以获得相同的函数。

用公式表达的话：

输入权重，输出权重

激活函数，

输出

现在做操作：

1. 交换两个神经元的输入权重：w11​↔w12​
2. 同步交换输出层对应权重：v1​↔v2​

得到新参数，网络输出完全不变，损失完全相等。

换句话说，我们在每一层的隐藏单元之间具有排列对称性。

假设输出层将上述两个隐藏单元的多层感知机转换为仅一个输出单元。想象一下，如果我们将隐藏层的所有参数初始化为W(1)=c，c为常量，会发生什么？在这种情况下，在前向传播期间，两个隐藏单元采用相同的输入和参数，产生相同的激活，该激活被送到输出单元。在反向传播期间，根据参数W(1)对输出单元进行微分，得到一个梯度，其元素都取相同的值。因此，在基于梯度的迭代（例如，小批量随机梯度下降）之后，W(1)的所有元素仍然采用相同的值。这样的迭代永远不会打破对称性，我们可能永远也无法实现网络的表达能力。隐藏层的行为就好像只有一个单元。请注意，虽然小批量随机梯度下降不会打破这种对称性，但暂退法正则化可以。

参数初始化

解决（或至少减轻）上述问题的一种方法是进行参数初始化，优化期间的注意和适当的正则化也可以进一步

提高稳定性。

默认初始化

例如使用正态分布来初始化权重值。如果我们不指定初始化方法，框架将使用默认的随机初始化方法，对于中等难度的问题，这种方法通常很有效。

Xavier初始化

让我们看看某些没有非线性的全连接层输出（例如，隐藏变量）oi的尺度分布。对于该层输入及其相关权重，输出由下式给出

权重都是从同一分布中独立抽取的。此外，让我们假设该分布具有零均值和方差。请注意，这并不意味着分布必须是高斯的，只是均值和方差需要存在。现在，让我们假设层的输入也具有零均值和方差，并且它们独立于并且彼此独立。在这种情况下，我们可以按如下方式计算的平均值和方差：

保持方差不变的一种方法是设置。现在考虑反向传播过程，我们面临着类似的问题，尽管梯度是从 更靠近输出的层传播的。使用与前向传播相同的推断，我们可以看到，除非，否则梯度的方差可能会增大，其中是该层的输出的数量。这使得我们进退两难：我们不可能同时满足这两个条件。

相反，我们只需满足:

这就是现在标准且实用的Xavier初始化的基础.通常，Xavier初始化从均值为零，方差的高斯分布中采样权重。我们也可以将其改为选择从均匀分布中抽取权重时的方差。注意均匀分布U(−a, a)的方差为。将代入到的条件中，将得到初始化值域：