神经网络及梯度下降和反向传播的总结

神经网络及梯度下降和反向传播的总结一、神经网络学习算法1、什么是神经网络神经网络算法Artificial Neural Network, ANN受人脑神经元启发由大量人工神经元组成通过输入层、隐藏层和输出层的层级结构进行信息处理。每个神经元接收上一层输出加权求和后通过激活函数生成输出实现非线性映射和特征提取。神经网络具有自组织、自适应、自学习、大规模并行处理和分布式存储等能力。用通俗话说神经网络就是模仿人类大脑神经元工作方式的数学模型让计算机能像人一样学习、识别、判断。1.1感知机感知机Perceptron是由两层神经元所构成。11e−zf(z)1e−z1特点将输入压缩到 (0, 1) 之间。常用于二分类问题的输出层。容易导致梯度消失问题。图像平滑的 S 型曲线。2、神经网络有哪些组成​输入层​隐藏层​输出层3、神经网络的训练过程神经网络的训练涉及前向传播和反向传播两个主要过程。在前向传播中数据从输入层流向输出层并产生预测结果。在反向传播中根据预测结果与实际结果之间的误差通过梯度下降算法调整网络中的权重以减少未来预测的误差。4.总结神经网络 用数学模拟大脑让计算机从数据中自动学习规律的算法。二、梯度下降1、梯度下降跟神经网络有什么关联神经网络跟梯度下降是相辅相成的也就是神经网络搭建一个复杂的数学函数用来拟合数据规律。梯度下降用来优化这个函数里的参数让预测越来越准。没有梯度下降神经网络就是个瞎猜的模型永远学不会东西。总的来说就是用神经网络表示模型用梯度下降训练模型。2、作用优化算法负责调参、学习三、反向传播1、什么是反向传播根据前向传播产生的预测结果与真实值之间的误差从输出层开始反向逐层计算每个参数权重和偏置对总误差的贡献大小即梯度并据此更新参数。2、作用神经网络层数多直接算梯度很麻烦于是用 反向传播算法 快速算梯度再用 梯度下降 去更新参数。四、总结神经网络完整流程是输入数据 - 前向传播神经网络计算) - 算损失反向传播算梯度梯度下降更新权重四、总结神经网络完整流程是输入数据 - 前向传播神经网络计算) - 算损失反向传播算梯度梯度下降更新权重反复循环 - 模型学会了