PDF《人工神经网络（ANN）》

1 什么是神经网络 1.

1 基本结构 说明: ? 通常一个神经网络由一个 构成. ? 图中圆圈可以视为一个神经元(又可以称为感知器) ? 设计神经网络的重要工作是设计 ? 添加少量隐层获得浅层神经网络 1.2 从逻辑回归到神经元 LinearRegression 模型: sigmoid 函数: LR 可以理解为如下结构: 所以逻辑回归是一个单层感知器(没有隐层)结构. 人工神经网络(ANN) 通常一个神经网络由一个 input layer,多个 hidden layer 和一个 图中圆圈可以视为一个神经元(又可以称为感知器) 设计神经网络的重要工作是设计 hidden layer,及神经元之间的权重 添加少量隐层获得浅层神经网络 SNN;

隐层很多时就是深层神经网络 从逻辑回归到神经元 可以理解为如下结构: 所以逻辑回归是一个单层感知器(没有隐层)结构. 和一个 output layer ,及神经元之间的权重 ;

隐层很多时就是深层神经网络 DNN

2 为什么需要神经网络 首先,神经网络应用在分类问题中效果很好.工业界中分类问题居多. LR 或者 linear SVM 更适用线性分割.如果数据非线性可分(现实生活中多是非 线性的) ,LR 通常需要靠特征工程做特征映射,增加高斯项或者组合项;

要选择核.而增加高斯项、组合项会产生很多没有用的维度,增加计算量. 可以使用弱的线性分类器组合成强分类器,但2.1 非线性可分怎么办 如下图非线性可分 从逻辑回归看,单层感知器只能解决线性问题.要解决非线性问题,需要引 入多层感知器(加入隐层) . 这时使用两个线性分类器,再求逻辑与就可以达到分类的效果.注意,最开 始的两个线性分类器都是部分正确的分类器 2.2 神经元完成逻辑与 前面说可以使用两个线性分类器的逻辑与可以完成上例的非线性分割.暂时 不管两个线性分类器,现在先使用神经元(感知器)达到逻辑与的效果 假设 这样,g(z)完成逻辑与: 调整 z 的参数,可以实现逻辑或等操作 为什么需要神经网络 首先,神经网络应用在分类问题中效果很好.工业界中分类问题居多. 更适用线性分割.如果数据非线性可分(现实生活中多是非 通常需要靠特征工程做特征映射,增加高斯项或者组合项;

要选择核.而增加高斯项、组合项会产生很多没有用的维度,增加计算量. 可以使用弱的线性分类器组合成强分类器,但维度很高时效果可能并不好 从逻辑回归看,单层感知器只能解决线性问题.要解决非线性问题,需要引 入多层感知器(加入隐层) . 这时使用两个线性分类器,再求逻辑与就可以达到分类的效果.注意,最开 始的两个线性分类器都是部分正确的分类器 前面说可以使用两个线性分类器的逻辑与可以完成上例的非线性分割.暂时 不管两个线性分类器,现在先使用神经元(感知器)达到逻辑与的效果 完成逻辑与: 的参数,可以实现逻辑或等操作 首先,神经网络应用在分类问题中效果很好.工业界中分类问题居多. 更适用线性分割.如果数据非线性可分(现实生活中多是非 通常需要靠特征工程做特征映射,增加高斯项或者组合项;

SVM 需 要选择核.而增加高斯项、组合项会产生很多没有用的维度,增加计算量.GBDT 维度很高时效果可能并不好. 从逻辑回归看,单层感知器只能解决线性问题.要解决非线性问题,需要引 这时使用两个线性分类器,再求逻辑与就可以达到分类的效果.注意,最开 前面说可以使用两个线性分类器的逻辑与可以完成上例的非线性分割.暂时 不管两个线性分类器,现在先使用神经元(感知器)达到逻辑与的效果 2.3 流程图 可以看到,先有 imput layer 权重组合构成逻辑与,完成非线性分类. 注意,训练两个线性分类器需要 器的权重. 2.4 效果 对线性分类器的逻辑与和逻辑或的组合可以完美的对平面样本进行分类 imput layer 生产两个线性分类器,在通过两个线性分类器的 权重组合构成逻辑与,完成非线性分类. 注意,训练两个线性分类器需要 imput 的权重,逻辑与又需要两个线性分类 对线性分类器的逻辑与和逻辑或的组合可以完美的对平面样本进行分类 生产两个线性分类器,在通过两个线性分类器的 的权重,逻辑与又需要两个线性分类 对线性分类器的逻辑与和逻辑或的组合可以完美的对平面样本进行分类 隐层决定了最终的分类效果 由上图可以看出,随着隐层层数的增多,凸域将可以形成任意的形状,因此 可以解决任何复杂的分类问题.实际上, 就足以解决任何复杂的分类问题.