DOCX《复杂分类器的简介》

复杂分类器的简介 复杂分类器 支撑向量机 (support vector machine) 神经网络(Neural Networks) 模糊逻辑 (Fuzzy Logic) 支撑向量机 (support vector machine) f x y +1 -1 f(x,w,b) = sign(w.

x - b) How would you classify this data? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) Any of these would be fine.. ..but which is best? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) 线性分类器的间隔( margin):到超平面最近的样本与此超平面之间的距离. 最大间隔 f x y +1 -1 f(x,w,b) = sign(w. x - b) 具有最大间隔的线性分类器叫做最大间隔线性分类器. 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机,即LSVM) 线性支持向量机 f x y +1 -1 f(x,w,b) = sign(w. x - b) 支持向量(Support Vectors) :是那些距离超平面最近的点. 具有最大间隔的线性分类器叫做最大间隔线性分类器. 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机,即LSVM) 线性支持向量机 最大间隔 Why… 最大间隔? +1 -1 f(x,w,b) = sign(w. x - b) 支持向量(Support Vectors) :是那些距离超平面最近的点. 具有最大间隔的线性分类器叫做最大间隔线性分类器. 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机,即LSVM) 线性支持向量机 直观上感觉很好. 学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系: 具体化分类超平面及其间隔 如何在数学上表示? …在m位空间中? Plus-Plane Minus-Plane Classifier Boundary zone "Predict Class = +1" "Predict Class = -1" zone Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } Classify as.. +1 if w . x + b >=

1 -1 if w . x + b w . x - + b + l w .w =

1 => -1 + l w .w =

1 => x- x+ 计算间隔 现在我们知道: w . x+ + b = +1 w . x- + b = -1 x+ = x- + l w |x+ - x- | = M Zone "Predict Class = +1" "Predict Class = -1" zone wx+b=1 wx+b=0 wx+b=-1 M = Margin Width = M = |x+ - x- | =| l w |= x- x+ 计算间隔 学习最大间隔分类器 我们现在需要找到一种算法,来求出w 与b,并且 能匹配上所有的样本点. 怎么做? 梯度下降? 退火算法? 矩阵求逆? 牛顿法? Zone "Predict Class = +1" "Predict Class = -1" zone wx+b=1 wx+b=0 wx+b=-1 M = Margin Width = x- x+ 利用二次优化求解 Minimize subject to yk (w . xk + b )>=

1 k=1,2,…,n What You Should Know 线性 SVMs 最大间隔分类器 QP 的作用 (但是, 这里, 你不必知道如何求解它) 最大间隔问题可以转化为一个二次优化(QP)问题 神经网络(Neural Networks) 引言利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想. 研究ANN目的: (1)探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统. (2)探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规律. ANN的研究内容 (1)理论研究:ANN模型及其学习算法,试图从数学上描述ANN的动力学过程,建立相应的ANN模型,在该模型的基础上,对于给定的学习样本,找出一种能以较快的速度和较高的精度调整神经元间互连权值,使系统达到稳定状态,满足学习要求的算法. (2)实现技术的研究:探讨利用电子、光学、生物等技术实现神经计算机的途径. (3)应用的研究:探讨如何应用ANN解决实际问题,如模式识别、故障检测、智能机器人等. 研究ANN方法 (1)生理结构的模拟: 用仿生学观点,探索人脑的生理结构,把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络(Artificial Neural Netwroks,简称ANN)方法. (2)宏观功能的模拟: 从人的思维活动和智能行为的心理学特性出发,利用计算机系统来对人脑智能进行宏观功能的模拟,即符号处理方法. ANN研究的目的和意义 (1)通过揭示物理平面与认知平面之间的映射,了解它们相互联系和相互作用的机理,从而揭示思维的本质,探索智能的本源. (2)争取构造出尽可能与人脑具有相似功能的计算机,即ANN计算机. (3)研究仿照脑神经系统的人工神经网络,将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果. 神经网络研究的发展 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型,即MP模型.1958年,F.Rosenblatt等研制出了感知机(Perceptron). (2)低潮(70-80年代初): (3)第二次热潮 1982年,美国物理学家J.J.Hopfield提出Hopfield模型,它是一个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开,国际ANN联合会成立,创办了多种ANN国际刊物.1990年12月,北京召开首届学术会议. 人工神经网络研究的局限性 (1)ANN研究受到脑科学研究成果的限制. (2)ANN缺少一个完整、成熟的理论体系. (3)ANN研究带有浓厚的策略和经验色彩. (4)ANN与传统技术的接口不成熟. 人工神经网络概述 什么是人工神经网络? T.Koholen的定义:"人工神经网络是由 具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应."

二、神经元与神经网络 大脑可视作为1000多亿神经元组成的神经网络 神经元的信息传递和处理是一种电化学活动.树突由于电化学作用接受外界的刺激;

通过胞体内的活动体现为轴突电位,当轴突电位达到一定的值则形成神经脉冲或动作电位;

再通过轴突末梢传递给其它的神经元.从控制论的观点来看;

这一过程可以看作一个多输入单输出非线性系统的动态过程 神经网络研究的两个方面 从生理上、解剖学上进行研究 从工程技术上、算法上进行研究 脑神经信息活动的特征 (1)巨量并行性. (2)信息处理和存储单元结合在一起. (3)自组织自学习功能. 神经网络基本模型 神经元的数学模型 图4神经元的数学模型 其中x=(x1,…xm)T 输入向量,y为输出,wi是权系数;

输入与输出具有如下关系: θ为阈值,f(X)是激发函数;

它可以是线性函数,也可以是非线性函数. 例如,若记 取激发函数为符号函数 则 S型激发函数: 或注:若将阈值看作是一个权系数,-1是一个固定的输入,另有m-1个正常的输入,则(1)式也可表示为: 参数识别:假设函数形式已知,则可以从已有的输入输出数据确定出权系数及阈值.

2、神经网络的数学模型 众多神经元之间组合形成神经网络,例如下图的含有中间层(隐层)的B-P网络 基本BP网络的拓扑结构 b1 bi a1 c1 cq cj ah bp an … … … … … … Wp1 Wiq Wpj W1q W1j Wij V11 W11 Wpq Wi1 Vh1 Vhi V1i Vn1 Vni V1p Vhp Vnp 输出层LC 隐含层LB 输入层LA W V ANN类型与功能 一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性.尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具.另一方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性. 人工神经网络(Artificial Neuron Nets=ANN) 例1981年生物学家格若根(W. Grogan)和维什(W.Wirth)发现了两类蚊子(或飞蠓midges).他们测量了这两类蚊子每个个体的翼长和触角长,数据如下: 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af 问:如果抓到三只新的蚊子,它们的触角长和翼长分别为(l.24,1.80);

(l.28,1.84);

(1.40,2.04).问它们应分别属于哪一个种类? 解法一: 把翼长作纵坐标,触角长作横坐标;

那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类;

用黑点"・"表示;

9个蚊子属 Af类;

用小圆圈"."表示. 得到的结果见图1 图1飞蠓的触角长和翼长 思路:作一直线将两类飞蠓分开 例如;

取A=(1.44,2.10)和B=(1.10,1.16),过A B两点作一条直线: y= 1.47x - 0.017 其中X表示触角长;

y表示翼长. 分类规则:设一个蚊子的数据为(x, y) 如果y≥1.47x - 0.017,则判断蚊子属Apf类;

如果y