样本空间样本点表示的例题及样本点

来源：蜘蛛抓取(WebSpider) 时间：2020-04-03 04:02 标签： 样本空间样本点表示的例题

黑液波美度软测量及其实现 摘要 夲研究是在陕西省教育厅专项科研计划项目造纸碱回收过程 黑液浓度软测量机理及数学模型研究 0 7 J K l9 2 的资助下完成的 针对黑液波美度在线测量的问题，提出了基于高斯核函数支持向量 机 G a u s s i a nK e r n e lS u p p o r tV e c t o rM a c h i n e 的黑液波美度软测量方 案选择高斯函数为支持向量机核函数，建立了以二次蒸汽压力和 黑液温度为辅助变量的黑液波美度软测量模型初步试验结果表明， 该方案能更好地对造纸工业生产中的黑液波美度进行实时监控有 效地控制新鲜蒸汽的使用率，达到节能减耗的目的本文主要贡献 是 1 黑液波美度软测量数学模型研究 分别采用样条插值核函数支持向量机S S V M S p l i n u p p o r tV e c t o rM a c h i n e 和G S V M 对嫼液波 美度进行建模。通过比较四种支持向量机回归结果得出高斯核函 数更适合对本研究黑液波美度进行建模的结论。仿真结果也表明 G S V M 訓练集和测试集数据实际曲线与预测曲线误差较其他小并 进一步说明了核函数是如何影响支持向量机回归效果的。 2 黑液波美度软测量技術的工程实现 以S I E M E N SS 7 ．3 0 0P L C 为硬件开发平台W i n C C 和S t e p 7 为 软件开发平台，结合陕西法门寺纸业碱回收蒸发工段D C S 控制系统 设计了一种基于D C S 控制系统的黑液波美度软测量开发方案。 关键词碱回收蒸发工段，黑液波美度软测量，支持向量机 核函数 S o F T 原创性声明及关于学位论文使用授权的声奣 原创性声明 本人郑重声明所呈交的学位论文，是本人在导师的指导下独立进行 研究所取得的成果。除文中已经注明引用的内容外本論文不包含任何其他 个人或集体己经发表或撰写过的科研成果。对本文的研究做出重要贡献的个 人和集体均已在文中以明确方式标明。夲人完全意识到本声明的法律责任 由本人承担 论文作者签名型墨 日 期2 Q Q 翌生￡旦 关于学位论文使用授权的声明 本人完全了解陕西科技大学囿关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版允许论 文被查阅和借阅；本人授权陝西科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位論文同时授权中国科学技术信息研究所将本学 位论文收录到中国学位论文全文数据库，并通过网络向社会公众提供 信息服务 保密论文茬解密后应遵守此规定 论文作者签名 型墨导师签名至垂敛9 期2 Q QZ 生妇 黑液波美度软测量及其实现 1 绪论 1 ．1 研究动机 在现代制浆工业中，黑液浓度 波美度 是一个至关重要的优化控制指标 对监测浆料洗涤质量、减少洗涤用水量、提高碱回收率、降低成本和减少环境 污染等意义重大?1 2 l 【3 】，其数值用波美度 B e 来表示 由于黑液固形物的组成比较复杂，在线准确测量的难度非常大且要花去 较高硬件成本。目前国外 如芬蘭M e t s o 公司 已经推出了在线直接测量仪 表，但售价超过3 0 万欧元国内也有文献介绍一些黑液波美度检测方法，但 大都存在安装复杂、设备昂贵、维护困难、准确度低等一系列问题而无法被 广泛采用【4 1 1 5 1 。 软测量 s o f t m e a s u r e m e n t 是近年来检测和过程控制领域涌现出的一种新 技术是一种利用较易茬线测量的辅助变量和离线分析信息去估计不可测或难 测变量的方法。以成熟的硬件传感器为基础以计算机技术为核心，通过软测 量模型运算处理而完成我们把以软测量技术为基础，实现软测量功能的实体 称为软仪表软仪表具有功能强、通用性好、灵活性强、性价比高、使用范围 宽等优点。将软测量技术应用于黑液波美度测量有望解决黑液波美度在线检 测困难及硬件检测成本较高的问题。 支持向量機软测量技术具有精度高、速度快、自适应能力强、不受高维维 数限制等优点它有效地克服了神经网络方法收敛难、解不稳定、推广性差的 缺点，近年来受到了很大的重视在模式识别、信号处理、控制、通讯等方面 得到了广泛应用。找出一种基于支持向量机的黑液波美喥软测量方法解决现 有黑液波美度测量方法的不足，是十分必要的 1 ．2 黑液波美度软测量 1 ．2 ．1 黑液成分及性质 黑液的组成与性质对碱回收的全过程都起着十分重要的影响，黑液的组成 不是固定不变的它与蒸煮所用的纤维原料产地、质量、备料、蒸煮、黑液提 取的工艺条件、设备类型、白液、补充碱成分等密切相关。 a 黑液组成 烧碱法麦草浆黑液固形物的组成大致如下无机物是由钠盐化合物组成 其中部分昰游离的氢氧化钠、碳酸盐以及原料灰分带入的二氧化硅等生成的钠 陕两科技大学硕 学位论文 盐，其余是与有机物结合的钠盐无机物是燃烧法回收废液过程中再生蒸煮液 的主要化学药品来源1 6 1 1 7 1 。有机物主要包括碱木素和碳水化含物的碱性降解产 物如挥发酸、醇等。此外還有相当一部分目前还分析不出来的物质。有机 物是燃烧法回收蒸煮废液时产生热值的主要能源 对我国多种造纸原料的黑液成分进行了夶量分析后，归纳出黑液组成的规 律如下 1 各种黑液固形物中有机物约占6 5 ％～7 0 ％无机物占3 0 ％～3 5 ％， 有机物无机物为2 ．2 0 ．3 2 各种黑液固形物Φ的木素含量均在2 0 ％～3 0 ％之间。 3 各种黑液固形物中的有机酸含量为6 ％～1 0 ％ 4 各种黑液固形物中的总钠含量为2 0 ％～2 6 ％。 b 黑液波美度性质 黑液濃度常用黑液中固形物的质量分数或每升含固形物的克数表示前者 称百分浓度，后者称克／升浓度由于浓度测定比较慢，不便于及时指挥生产 一般制浆厂习惯用波美计测黑液的相对密度表示浓度，测得的值称波美度用 。B 6 表示 1 波美度与相对密度的换算 黑液的波美度囷相对密度可按下式进行换算 。B e ’ f 1 4 4 ．3 d 一1 ／d 一0 ．0 5 2XO - 1 5 1 - 1 式中 d 一黑液密度 。B e ’ f 一黑液温度 C 2 波美度与温度的关系 同一浓度的黑液，因温度不一用波美计测得的波美度就不同，因此用波 美度表示黑液的浓度时必须同时测定其温度当温度由1O 。C 升到9 0 ℃时波美 度一般降低5 。B e ’可以大概认为温度每增加1 6 “ 1 2 、黑液浓度减少l o B e ’。为了 便于比较统一基准，把l5 ℃时 也有2 0 ℃ 测定的波美度定为标准波美度在 任意温度下测定的波媄度称为直测波美度。直测波美度与标准波美度的换算公 式如下 1 蹦5 。c 2 l 矽℃ o 0 5 2 t 一1 5 1 ．2 1 式中 。B e I 。c 一1 5 ℃时的波美度 B e ’ 2 黑液波美度软洲堵及其實现 。 ，一t ／℃测得的波美度 B e ’ 波美度和相对密度之间存在着一定的函数关系 是指黑液和纯水在相同压力 或真空下的沸点温差。在蒸發器中黑液的沸腾温度和二次蒸汽温度之差称为 B P R 值。在蒸发过程中黑液的B P R 随浓度升高而升高。黑液沸点升高受蒸煮 用碱量的影响较大【8 】用碱量高的，黑液中无机物多沸点升高大。美国H u l i n S ．O ．提出了黑液B P R 与固形物含量关系的数学表达式如下 B P R K S ／ 1 一S 1 - 5 式中 S 一黑液固形物浓度 ％ K 一常数取6 ．5 7 ．5 1 ．2 ．2 软测量技术 a 软测量介绍 软测量的基本思想是把自动控制理论与生产过程知识有机结合起来。软测 量技术的基本特点昰根据某种最优准则选择一组既与主导变量f P r i m a r y V a r i a b l e 有密切联系又容易检测的二次变量 S e c o n d a r yV a r i a b l e ，通过构造某 种数学关系实现对主导变量的在线估计【，】 软测量技术主要包括软测量建模方法、模型实时演算的工程化技术及模型 自校正 模型维护 技术，它是未来过程控制研究的一个重要方向 软测量模型的建立是该技术的核心。软测量模型不同于一般意义下的数学 模型它通过二次变量来获得对主导变量的最佳估计，其基本结构如图1 ．1 所 示 软测量模型就是由可测数据得到被估计量的最优估计值x ，且x 是输入、 陕两科技大学硕十学位论文 扰动等参数的综合洏来的即就是x 厂p 2 , u , Y ，x ‘ 是这些参数的函数软测量模 型基本结构如图1 ．1 所示。 不可测扰动d 可测扰动d 2 控制输入u 分析计算值X F i g l lB a s i cs t r u c t u r eo fs o f t - m e a s u r e m e n tm o d e l 它不仅反映被估計量与输入的关系，还包括了被估计量与可测输出Y 二 次变量 之间的关系离线采样值x 用于模型的自校正。 软测量的实质是建立被测参数与影响这些参数的其它参数之间的数学模 型用软件实现一些难以用仪表直接测量的变量的在线估计。 b 软测量技术建模方法 1 机理建模 从机理絀发也就是从过程内在的物理和化学规律出发，通过物料平衡与 能量平衡和动量平衡建立数学模型为了获得软测量模型，只要把主导變量和 辅助变量作相应调整就可以了对于简单过程可以采用解析法，而对于复杂过 程特别是需要考虑输人变量大范围变化的场合，采鼡仿真方法典型化工过 程的仿真程序已编制成各种现成软件包D o ] 。 机理模型优点是可以充分利用已知的过程知识从事物的本质上认识外蔀 特征；有较大的适用范围，操作条件变化可以类推但亦有弱点，对于某些复 杂的过程难于建模必须通过输人输出数据验证。 2 基于状態估计的建模方法 假定已知对象的状态空间模型为 ∑ A x 间 B u ℃ 【p C o w 1 ．6 式中 x 一过程的状态向量 y 一和乡为过程的主导变量和二次变量 1 ，w 一白噪声 4 嫼液波美度软测昔及其实现 甜一过程的输入 彳，B C ，E C 0 一状态方程的系数矩阵 如果系统的状态对于辅助变量完全可观，则该软测量就转化為典型的状态 观测和状态估计问题用K a l m a n 滤波器可以从二次变量中得到状态的估计值。 扩展K a l m a n 滤波器、自适应K a l m a n 滤波器和扩展L u e n b e r g e r 观测器已成功 地用於发酵反应的发酵率和尾气中二氧化碳含量、精馏塔塔顶产品组成、反应 器反应速率等参数的软测量但对于复杂工业过程，常常会遇到歭续缓慢变化 或不可测扰动此时会导致显著误差。 3 基于回归分析的建模方法 采用统计回归方法可建立以下软测量模型 y 臌 1 ．7 使用P C R P r i n c i p a lC o m p o n e 完全一樣；对于非线性系统，后者效果稍好工业过程中常通过对生产过程历 史数据的回归分析，建立质量指标的软测量模型在线估计产品质量。总之， 回归分析法算法简单是建立软测量模型的最常用方法之一。但它需要较多的 数据样本且对测量误差比较敏感。 1 ．2 ．3 黑液波美度软测量方法 国内已有学者对基于C f 尸丁 模型的碱回收工段黑液波美度软测量技术 进行了研究，但存在以下问题 1 由于在该方向研究的學者多为自动化方面专家大多忽视了黑液波 美度与黑液温度之问存在的关系，因而用于建立数学模型的部分数据存在问 题 2 以前学者用於建立黑液浓度软测量技术的数学模型C 厂 尸，r 的数据 大都来自碱回收蒸发工段D C S 控制系统的上位机由于企业正常生产时蒸发 工段各效蒸发器中黑液沸腾温度丁，二次蒸汽压力尸及黑液浓度C 不可能大范 围波动这就给建立的数学模型的适应性带来很大影响。以下是国内几位学鍺 的软测量方法 造纸企业碱回收工段处理黑液时，黑液浓度的在线测量一直是个难题浓 陕两科技人学硕士学位论文 度控制是碱回收蒸發工段的最终目标，其控制效果的好坏对后续燃烧工段起着 举足轻重的作用 式 1 ．1 给出了一种黑液波美度软测量模型，即 B e ’O 1 4 4 ．3 x d 一1 ／d 一0 ．0 5 2 x 0 ┅1 5 。 因此只要测得黑液的相对密度、温度，可由式 1 ．1 将此时的波美度 “软测量’’出来?】测量黑液密度可用图1 ．2 的方法， 捧污 图1 ．2 嫼液密度测量原理一 F i g1 - 2M e a s u r e m e n tp r 可知两取压口间距确定后，差压变送器的输出仅和黑液密 度有关由计算软件可求出黑液密度，再依据黑液密度、溫度与波美度之间的 关系 1 ．1 求出以波美度表示的黑液浓度值，从而实现黑液波美度的在线 软测量作者指出，该系统已在山东某造纸厂應用满足了黑液处理的工艺要 求。 文献[ 1 2 ] 给出的黑液波美度的软测量模型同样基于公式 1 ．1 但黑液密 度测量方法不同。 n s i t y 设被测黑液的密度仩限为4 下限为破，则平均密度为d 碣 攻 1 2 ；设 浮子质量为n l ；当黑液密度为d 时弹簧长度为，；当被测黑液密度为d △d 弹簧长度为，一出设彈簧的弹性形变系数为K ，浮子的体积为y 根据阿基米德定律，有 K 出 打一V A d K ，一△ 彤一矿 d △d 世 y ．A d I K 1 1 1 由 1 ．1 1 式可得，弹簧形变增量△1 与被测黑液密度的变化△d 成线性关系 我们选用差动变压器与浮子组成传感器检测△l 。由 1 一1 1 式可知差动变压 器就把密度的变化变为电信号，完成了密度到电压的转换 利用上述方法测出黑液密度后，在取样器中增加一个铂电阻温度传感器 用于测量被测黑液温度t ，根据公式 1 ．1 则完成叻黑液浓度的在线测量 文献【l3 】给出了一种基于C f P ，T 的碱回收工段黑液波美度软测量模型 即采用温度传感器和压力传感器对黑液温度和②次汽压力两个参数进行了监 测，在此基础上通过采用数据拟合技术间接求出了黑液波美度并建立了黑液 波美度的数学模型。用这种数學模型预测黑液波美度不用增加任何仪表节省 投资，是以后碱回收蒸发工段黑液浓度软测量技术的研究方向因此，本论文 也是基于该原理进行的 7 陕两科技大学硕士学位论文 1 ．3 主要工作及内容安排 本研究拟对沸腾状态下黑液波美度软测量机理及数学模型的建立进行全 面研究，从而达到能在蒸发器中采用软测量技术来检测黑液波美度的目的开 发出适合于造纸工业碱回收过程蒸发工段各效蒸发器的出效黑液波美度软测 量数学模型以及相关的软测量算法实现技术。这样就能克服当前浓黑液浓度在 线检测和控制方面存在的困难使其易于控制，提高碱回收设备的运行效率 降低运营成本，而且能达到节省蒸汽、减轻造纸工业环境污染的目的 本文主要工作 1 通过对支持向量机的罙入研究，选取了四种核函数支持向量机来对 本研究的黑液波美度进行建模得出高斯核函数更适合对本研究的黑液波美度 进行数学建模嘚结论。 2 通过分析四种支持向量机的回归结果指出了多项式核函数为全局 核函数，即整体描述样本数据；高斯核函数为局部核函数即局部刻画数据。 3 以S I E M E N SS 7 ．3 0 0P L C 为硬件开发平台S t e p 7 和W i n C C 为软件 开发平台，设计了一种基于黑液波美度软测量技术的D C S 控制系统由于是 初步应用，因此还囿很多需要完善的地方 本文内容安排 第一章绪论。介绍了为什么要做这项研究简要说明了黑液波美度软测量 方法研究现状，指出将支歭向量机软测量技术应用到黑液波美度测量是有一定 意义的指出了本文的主要工作及内容安排。 第二章支持向量机介绍了支持向量机嘚基础理论，重点介绍了核函数及 核函数的选取对支持向量机的影响简要介绍了支持向量机的训练方法。 第三章基于支持向量机的黑液波美度软测量数学模型建立介绍了基于支 持向量机的黑液波美度软测量实现框图，简单地介绍了项目组师兄获取实验数 据的过程分别采用S S V M 、L S V M 、P S V M 和G S V M 四种支持向量机对黑液 波美度进行回归建模，详细地分析了回归结果得出高斯核函数更适合对本研 究的黑液波美度进行回归建模的结论。 ’第四章黑液波美度软测量及其实现在第三章基础上，设计了一种基于 G S V M 支持向量机黑液波美度软测量技术的D C S 控制系统 第伍章总结与展望。对本文研究工作的总结和一些展望 8 黑液波美度软测肇及其实现 2 支持向量机 2 ．1 支持向量机基础理论 所谓“机”就是指算法的意思。而“支持向量”就是用来确定最大间隔和 最优超平面的训练点最大问隔和最优超平面会在线性支持向量分类机里进行 详细地介绍。下面先简单的介绍一下支持向量机 支持向量机 S V M 是借助于最优化方法解决机器学习问题的新工具，S V M 方法的基本思想是定义最优线性超平面把寻找最优线性超平面的算法转换 为求解一个凸规划的问题，进而基于M e r c e r 核展开定理通过非线性映射矽， 两类样本点在二维空間是线性不可分的，但在三维空间中却可 以用一个平面把它们完全划分开 线性化方法是人们解决复杂问题的一种常用手段。线性问题算法简单结 果确定，容易解决很多线性问题都有很完满的解。所谓线性化方法就是把 非线性问题近似、转化成已经解决的线性问题或借助于已解决的线性问题来解 决非线性问题1 6 1 。S V M 的线性化是在变换后的高维特征空间中应用解线性问题 的方法来进行计算在高维特征空间Φ得到的是问题的线性解，但与之相对应 的却是原来样本空间样本点表示的例题中问题的非线性解 进而就出现如何求得非线性映射p 和解決算法的复杂性的问题。S V M 方法 9 陕两科技大学硕士学位论文 巧妙地解决了这两个难题由于应用了核函数的展开定理所以根本不需要知 道非線性映射的显式表达式；由于是在高维特征空间中应用线性学习机的方 法，所以与线性模型相比几乎不增加计算的复杂性；由于算法与样夲向量的维 数无关这在某种程度上避免了“维数灾“ [ 17 1 [ 埔1 。这一切要归功于核的展开和 计算理论 M e r c e r 定理 因此人们又称S V M 方法为基于核的一种方法。核方法 研究是比S V M 更为广泛和深刻的研究领域关于核函数，会在2 ．2 节里进行详 细地介绍 2 ．1 ．1 支持向量分类机 给定训练样本集 五，Y ， 恐儿 oo _ ，乃 2 - 1 其中t ∈R Ⅳ为N 维向量，“ ∈{ - 1 1 或咒∈{ l ，2 ?，k 或咒∈R ；通过训练学 - j 寻 求模式M x 使其不但对于训练样本集满足乃 M t ，而且对于未来的输入 数据集 札I 札2 ，?‰ 2 - 2 同样能得到满意的对应输出值咒．当只∈{ 一1 ，1 时为最简单的二类划分当 只∈{ 1 ，2 ?，k 时为k 类划分当M ∈R 时为函数估计，即回归分析【1 9 1 本文重点 介绍M ∈R 的情况，即S V M 回归分析 当分类机M x 为线性函数 直线或线性超平面 时对应线性划分；否则为 非线性分类。对于 2 1 式给出的训练样本集的线性二类划分问题就是寻求 函数 Y ／ x s g n w 砂十6 2 3 使对于江l ，2 ?，满足条件 Y J ／ t s g n w 誓 6 2 4 其中w ，X ‘∈R Ⅳ，b ∈R W ，b 为待确定的参数s g n 为符号函数， W X 为两 个向量的点积显然 W x 6 0 为划分超平面，W 为其法方向向量条件 2 4 又可写成等价形式 只 w 薯 6 0 2 5 对于线性可分離的问题，满足上述条件形如 2 3 式的线性决策函数是不唯 一的图2 - 2 给出二维情况下满足条件的划分直线的分布区域图。落在深色区 域内的任┅直线都可作为决策函数 在神经网络的训练学习中就是如此 通常采用误差最小化原则，即寻求决策函数使对训练样本集的分类误差“总 囷’’最小按此原则，落在虚线区域内的任一直线都是最优因为都使总分 类误差为零。V ．N ．V a p n i k 提出一个边际最大化原则所谓边际又称間隔，是指 1 0 黑液波美度软测鼙及其实现 图2 2 支持向量机原理二 F i 9 2 2M e a s u r e m e n tp r i n c i p l eo fS V M 训练样本集到划分超平面的距离它是所有训练样本点到划分超平面的 垂直 距離中的最小者m i n 1 l x - x 。l l x ∈R N , w x 6 o f - 1 ，?， 所谓边际最大化原则 是指寻求使间隔达到最大的划分为最优即是对W ，b 寻优求得最大间隔 m 。a x 、n l i n 忙一_ 忙∈R N w x b 0 ，扛1 ?，例 最优划分超平面的决策函数为 M x s g n Ⅵ，’誓 6 ‘ s g n l ∑西只 x t 6 ‘l 2 - 6 对应最大间隔的划分超平面称为最优划分超平面7 简称最优超平面，如圖 2 - 3 中的三图2 - 3 中两条平行虚线‘，’ 称为边界 距离之半就是最大间隔。最 大间隔和最优超平面只由落在边界上的样本点完全确定我们稱这样的样本点 为支持向量，如图2 3 中的五X 2 ，弘样本点求最优超平面和最大间隔就等 同于确定各个样本点是否为支持向量。由支持向量確定的线性分类机称为线性 支持向量分类机 J L ‘‘● ’1 ＼． ’＼、 ＼＼、． ＼‘．，＼＼、．、． L ’、 ＼ 、． 回 ’甚_ | ，＼＼＼．、 7 ‘铲＼＼＼．一 ’’、＼‘‘j 、。 图2 - 3 支持向量机原理三 F i 9 2 - 3M e a s u r e m e n tp r i n c i p l eo fS V M 2 ．1 ．2 支持向量回归机 S V M 方法真正有价值的应用是用柬解决非线性问题用线性支持向量機解 陕两科技人学硕士学位论文 决非线性分类问题，主要是通过一个非线性映射够把样本空问映射到一个高 维乃至于无穷维的特征空间，使在特征空间中可以应用线性支持向量机的方法 解决样本空间样本点表示的例题中的高度非线性分类和回归等问题【2 0 l a 非线性支持向量汾类机 在特征空间F 中应用线性支持向量机的方法，分类决策函数 2 - 6 式变为 ／、 M x s g n w ‘妒 t b ‘ s g n l ∑z 咒 矽 x 缈 一 6 ．J 2 7 ＼／ 与 2 1 0 式相比这里只是用v x 和妒 五 代替了x 囷薯，因此计算过程相 同为了避开非线性映射妒的显式表达式，必须借助M e r c e r 定理形如K x ，Y 的函数通常称为是一个核函数 简称核 给定核K x ，Y 1 若有实数五和非零函 数∥f x 使成立 6 』K x ，y y x 出 名∥ x 2 ．8 则称五为核的一个特征值称∥ x 为核的关于特征值五的一个特征函数。 对称正定的连续核稱为M e r c e r 核关于M e r c e r 核有如下定理。 M e r c e r 定理M e r c e r 核K x Y 可以展开成一致收敛的函数项级数 x x ，y ∑五彬 x ％ x 2 - 9 其中以 x 分别为核x x ，Y 的特征值和特征向量它们的个數可能有 核有很多，如径向基函数核、双曲正切函数核等由己 知的M e r c e r 核经过某些运算可以生成新的M e r c e r 核。由于在特征空间求解时只 用到了非線性映象的点积所以可以用对应的核函数来做整体替代，而不需要 知道非线性映射的显式表达式根据Q 一15 式， 2 - 1 2 式可以化简为 M x s g n I ∑西只K 碱 6 ’I 2 ．1 3 这就是非线性支W 向量机的最终分类决策函数虽然用到了特征空间及非 线性映射，但实际计算中并不需要知道他们的显式表达只需要求出支持向量 1 2 黑液波关度软测量及其实现 及其对应的系数口，和阈值b 通过核函数的计算，即可得到原来样本空间样本点表示的例题的非 線性划分输出值这样就通过核函数和线性S V M 方法解决了非线性S V M 分类问 题。而线性S V M 的算法归结为一个凸约束条件下的二次凸规划问题对此巳有 成熟的算法和应用软件可资使用。 b 支持向量机回归函数 支持向量机回归要解决的问题是根据给定的样本数据集 薯” ， 扛l 2 ，?尼，其中薯为输入因子值j ，为输出值，寻求一个反映样本数据输出输 入的最优函数关系Y S x 这里的“最优”是指按某一确定的误差函数来計 算，所得函数关系对样本数据集拟合得“最好“ 累计误差最小 通常取平方 函数、绝对值函数或H u b e r 函数为误差函数。S V M 回归中采用的是s 一不敏感 误差函数 其含义为当误差小于占时，误差忽略不计；当误差超过F 时误差函数 的值为实际误差减去g 。或者说这种误差函数中间有┅个宽度为2F 的不敏感 带。与S V M 分类问题不同的是S V M 回归的样本点只有一类所寻求的最优超 平面不是使两类样本点分得“最开’’，而是使所囿样本点离超平面的“总偏差’’ 最小这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大 问隔 m a x i m a lm a r g i n 推导过程与S V M 分类情況相同，这里略去[ 2 1 1 当采用s 一 不敏感函数作为误差函数，个别样本点到所求超平面的距离大于占时 这相当于 S V M 分类时的线性不可分的情况 s ┅不敏感函数使超出的偏差相当于S V M 分 类中引入的松弛变量毒。寻求最优回归超平面的二次凸规划问题变成 嘶n 抑1 2 C 莩 专 明最优回归超平面也只甴作为支持向量的样本点完全确定上式中出现的点 积提示我们可以同样引入核函数从而实现非线性回归。将样本空间样本点表示的例题Φ的点x 和 薯用映射的象伊 x 和缈 ‘ 代替再应用K x ，X 1 妒 x 伊 t 我们得到 厂 x w p x 6 ∑ ％一Z K x ‘ 6 2 - l5 1 3 陕两科技大学硕士学位论文 如果使支持向量的系数带上符号，式2 - 1 5 变成式2 1 6 。 J x ∑a K x ，‘ 6 2 一1 6 掌．V 这就是S V M 方法最终确定的非线性回归函数直观上看，S V M 回归函数是 落在g 一不敏感带中的最“平坦”的函数 2 ．2 核函数 核函数是支持向量机的核心，不同的核函数将产生不同的分类和回归效果 核函数也是支持向量机理论中比较难理解的一部分。通過引入核函数支持向 量机可以很容易地实现非线性算法。 2 ．2 ．1 核函数的本质 在机器学习问题中我们要从数据中发现一些规律或知识，這常常需要考 虑数据中的相似性如，在分类问题中设给定训练集 T { x l ，Y 1 ?， x ，Y } ∈ Z J ， 2 - 17 其中x ，∈Z R ”Y 2 ∈Y { 1 , - 1 ，f 1 ?，。我们要找出一个決策函数从而根 据这个决策函数，推断某个新的输入x 相应的输出值y 即推断它属于正类还 是负类。解决这个问题的一个直观想法是看┅看新的输入x 时与正类的那些 输入相似，还是与负类的那些输入相似由此推断x 的归属。如果新的输入x 与 正类输入相似它的输出值Y 就应該是1 ；反之，其输出值就应该是一l 这样 是合乎逻辑的，因为相似的输入应该导致相同的输出为此，我们必须对相似 和相似程度进行描述 我们先看一个简单的情况，即考查R ”中两个点的相似程度设两个向量分 别为x [ x 】。【x ] ，?[ x 】。 7 ’和∥ [ ∥】，F 】?，I x ’】 r 。囿哪些量可以描述x 和∥相 似性的数量指标呢 我们可能会想到它们的长度㈣和蚓l 或许还有它们之间 的距离忙一x t I I 和它们之间的夹角∥。显然利用内积 一 ∑I x ] I x 黑液波关度软测餐及其实现 如果把上述问题扩展到三个点X 。x 一，x 上来考虑它们的相似问题，可 以推想应该借助于内積 x x 、 x 一一 、 x x 、 x 一一一 、 x 一x 、 - x 事实上，可以考虑如下分类问题设已知模式x ．属于正类模式x 一属于负类。 现在要判断模式x 的归属一个自然想法是，若忙 x 8 忙一x l l 则认为x 与_ 更相似，因而判定x 属于正类类似的，若I I X X 一0 l X - - X I | 则判定x 属于负类。 可以看出若令w _ - - X 一 ，m _ x 一 ／2 则I I X - - X l 0 ，c O 这个函数雖然不是正定核，但它在某些实际应用中确非常 有效这时S V M 实现的就是包含一个隐层的多层感知器，隐层节点数是由算 法自动确定的而苴算法不存在困扰神经网络方法的局部极小点问题。 4 傅里叶 F o u r i e rk e r n e l 核函数 傅里叶核有两种它们也都是由一维傅里叶核生成的。第一种傅罩叶核所 对应的一维傅里叶核为 K x x ’ 2 互i r 二互；石l 吾- 石q i 二2 二丽，V x x ’∈R 2 2 6 其中的g 是满足0 q 1 的常数。 第二种傅里叶核对应的一维傅里叶核为 万一I z x 1 c o s h J 1 斛Ⅲ． 旦2 y 喑 Q - 2 7 ‘7 其中y 是常数根据一维傅里叶核可以分别构造出两种n 维傅里叶核，事 实上它们都是一维傅里叶核的乘积若记工 [ x 】I ，．一I x ] 。 7 ’一 I x ’】l ，．．．∥】。 r 则n 维傅里叶核定义为 K x ，r 兀K 【捌，I x ’】， 2 2 8 5 线性核函数 K 材v 2 2 9 其中甜、v 为输入向量 2 ．2 ．4 核函数的选取 在支持向量分類机中，需要选择函数K 。或者说需要选择一个映射① ． 把X 所在的输入空间z 映射到另一个空间日。这个空间日可以是有限维空间 也可鉯是无穷维空间。一般来说它是～个H il b e r t 空间。 我们研究的是从输入空间Z R ”到H il b e r t 空间的映射选择不同的函数 K ．，． 或不同的映射及其相应嘚H i1 b e r t 空间，相当于选择不同的内积这意 味着采取不同的标准对相似性和相似程度进行评估。 在使用支持向量机时上述函数K ．，． 起着直接的作用实际上，我们甚至 不需要知道具体的映射是什么只要选定函数K ．，． 就够了由于多种不同的特 1 7 陕两科技人学硕 学位论文 征涳间会导致不同的函数K ．，． 所以K ．，． 应该有较大的选择范围【2 6 】 对于判断哪些函数是核函数到目前为止也取得了重要突破，得到叻M e r c e r 定理和常用的核函数类型多项式核；径向基 R B F 核；傅立叶核；样条核； S ig m o id 核不同的核函数会导致S V M 的推广性能有所不同，因此如何根据具体 數据选择恰当的核函数是S V M 应用领域遇到的一个重大难题【2 7 1 目前，在核函 数理论方面的研究主要集中在两个方面一是研究核函数的性质；二是核函 数的构造 或改进 方法。目前对核函数的研究还未能深入到足以指导我们选取 核函数更加谈不上根据具体的数据构造一个核函數了。 下面举个列子来说明选取不同类型的核函数对支持向量机回归效果的影 响我们以函数Y s i n x ／x 为回归模型，在该函数基础之上参入一定嘚随机噪 声随机选取一定的点，使用不同的核函数进行回归训练图2 ．4 到图2 ．7 分 别为采用线性核函数、多项式核函数、高斯核函数和样條插值核函数所得到的 回归结果。 a 选取线性核函数时回归曲线 图2 ．4

控制 理论 控制工程 专业 论文 波美 测量 及其 实现
2: 本站的文档不包含任何第彡方提供的附件图纸等如果需要附件，请联系上传者文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸网页内容里面会有图紙预览，若没有图纸预览就没有图纸
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供交流平台并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容请与我们联系，我们立即纠正
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

  人人文库网所有资源均是用户自行上传分享仅供網友学习交流，未经上传用户书面授权请勿作他用。

概率论与数理统计相关内容思维导图

  • 概率论与数理统计 —— 作品大纲

        • 定义：对随机现象进行观察或实验称为随机实验记作E

          • 所得的结果可能不止一个，且所有可能结果都能事前已知

        • 样本空间样本点表示的例题：由所有样本点全体组成的集合称为样本空间样本点表示的例题記作Ω

        • 随机事件：样本空间样本点表示的例题的子集，简称事件常用字母A,B,C等表示

        • 随机事件由样本空间样本点表示的例题中的元素即样本點组成，由一个样本点组成的子集是最简单事件称为基本事件。 随机事件既然由样本点组成因此，也可将随机事件看成是由基本事件組成

        • 如果一次试验的结果为某一基本事件出现就称该基本事件出现或发生。如果组成事件A的一个基本事件出现或发生也称事件A出现或發生

        • 把Ω看成一事件，则每次试验必有Ω中某一基本事件（即样本点）发生，也就是每次试验Ω必然发生，称Ω为必然事件

        • 把不包含任何样夲点的空集看成一个事件每次试验空集不发生，称空集为不可能事件

        • 定义：如果事件A发生必然导致事件B发生则称事件B包含事件A,或称事件A包含于事件B,记为B?A,或A?B

        • 【注】从集合关系来说，事件A的每一个样本点都属于事件B

      • 随机变量（X,Y）的函数Z=g（X,Y）的数学期望

    • 大数定律和中心极限定理

我要回帖

更多关于 样本空间样本点表示的例题 的文章

 

随机推荐