SVM
2020-03-01 439浏览
- 1.SVM 推导 51174500137 徐文起
- 2.PROPOSER : Vladimir Vapnik
- 3.“STREET”
- 4.“STREET”
- 5.DECISION ROLE Vector he street ? On the left or right side of t
- 6.DECISION ROLEQuestion:which and which
- 7.SOME ADDTION CONSTRAIN
- 8.Demo
- 9.What if ?
- 10.Vapnik-Chervonenkis Dimension VC 维
- 11.机器学习的基础架构 用 VC 维来度量 假设空间的复杂度
- 12.Vapnik-Chervonenkis Dimensio 在二分类情况 下，这是一个 “对分”
- 13.Vapnik-Chervonenkis Dimensio
- 14.Vapnik-Chervonenkis Dimensio
- 15.Vapnik-Chervonenkis Dimensio 如果我们有这样一个 4 个数据点的示例集呢？ 有两种标记结果是“直线方程”没有办法产生的
- 16.Vapnik-Chervonenkis Dimensio 泛化误差 （不可预知） 经验误差 （可计算） 基于 VC 维的泛化误差界公式
- 17.基于 VC 维的泛化误差界公式 Vapnik-Chervonenkis Dimensio 结构误差 尽量寻找一个使得泛化误差最小的 VC 维，以此来决 定应该使用多复杂的假设空间或模型 当所选择的 VC 维较大时，可以考虑使用更多的训练 样本来提高泛化能力
- 18.非线性 SVM 无法用一条直线将 样本正确分类 一个线性可分的 高维特征空间
- 19.非线性 SVM
- 20.非线性 SVM 原始问题 对偶问题 替 代
- 21.非线性 SVM 对偶问题 求解后得到
- 22.非线性 SVM 基本思路：设计或找寻一个核函数 绕过特征映射，避免计算高维内积的困难 任何一个核函数都隐式地定义了一个 RKHS （再生核希尔伯特空 间） !
- 23.齐次二次多项式核 函数 非线性 SVM 一个核函数对应的特征映射和再生希尔伯特空间都不是唯一的！
- 24.非线性 SVM 核函数还可以通过函数组合得到： 均为核函数 “ 核函数的选择”是非线性 SVM 性格好坏的关键！
- 25.非线性 SVM 齐次多项式 kernel 非齐次多项式 kernel 《 A Tutorial on Support Vector Machines for Pattern Recognition 》
- 26.非线性 SVM 将高斯核函数代入决策超平面 ，可得到 每个样本都对应 一个高斯分布
- 27.非线性 SVM VC 维越大，泛化 性能越差 SVM 的 VC 维越大，但是泛化性能很好？ 最大间隔化的作 用！ SVM 通过最大化分类间隔来控制假设空间的 VC 维，使得学习器即 使在高维特征空间，其 VC 维也会比特征空间的维数要低很多，从而保证 了较较 好的推广能力！ 较较较 较较 较
- 28.非线性 SVM 《支持向量机导论》
- 29.软间隔 511174500024 黄小菊
- 30.目录 为什么提出软间隔 如何在模型中实现软间隔 支持向量 正则化问题
- 31.为什么提出软间隔
- 32.如何在模型中实现软间隔
- 33.如何在模型中实现软间隔
- 34.如何在模型中实现软间隔
- 35.如何在模型中实现软间隔 KKT 条件：
- 36.支持向量
- 37.正则化问题
- 38.SMO-Sequential Minimal Optimization 赵丽梅 51174500061
- 39.论文 Sequential MinimalOptimization:A Fast Alg orithm for Training Support Vector Machine s ——John C.Platt
- 40.SMO 概念 定义目标函数 : (xi, yi) ：训练样本数据 xi ：样本特征 yi∈{−1,1} ：样本标签 C ：容错率，由自己设定 。 C 如果较大，分错的点就比较少，但是会产生过拟 合 N 个参数： (α1,α2,α3,...,αN)
- 41.SMO 基本思想 将原问题分解为一系列小规 模凸二次规划问题而获得原 问题解 每次启发式的选择两个拉格 朗日乘子，同时固定其它拉 格朗日乘子来找到这两个拉 格朗日乘子的最优值，直到 达到停止条件
- 42.定义目标函数 定义符号：
- 43.定义目标函数 化简目标函数
- 44.定义目标函数 化简目标函数（视为一个二元函数）
- 45.定义目标函数 化简目标函数（视为一元函数）
- 46.定义目标函数 对一元函数求极值点
- 47.定义目标函数 假设 SVM 超平面的模型为 将推导出的 w 的表达式带入得 表示样本 xi 的预测值 ,yi 表示样本 xi 的真实值，定义 Ei 表示 预测值与真实值之差为： f(xi)
- 48.定义目标函数 化简 得： 带入 并记 得： 这里假定 >0
- 49.对原始解修剪 约束条件：
- 50.对原始解修剪 经过上述约束的修剪，最优解可以记为 求解 由于其他 N-2 个变量固定，由 可得： ：
- 51.临界情况 （ 1 ）大部分情况下， （2） （3） 极值在可行域边界处取得 极值在可行域边界处取得
- 52.启发式选择变量 KKT 条件 定理：对于任何两个乘子，只要其中一个不满足 KKT 条 件，那么目标函数在一步迭代后值会减小 Osuna
- 53.启发式选择变量 第一个变量的选择——外循环 1 、遍历整个样本集，选择违反 着依据相关规则选择第二个变量 KKT 条件的 αi 作为第一个变量 ，接 2 、遍历完整个样本集后，遍历非边界样本集中违反 为第一个变量，接着依据相关规则选择第二个变量 KKT 的 αi 作 3 、在整个样本集与非边界样本集上来回切换，寻找违反 的 αi 作为第一个变量。 4 、直到遍历整个样本集后，没有违反 KKT 条件 KKT 条件 αi ，然后退出。
- 54.启发式选择变量 第二个变量的选择——内循环 确定了第一个变 量后，选择使两个变量对应样本之间差距最大的变量作为第二个变量。
- 55.阈值 b 的计算 每完成对两个变量的优化后，要对 系到 f(x) 的计算 1. 如果 得： b 的值进行更新，因为 b 的值关 ，结合 KKT 条件以及
- 56.阈值 b 的计算 - 推导
- 57.阈值 b 的计算 2. 如果 3. 如果同时不满足 ，则有 ，则 以及它们之间 的数都满足 KKT 条件，这时选择它们的中点。
- 58.支持向量回归 (SVR) 51174500004 陈彪
- 59.支持向量回归 (SVR) 支持向量回归 : 与传统不同 , 支持向量回归 , 假设我们能 容忍 f(x) 与 y 之间最多有 ϵ 的误差 , 即仅当 f(x) 与 y 之间的 差别绝对值大于 ϵ 时才计算损失 . 如图 1 所示 , 这相当于以 f (x) 为中心 , 构建一个宽度为 2ϵ 的隔离带 , 若训练样本落入 此隔离带 , 则认为是被预测正确的 .
- 60.支持向量回归 (SVR)
- 61.支持向量回归 (SVR)
- 62.支持向量回归 (SVR)
- 63.支持向量回归 (SVR)
- 64.支持向量回归 (SVR)
- 65.支持向量回归 (SVR)
- 66.支持向量回归 (SVR)
- 67.支持向量回归 (SVR)
- 68.支持向量回归 (SVR)
- 69.支持向量回归 (SVR)
- 70.支持向量回归 (SVR)
- 71.支持向量回归 (SVR)
- 72.支持向量回归 (SVR)
- 73.支持向量回归 (SVR)
- 74.支持向量回归 (SVR)
- 75.支持向量回归 (SVR)
- 76.支持向量回归 (SVR) SVR 算法的使用
- 77.支持向量回归 (SVR)
- 78.支持向量回归 (SVR)
- 79.支持向量回归 (SVR)
- 80.支持向量回归 (SVR)
- 81.支持向量回归 (SVR)
- 82.支持向量回归 (SVR)
- 83.支持向量机的实现 MATLAB 为例 (Statistics and Machine Learning Toolbox™ ) 训练支持向量机的步骤 1) Transform predictors (input data) to a high-dimensional feature sp ace. 2) Solve a quadratic optimization problem to fit an optimal hyperplan e to classify the transformed features into two classes
- 84.KernelFunction 支持向量机的实现 Support Vector Machines for Binary Classification Training an SVM Classifier SVMModel = fitcsvm(X,Y,'KernelFunction','rbf',... 'Standardize',true,'ClassNames',{'negClass','posClass’}); X — Matrix of predictor data Y — Array of class labels with each row corresponding to the value of the cor responding row in X KernelFunction - Kernel Function 'Standardize -Flag indicating whether the software should standardize the predictor s before training the classifier. ClassNames - Distinguishes between the negative and positive classes, or specifies which classes to include in the data
- 85.支持向量机的实现 [label,score] = predict(SVMModel,newX); Using a Gaussian Kernel
- 86.支持向量机的实现 Using a Gaussian Kernel
- 87.支持向量机的实现 Using a Gaussian Kernel
- 88.支持向量机的实现 Using Custom Kernel
- 89.支持向量机的实现 Using Custom Kernel
- 90.支持向量机的实现 Using Custom Kernel
- 91.支持向量机的实现 scikit-learn svm
- 92.支持向量机的实现
- 93.支持向量机的实现
- 94.支持向量机的实现
- 95.Thank you
