文本分类学习 (八)SVM 入门之线性分类器

2021年11月25日 阅读数:4
这篇文章主要向大家介绍文本分类学习 (八)SVM 入门之线性分类器,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

SVM 和线性分类器是分不开的。由于SVM的核心:高维空间中,在线性可分(若是线性不可分那么就使用核函数转换为更高维从而变的线性可分)的数据集中寻找一个最优的超平面将数据集分隔开来。函数

因此要理解SVM首先要明白的就是线性可分和线性分类器。spa

 

能够先解释这张图,经过这张图就能够了解线性分类器了。3d

这是一个在二维平面的图。其中实心点和空心点是分别属于两类的,Origin 是原点。blog

先看中间那条直线,中间的直线就是一条能够实心点和空心点分隔开来的直线,因此上图中的数据点是线性可分的。class

这条直线其实就是线性分类器,也能够叫作分类函数,在直线上方的属于+1类,在直线下方的属于-1类。+1,-1这里只是区分类别。im

因此该直线就是咱们上面说的超平面,在二维空间中它是一条直线,三维空间是一个平面。。。等等,下面就统称为超平面d3

这个超平面上的点都知足数据

 

                                        (1)img

这里须要解释一下:di

  • x 在二维平面中不是指横坐标值,而是指二维平面中点的向量,在文本分类中就是文本的向量表示。因此 x  = ( xi , y
  • w 也是一个向量 它是一个垂直于超平面的向量,如图中所示
  • 该表达式不仅是表示二维空间,也能够表示n维空间的超平面
  • b 是一个常数
  • w * x 是求两个向量的点积也就是内积,实际上应该写成w * xw乘以x的转置向量,w是横向量,x是列向量。

因此二维平面中,该表达式也能够表示为:

          

                        (2)

 

继续上图的解释,其中原点到超平面的距离为  

                                      

这个能够很容易推导出来,以二维平面为例,上述表达式能够这么转换

                         

根据点到直线的距离公式:

               (3)

计算这个公式是为了方便咱们下面计算获得几何间隔。

 

这里 || w || 叫作 向量 w 的 欧几里得范式,p维的向量w的范式: 

其实是对向量长度的一种度量。

以上是在线性分类器中的一些要素:包括n维空间中的一些个点,和把这些点分开的一个超平面

下面是在SVM中对线性分类器不一样的地方,在SVM中咱们还要找到如下两条直线H1, H(上图已是线性可分的最优分类线)

 

H1  和 H它们平行于超平面,在H1 上的点知足:

        (4)

在H上的点知足:

        (5)

因此在图中咱们能够看到空心点 都知足 

 

   (6)

实心点都知足

      (7)

因此咱们能够把上面连个式子写成一个不等式:

 

        (8)

这个不等式就是图中全部数据点要知足的条件,也是最优分类函数求出来的条件。

这里还要提醒一下,x不是横坐标而是一个n维向量,y不是纵坐标而是一个分类标签,只有+1 和 -1。

 

 

上面计算过原点到超平面的距离,以此类推,H到原点的距离 =  |-1-b| / || w || ; H到原点的距离 = | 1 - b | / || w ||

那么H到超平面的距离就是 | b| / || w ||  -  |-1-b| / || w ||  = 1 / ||w|| 同理H2到超平面的距离也是 1/ ||w||

H1 和H2 之间的距离为:2 / ||w|| 。这个距离称做为几何间隔。

SVM 的工做是在n维空间中找到这两个超平面:H和H使得点都分布在H1 和H2 的两侧,而且使H1 和H2 之间的几何间隔最大,这是H1 和H2 就是支持向量

为何呢?由于几何间隔与样本的误分次数间存在关系, 几何间隔越大误分次数的上界就越小。

 

这个1/||w|| 也能够经过上面的不等式(8)推导出来,把不等式(8)左边和右边同时除以 || w ||

就能够获得:

         (9)

 

 根据(6),(7)实际上y只是一个正负号,至关于取绝对值,由于wxi+b<=-1的时候yi就是-1,结果仍是正数,因此(9)能够变成:

 

    (10)

不等式左边表示的就是点到超平面wx+b=0的距离,该式子表示,全部点到超平面wx+b=0的距离都大于1/||w|| 。从图中看也正是如此。

 

因此咱们接下来的工做就是最大化几何间隔,事实上也就是求||w||的最小值。