基于最小二乘法的——线性回归拟合

2021年11月22日 阅读数:3
这篇文章主要向大家介绍基于最小二乘法的——线性回归拟合,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

阅读本文须要的知识储备:python

  • 高等数学
  • 几率论与数理统计
  • Python基础


最近对线性回归很感兴趣,就研究了一下。其实生活中有不少这样的例子,好比:票价与行车距离、服务质量之间的关系,买房时房价与面积、地域等的关系。给咱们一组这样的数据,咱们想找出一个数学关系来描述这个问题,从而获得本身想要的结论。那么,怎么样才能使得你肯定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了,不少人都知道。编程

一、最小二乘法原理

众所周知,最小二乘法原理就是利用,拟合直线上面的因变量值与实际值的残差平方和最小做为优化目标。从而肯定出咱们须要找出的的系数。给定一组数据X = (X1,X2,...,Xn),Y = (Y1,Y2,...,Yn),通常方法经过画散点图观察咱们发现,X、Y之间有可能存在很强的线性关系,固然也可能有其它关系(更高次也是有可能的)。咱们的任务就是,经过线性拟合找到合适的线性系数,能最好反应X、Y之间的相关关系。dom

假设线性方程为:ide

基于最小二乘法的——线性回归拟合_拟合

这里的eps就是指的实际值与直线拟合值的残差,它们确定会有差值的,通常而言。函数

目标函数就是因变量值与实际值的残差平方和,定义以下:优化

基于最小二乘法的——线性回归拟合_拟合_02

其中,红色Yi表示实际给定的数据,蓝色表达式表示根据拟合直线表达式计算的近似代替值,咱们的目标是使其达到最小。ui

数学分析(工科会学高等数学)告诉咱们:这是一个二元函数,咱们须要找到其极小值点(alpha,beta);能够对目标函数关于alpha,beta分别求偏导数,偏导数若是有零点,这个零点两边函数值为正负,必然存在一个驻点对应目标函数值先降低后增加)。那么,这个点就是咱们要求的最优极小值点对应线性拟合系数alpha,beta。spa

求偏导函数以下:3d

 

基于最小二乘法的——线性回归拟合_协方差_03

求偏导数函数零点,理论上能够求出,alpha,beta的值。你们不喜欢公式,我也不喜欢编辑公式(编辑好麻烦),虽然我比较喜欢公式。我以为实际问题被抽象成数学模型去刻画才是最美的。code

通过细心的计算,你们能够算出:

 

基于最小二乘法的——线性回归拟合_线性回归_04

只要算出了beta,利用回归直线过点(x_bar,y_bar),X,Y平均值点,算出alpha便可。

二、编程实现

Win10环境下用Python3.写的实现程序。

(1)、用的数据:因为暂时没有数据生成线性数据,而后加的噪声;

(2)、用到的函数:

向量内积(点乘)函数、平均值、协方差

(3)、代码以下:

#向量内积函数
def dot(m,n):
return(sum(m_i*n_i for m_i,n_i in zip(m,n)))

#平均值函数
def mean(x):
return(sum(x)/len(x))

#计算协方差
####-----要计算一个序列方差只需covariance(x,x)便可---####
def de_mean(x):
x_bar = mean(x)
return([x_i-x_bar for x_i in x])
def covariance(x,y):
return(dot(de_mean(x),de_mean(y))/(len(x)-1))

#计算相关系数
import math
def correlation(x,y):
s_x = math.sqrt(covariance(x,x))
s_y = math.sqrt(covariance(y,y))
return(covariance(x,y)/(s_x*s_y))

#-----------------【最小二乘法】线性回归系数求法--------------
def line_coef(x,y):
s1 = covariance(x,x)*(len(x)-1)
s2 = dot(y,de_mean(x))
beta = s2/s1
alpha = mean(y)-beta*mean(x)
return(alpha,beta)

#*********实验************
#因为暂时没有实验数据,这里生成【随机干扰】数据
import random as rdm
#from numpy import *
def ran(a1,a2,x):
return([a1+a2*x_i+2.5*rdm.random() for x_i in x])
a1 = 1.5
a2 = 2.5
x = range(20)
y = ran(a1,a2,x)
#线性拟合
alpha,beta = line_coef(x,y)
print('*------------最小二乘法-------------*')
print('系数为:',alpha,beta)

#可视化
import matplotlib.pyplot as plt
#开一个【2x2】的图像窗口
#plt.subplot(221)
plt.figure(1)
plt.scatter(x,y,marker = '*',color = 'b')
plt.xlabel('x label')
plt.ylabel('y label')
plt.title('Linear Fit')
#拟合直线
plt.plot(x,[alpha+beta*x_i for x_i in x],color = 'orange')
#plt.subplot(222)
plt.show()

#偏差分析
#-----主要考察:(1)偏差平方和;(2)R方(越大拟合得越好)
def err(alpha,beta,x,y): #返回每一个实际y值与拟合值差向量
return([y_i-(alpha+beta*x_i) for x_i,y_i in zip(x,y)])
def error_total(alpha,beta,x,y):
y1 = err(alpha,beta,x,y)
return(dot(y1,y1))
print('偏差为:',error_total(alpha,beta,x,y))

#计算R方

def r_square(alpha,beta,x,y):
return(1-error_total(alpha,beta,x,y)/covariance(y,y))
R_square = r_square(alpha,beta,x,y)
print('R方:',R_square)
if(R_square>0.95):
print('在0.05置信水平下,该线性拟合不错!')
else:
print('在0.05置信水平下,该线性拟合效果不佳!')


(4)、结果

*------最小二乘法---------*

系数为: 2.6786542252575067 2.538861110659364

偏差为: 6.8591175428159215

R方: 0.9696451619135048

在0.05置信水平下,该线性拟合不错!

 

拟合图以下

基于最小二乘法的——线性回归拟合_最小二乘法_05

三、结果分析

能够看出我定义的线性方程系数a1 = 1.5,a2 = 2.5,大约就是Y = 1.5+2.5X,最终结果是Y = 2.6786542252575067+2.538861110659364X,由于中间增长了2.5倍的噪声,使得alpha从1.5—>2.68。固然了,这只是咱们的感受,线性拟合效果怎么样,还得看官方标准。

这里用R方(值越大拟合得越好)。

R方: 0.9696451619135048

在0.05置信水平下,该线性拟合不错!