跟其他机器学习方法一样,线性回归要首先选择一个误差函数(error function),又称为损失函数(cost function).该函数的值,表征模型对于问题的适合程度.

在线性回归中最常用的损失函数是最小方差法(least squares)

要想计算最小方差,我们首先要做的一件事就是怎么计算这个”差”,也就是好点到建模直线的距离.所以我么首先定义一个函数来计算每对xn,yn跟建模直线之间的距离

对于二维回归,我们已知的是多对(x0,y0),(x1,y1)…(xn,yn),我们需要做的就是通过最小化以下函数,找到β0和β1的值.

J(β0,β1)=∑n,i=0(yi-β0-β1xi)²

简单点说,这个求和就表示预测值和真实值之间的欧几里得距离的和

使用这个操作的原因是,平方差的求和能够给我们一个唯一且简单的全局数值,首先是通过相减得到预测值和真实值之间的差距,通过平方获得一个正数值,用于惩罚远离直线的点.