线性回归可能是最多见的算法之一，线性回归是人工神经网络践行者务必了解的。这通常是新手第一次接触的机器学习算法，掌握它的实际操作方法针对能够更好地了解它尤为重要。

因此，简易地说，使我们来溶解一下真实的问题：什么叫线性回归？

线性回归界定

线性回归是一种有监督管理的学习培训算法，致力于选用线形方式来模型自变量和变量相互关系。也就是说，它的总体目标是线性拟合一条最好是地捕获数据信息关联的线形趋势线，而且，从这根线，它可以预测分析目标很有可能是啥。

太棒了，我明白它的界定，但它是怎样作业的呢？好问题！为了更好地解答这个问题，使我们逐渐了解一下线性回归是怎么运行的：

1. 线性拟合数据信息（如上图所述所显示）。
2. 测算点中间的间距（图上的小红点是点，蓝线是间距），随后求平方米，随后求合（这种值是平方米的，以保证负数不容易发生问题的值并阻拦测算）。这也是算法的偏差，或是能够更好地称之为方差
3. 储存梯度下降法的方差
4. 根据一个提升算法，促使该线略微“挪动”，便于该线可以能够更好地线性拟合数据信息。
5. 反复过程2-5，直到做到梦想的结论，或是剩下偏差减少到零。

这类拟合直线的方式 称之为最小二乘法。

线性回归身后的数学课

假如已经了解的请随便绕过这一部分

线性回归算法如下所示：

可以优化为：

下列算法将基本上进行下列实际操作：

1. 接纳一个Y空间向量（你的数据标签，（房子价格，股价，这些…）

这是你的总体目标空间向量，稍候将用以评定你的数据信息（稍候将详解）。

1. 引流矩阵X（数据信息的特点）：

这也是数据信息的特点，即年纪、胎儿性别、性别、个子等。这也是算法将具体用以预测分析的数据信息。留意怎样有一个特点0。这称之为截距项，且自始至终相当于1。

1. 取一个权重值空间向量，并将其转置：

这也是算法的奇特之处。全部的矩阵的特征值都是会乘于这种权重值。这就是所说的点积。事实上，你将试着为给出的数据寻找这种值的最好组成。这就是所说的提升。

1. 获得导出空间向量：

这是以数据信息中输入输出的预测分析空间向量。随后，你能应用成本函数来评定模式的特性。

这大部分便是用数学课表述的全部算法。如今你应该对线性回归的作用有一个牢靠的了解。但问题是，什么是优化算法？大家如何选择最好权重值？大家怎么评定业绩考核？

成本函数

成本函数实质上是一个公式计算，用于考量实体模型的损害或“成本费”。假如你以前参与过一切Kaggle赛事，你也许会遇到过一些。一些常用的办法包含：

• 均方根误差
• 均方误差
• 均值相对误差

这种函数公式针对实体模型练习和研发是不可缺少的，由于他们回应了“我的模型预测新案例的水平怎样”这一基本上问题？”. 请记牢这一点，由于这与人们的下一个主题风格相关。

提升算法

优化通常被理解为改善某事情，使其充分发挥其所有发展潜力的全过程。这也适用人工神经网络。在ML的全世界里，提升实质上是尝试为某一数据寻找最好的主要参数组成。这几乎是机器学习算法的“学习培训”一部分。

我将探讨二种最多见的算法：梯度下降法和标准方程。

梯度下降

梯度下降是一种提升算法，致力于找寻函数公式的极小值。它利用在梯度方向的负方位上梯度下降法地采用具体步骤来建立这些总体目标。在人们的案例中，梯度下降将根据挪动函数公式切线的斜率来不断创新权重值。

梯度下降的一个详细事例

为了更好地更好的表明梯度下降，使我们看一个简便的事例。想像一个人在山巅上，他/她想爬到山底。她们也许会做的是环顾四周，看一下应当朝哪个方位迈开一步，便于迅速地下来。随后，她们很有可能会朝这一方位迈开一步，如今她们离总体目标更近了。殊不知，他们在降低时务必当心，由于他们很有可能会在某一点卡死，因此大家需要保证相对应地挑选咱们的步幅。

一样，梯度下降的总体目标是降到最低函数公式。在人们的案例中，这也是为了更好地使人们的建模的成本费降到最低。它根据寻找函数公式的断线并朝那一个方位挪动来达到这一点。算法“步幅”的尺寸是由已经知道的学习培训速度来理解的。这大部分操纵着大家向下移动的间距。应用此参数，大家需要留意二种状况：

1. 学习培训速度很大，算法很有可能没法收敛性（做到极小值）并在最小值周边反跳，但终究不容易做到该值
2. 学习率过小，算法将耗费太长期才可以做到极小值，也有可能会“卡”在一个次优势上。

大家还有一个主要参数，它操纵算法梯度下降法数据的频次。

从视觉效果上看，该算法将实行下列实际操作：

因为此算法对人工神经网络十分关键，使我们总结一下它的功效：

1. 任意复位权重值。这叫做任意复位
2. 随后，实体模型应用这种任意权重值开展预测分析
3. 实体模型的预估是根据成本函数来评定的
4. 随后实体模型运作梯度下降，寻找函数公式的断线，随后在切线的斜率上迈开一步
5. 该全过程将反复N次梯度下降法，或是假如达到某一标准。

梯度下降法的优点和缺点

优势：

1. 很可能将成本函数减少到全局性极小值（十分贴近或=0）
2. 最有效的提升算法之一

缺陷：

1. 在大中型数据上很有可能较慢，因为它应用全部数据来测算函数公式断线的梯度方向
2. 非常容易深陷次优势（或部分极小值）
3. 客户务必手动式挑选学习培训速度和更新频次，这很有可能很用时

即然已经讲解了梯度下降，如今咱们来详细介绍标准方程。

标准方程（Normal Equation）

如果我们返回人们的案例中，而不是一步一步地往下沉，大家将可以马上抵达底端。标准方程就这样。它运用线代来形成权重值，可以在很短的時间内造成和梯度下降一样好的结论。

标准方程的优点和缺点

优势

1. 不用挑选学习培训速度或梯度下降法频次
2. 十分快

缺陷

1. 不可以有效地扩大到大中型数据
2. 趋向于造成好的权重值，但并不是最好权重值

特点放缩

这也是很多机器学习算法的关键预备处理流程，尤其是这些应用间距衡量和测算（如线性回归和梯度下降）的算法。它实质上是放缩大家的特点，使他们在差不多的范畴内。把它想像成一座房子，一座房子的比例模型。二者的外形是一样的（她们是房屋），但尺寸不一样（5米！=500米）。大家那样做的因素如下所示：

1. 它加速了算法的速率
2. 有一些算法对尺度比较敏感。换言之，假如特征具备不一样的尺度，则有可能将更高的权重值授予具备更高数量级的特征。这将危害人工神经网络算法的特性，显而易见，我们不期待大家的算法偏重于一个特征。

为了更好地演试这一点，假定人们有三个特征，各自取名为A、B和C：

• 放缩前AB间距=>

• 放缩前BC间距=>

• 放缩后AB间距=>

• 放缩后BC的间距=>

我们可以清晰地见到，这种特征比放缩以前更具有对比性和估计量。

重新开始撰写回归分析

行吧，如今你一直在等着的时时刻刻；完成！

留意：全部编码都能够从这一Github repo免费下载。可是，我建议你在实行此使用前先遵循实例教程，由于那样你将能够更好地了解你具体在撰写哪些编码：

最先，使我们做一些主要的导进：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston

是的，这就是全部必须添加的了！大家采用的是numpy做为数学课完成，matplotlib用以制作图型，及其scikitlearn的boston数据。

# 载入和分拆数据信息
data = load_boston()
X,y = data[\'data\'],data[\'target\']

下面，使我们建立一个定做的train_test_split函数公式，将人们的数据信息拆分成一个练习和检测集：

# 分拆练习和检测集
def train_test_divide(X,y,test_size=0.3,random_state=42):
    np.random.seed(random_state)
    train_size = 1 - test_size
    arr_rand = np.random.rand(X.shape[0])
    split = arr_rand < np.percentile(arr_rand,(100*train_size))

    X_train = X[split]
    y_train = y[split]
    X_test =  X[~split]
    y_test = y[~split]

    return X_train, X_test, y_train, y_test
X_train,X_test,y_train,y_test = train_test_divide(X,y,test_size=0.3,random_state=42)

大部分，我们在开展

1. 获得检测集尺寸。
2. 设定一个随机种子，以保证 大家的效果和精确性。
3. 依据检测集尺寸获得训练集尺寸
4. 从大家的特征中随机抽取样版
5. 将任意挑选的案例拆分成训练集和检测集

大家的成本函数

我们将完成MSE或均方根误差，一个用以重归每日任务的普遍成本函数：

def mse(preds,y):
        m = len(y)
        return 1/(m) * np.sum(np.square((y - preds)))

• M指的是练习案例的总数
• yi指的是大家标识空间向量中的一个案例
• preds指的是大家的预测分析

为了更好地撰写整洁、可反复和高效率的编码，并遵循开发软件实践活动，大家将建立一个回归分析类：

class LinReg:
    def ._init__(self,X,y):
        self.X = X
        self.y = y
        self.m = len(y)
        self.bgd = False

• bgd是一个主要参数，它界定大家是不是需要应用大批量梯度下降法。

如今人们将建立一个方式来加上截距项：

def add_intercept_term(self,X):
        X = np.insert(X,1,np.ones(X.shape[0:1]),axis=1).copy()
        return X

这大部分是在人们的特征逐渐处添加一个列。它仅仅为了更好地矩阵乘法。

假如我们不再加上这一点，那麼人们将驱使超平面根据起点，造成它大幅歪斜，进而没法恰当线性拟合数据信息

放缩大家的特征：

def feature_scale(self,X):
        X = (X - X.mean()) / (X.std())
        return X

下面，大家将任意复位权重值：

def initialise_thetas(self):
        np.random.seed(42)
        self.thetas = np.random.rand(self.X.shape[1])

如今，大家将应用下列公式计算重新开始撰写标准方程：

def normal_equation(self):
        A = np.linalg.inv(np.dot(self.X.T,self.X))
        B = np.dot(self.X.T,self.y)
        thetas = np.dot(A,B)
        return thetas

大部分，大家将算法分成三个一部分：

1. 大家取得了X转置后与X的点积的逆
2. 大家获得净重和标识的点积
3. 大家获得2个测算值的点积

这就是标准方程！还不错！如今，大家将应用下列公式计算完成大批量梯度下降法：

def batch_gradient_descent(self,alpha,n_iterations):
        self.cost_history = [0] * (n_iterations)
        self.n_iterations = n_iterations

        for i in range(n_iterations):
            h = np.dot(self.X,self.thetas.T)
            gradient = alpha * (1/self.m) * ((h - self.y)).dot(self.X)

            self.thetas = self.thetas - gradient
            self.cost_history[i] = mse(np.dot(self.X,self.thetas.T),self.y)

        return self.thetas

在这儿，大家实行下列实际操作：

1. 大家设定alpha，或是学习率，和更新频次
2. 大家建立一个目录来储存大家的成本函数历史数据，便于之后在柱形图中制作
3. 循环系统n_iterations 次，
4. 大家获得预测分析，并测算梯度方向（函数切线的斜率）。
5. 大家升级权重值以沿梯度方向负方位挪动
6. 大家运用咱们的自定MSE函数纪录值
7. 反复，进行后，回到结论

让我们界定一个线性拟合函数来拟合大家的数据信息：

def fit(self,bgd=False,alpha=0.158,n_iterations=4000):
        self.X = self.add_intercept_term(self.X)
        self.X = self.feature_scale(self.X)
        if bgd == False:

            self.thetas = self.normal_equation()
        else:
            self.bgd = True
            self.initialise_thetas()
            self.thetas = self.batch_gradient_descent(alpha,n_iterations)

在这儿，大家只必须检查用户是不是必须梯度下降法，并相对地实行人们的流程。

让我们搭建一个函数来制作成本函数：

def plot_cost_function(self):

        if self.bgd == True:
            plt.plot(range((self.n_iterations)),self.cost_history)
            plt.xlabel(\'No. of iterations\')
            plt.ylabel(\'Cost Function\')
            plt.title(\'Gradient Descent Cost Function Line Plot\')
            plt.show()
        else:
            print(\'Batch Gradient Descent was not used!\')

最终一种预测分析未标识案例的方式：

def predict(self,X_test):
        self.X_test = X_test.copy()
        self.X_test = self.add_intercept_term(self.X_test)
        self.X_test = self.feature_scale(self.X_test)
        predictions = np.dot(self.X_test,self.thetas.T)
        return predictions

如今，让我们看一下哪个提升造成了更快的结论。最先，让我们试一下梯度下降法：

lin_reg_bgd = LinReg(X_train,y_train)
lin_reg_bgd.fit(bgd=True)

mse(y_test,lin_reg_bgd.predict(X_test))

OUT:
28.824024414708344

让我们画出大家的函数，看一下成本函数是怎样降低的：

因此我们可以见到，在大概1000次梯度下降法时，它逐渐收敛性。

如今的标准方程是：

lin_reg_normal = LinReg(X_train,y_train)
lin_reg_normal.fit()

mse(y_test,lin_reg_normal.predict(X_test))

OUT:
22.151417764247284

因此我们可以见到，标准方程的特性略好于梯度下降法。这也许是由于数据不大，并且大家并没有为学习率挑选最好主要参数。