机器学习

线性模型

机器学习——线性模型

广义线性模型（Generalized Linear Models）

线性回归

均方误差最小化算法

基于均方误差最小化来进行模型求解的方法称为“最小二乘法（least square method）”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

岭回归

岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

正则化算法

逻辑回归（Logistic Regression）

多元逻辑回归（Softmax Regression）

机器学习

改善深层神经网络——超参数调试、Batch正则化和程序框架

超参数调试、Batch正则化和程序框架

超参数的调试处理

在机器学习领域，超参数比较少，我们之前利用设置网格点的方式来调试超参数；
但在深度学习领域，超参数较多，不再是设置规则的网格点，而是随机选择点进行调试。这样做是因为，在我们处理问题的时候，无法知道哪个超参数更为重要，随机的方式测试超参数点的性能更为合理，可以探究超参数的潜在价值。

继续阅读全文 »

机器学习

改善深层神经网络——深度学习的实用层面

深度学习的实用层面

训练/验证/测试集

对于一个需要解决的问题的样本数据，在建立模型的过程中，我们会将问题的data划分为以下几个部分：

  1. 训练集（train set）：用训练集对算法或模型进行训练过程；
  2. 验证集（development set）：利用验证集或者又称为简单交叉验证集（hold-out cross validation set）进行交叉验证，选择出最好的模型；
  3. 测试集（test set）：最后利用测试集对模型进行测试，获取模型运行的无偏估计。

继续阅读全文 »