大家都知道机器学习的目的是为了把商业问题转化成数据问题，通过收集数据、理解数据、清洗数据、转换数据，最终达到解决问题的目的。



那么什么是模型呢？模型就是变量之间的明确的数学表示。例如，如果你渴望你的个人网站盈利，那么你可能需要建立一个包含用户数目、单个用户收益、广告主之间的商业模型；又如要预测扑克牌游戏中玩家的胜的概率，就需要建立一个扑克牌规则、已出的牌的模型。


机器学习可以用来干什么呢？最常听到的大概有以下几个应用吧：



  预测一封邮件是否为垃圾邮件；

  预测一笔银行交易是否为诈骗；

  预测一个用户是否会点击某个广告；

  预测哪个足球队会赢得世界杯；



通常，用于解决以上问题的模型一般为有监督模型，该模型需要一些数据和标签作为训练样本。在介绍监督模型之前，本期就来了解一些机器学习的基础概念。



1.过拟合与欠拟合


过拟合是机器学习中最容易陷入的错误，如果一个模型在训练中性能表现非常好，但是难以应用到新的数据集上，这个时候很有可能就是出现了过拟合的问题了。避免过拟合的思想就是要为了输出索要的结果，只用学习那些关键的主要影响因素即可，而不必什么都要学到。


欠拟合是指一个模型在训练时性能表现都很差的情况，这是因为模型没有学习到数据的足够特征，因此要考虑增加参数了。


那么在实践中，如何确定一个模型是否出现过拟合或者欠拟合了呢？通常我们需要将数据集分为训练集和测试集，比如我们可以使用2/3的数据来训练模型，然后观察该模型在剩余的1/3的数据中的表现。但是有时候仅仅划分为训练集和测试集是不够的，如果你要从多个模型中挑选一个最优模型，这个时候就要多划分一个验证集。其中，训练集用于训练模型，验证集用于挑选模型，测试集用于评价最终的模型。




2.评价标准


假设现在我们建立了一个模型去预测一个邮件是否是垃圾邮件，那么每封邮件被模型预测的结果可能是以下四种情况中的某一种。


  True positive:邮件是垃圾邮件，模型预测结果也是垃圾邮件；

  False positive:邮件不是垃圾邮件，模型预测结果是垃圾邮件；

  True negative:邮件不是垃圾邮件，模型预测结果不是垃圾邮件；

  False negative:邮件是垃圾邮件，模型预测结果不是垃圾邮件；



通常可以使用一种称为混淆矩阵来表示以上情况。例如现在有1000封邮件，其中垃圾邮件有100封，剩余900封都不是垃圾邮件，而模型预测的结果是：100封垃圾邮件中有50封被预测为垃圾邮件，剩余50封被预测为不是垃圾邮件，900封非垃圾邮件中有100封被预测为垃圾邮件，剩余800封被预测为不是垃圾邮件。根据这个结果，我们可以得出混淆矩阵为：

True positive:50

False positive:100

True negative:800

False negative:50



因此混淆矩阵是

50 100

800 50




有了这些数据以后，我们可以从不同角度来评判这个模型的性能了，现在我们把以上四类分别简化记做TP、FP、TN、FN。


precision。准确度是指被正确分类的邮件的比例。用公式说明就是：

precision=（TP+TN)/（TP+TN+FP+FN）



recall。仅仅依靠准确度往往并不能较好地描述模型的性能，另外一个更精细的指标是找出垃圾邮件中有多少封被预测为垃圾邮件，即

recall=TP/（TP+FN）



结合precision和recall可以得到F1评分标准，其公式为

F1-score=2*precision*recall/(precision+recall)



通常，评判一个模型的好坏需要在precision与recall之间做出折衷，因为一个模型很容易出现高precision低recall或者高recall低precision的情形。


 
 
 来源： 张泽旺 深度学习每日摘要
智造家 查看全部