人工智能之随机森林(RF)

ALphonse
7个月前 阅读 37 点赞 2

决策树(DT)在人工智能中所处的位置:人工智能>机器学习>监督学习>决策树。决策树主要用来解决分类和回归问题,但是决策树(DT)会产生过拟合现象,导致泛化能力变弱。过拟合是建立决策树模型时面临的重要挑战之一。鉴于决策树容易过拟合的缺点,由美国贝尔实验室大牛们提出了采用随机森林(RF)投票机制来改善决策树。随机森林(RF)则是针对决策树(DT)的过拟合问题而提出的一种改进方法,而且随机森林(RF)是一个最近比较火的算法。因此有必要对随机森林(RF)作进一步探讨。


人工智能之随机森林(RF)


随机森林(RF)在人工智能中所处的位置:人工智能>机器学习>监督学习>决策树>随机森林。


随机森林(RF)指的是利用多棵树对样本进行训练并预测的一种分类器。该分类器最早由Leo Breiman和Adele Cutler提出,并被注册成了商标。


那么什么是随机森林?

随机森林(RandomForests)是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。Leo Breiman和Adele Cutler发展并推论出随机森林的算法。随机森林(RF)这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林(random decision forests)而来的。这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"以建造决策树的集合。


人工智能之随机森林(RF)


通过定义我们知道,随机森林(RF)要建立了多个决策树(DT),并将它们合并在一起以获得更准确和稳定的预测。随机森林的一大优势在于它既可用于分类,也可用于回归问题,这两类问题恰好构成了当前的大多数机器学习系统所需要面对的。


随机森林是集成学习的一个子类,它依靠于决策树的投票选择来决定最后的分类结果。集成学习通过建立几个模型组合的来解决单一预测问题。集成学习的简单原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。

人工智能之随机森林(RF)

随机森林的构建过程:

假设N表示训练用例(样本)个数,M表示特征数目,随机森林的构建过程如下:

1) 输入特征数目m,用于确定决策树上一个节点的决策结果;其中m应远小于M。


2) 从N个训练用例(样本)中以有放回抽样的方式,取样N次,形成一个训练集,并用未抽到的用例(样本)作预测,评估其误差。


3) 对于每一个节点,随机选择m个特征,决策树上每个节点的决定都是基于这些特征确定的。根据m个特征,计算其最佳的分裂方式。


4) 每棵树都会完整成长而不会剪枝,这有可能在建完一棵正常树状分类器后会被采用。


5) 重复上述步骤,构建另外一棵棵决策树,直到达到预定数目的一群决策树为止,即构建好了随机森林。


人工智能之随机森林(RF)


其中,预选变量个数(m)和随机森林中树的个数是重要参数,对系统的调优非常关键。这些参数在调节随机森林模型的准确性方面也起着至关重要的作用。科学地使用这些指标,将能显著的提高随机森林模型工作效率。


影响性能因素

1)森林中的每个树越茂盛,分类效果就越好。

2)树和树的枝叶穿插越多,分类效果就越差。



人工智能之随机森林(RF)


随机森林的随机选取:

1)数据的随机选取:从原始的数据集中采取有放回的抽样,构造子数据集。相同或不同子数据集的元素都可以重复。利用子数据集构建子决策树,将这个数据放到每个子决策树中,每个子决策树输出一个结果。新的数据需要通过随机森林得到分类结果,通过对子决策树的判断结果的投票,得到随机森林的输出结果。


2)待选特征的随机选取:随机森林中子树的每一个分裂过程并没有用到所有的待选特征,仅从所有的待选特征中随机选取一定的特征,再在随机选取的特征中选取最优特征。这样能使得随机森林中的决策树都能够彼此不同,提升系统的多样性,从而提升分类性能。


随机森林优点:

1)具有极高的准确率;

2)可以处理大量的输入变数,并可以评估变数的重要性;

3)随机性的引入,使得随机森林不容易过拟合;

4)随机性的引入,使得随机森林有很好的抗噪声能力;

5)能处理很高维度的数据,并且不用做特征选择;

6)在创建随机森林的时候,对generlizationerror使用的是无偏估计;

7)既能处理离散型数据,也能处理连续型数据,数据集无需规范化;

8)对于不平衡的分类资料集来说,可以平衡误差;

9)训练速度快,可以得到变量重要性排序;

10)容易实现并行化。


人工智能之随机森林(RF)


随机森林缺点:

1)当随机森林中的决策树个数很多时,训练时需要的空间和时间会较大


2)随机森林在解决回归问题时并没有像它在分类中表现的那么好,不能够作出超越训练集数据范围的预测,这可能导致在对某些还有特定噪声的数据进行建模时出现过度拟合


3)随机森林模型还有许多不好解释的地方,有点算是黑盒模型


人工智能之随机森林(RF)


随机森林应用前景:

随机森林具有准确度高、抗噪声能力强、不容易过拟合、数据集无需规范化、平衡误差、训练速度快、易实现并行化、应用性强、适用范围广等优点。近年来,随机森林模型在界内的关注度与受欢迎程度有着显著的提升。它可以快速地被应用到几乎任何的数据科学问题中去,从而使人们能够高效快捷地获得第一组基准测试结果。在各种各样的问题中,随机森林一次又一次地展示出令人难以置信的强大,而与此同时它又是如此的方便实用。随机森林算法可被用于很多不同领域,如银行,股票市场,医药和电子商务。在银行领域,用来检测那些比普通人更高频率使用银行服务的客户,并及时偿还他们的债务。也会被用来检测那些想诈骗银行的客户。在金融领域,可用于预测未来股票的趋势。在医疗保健领域,可用于识别药品成分的正确组合,分析患者的病史以识别疾病。在电子商务领域中,随机森林可以被用来确定客户是否真的喜欢某个产品。


人工智能之随机森林(RF)


结语:

随机森林是一种多功能的机器学习算法,能够执行回归和分类的任务。随机森林用随机的方式建立一个森林,森林里面有很多的决策树组成,可以将几个低效模型(决策树)整合为一个高效模型(随机森林)。


它主要解决了决策树泛化能力弱的缺点。同时,随机森林也实现了数据降维,是处理缺失值、异常值或其他数据的重要手段,并取得了不错成效。


随机森林是人工智能之机器学习中最近比较火的算法,具有准确度高、抗噪声强、速度快、并行化、适用广等优点,在实际应用中,随机森林算法性能表现得非常强大和实用,因此在业界受到高度关注和欢迎,其应用前景非常广泛和深远。

| 2
登录后可评论,马上登录吧~
评论 ( 0 )

还没有人评论...