决策树方法（决策树方法通常用于关联规则挖掘）

本篇文章给大家谈谈决策树方法，以及决策树方法通常用于关联规则挖掘对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、决策树求解算法有哪些
• 2、决策树法的基本步骤
• 3、如何用决策树法进行决策？
• 4、简述决策树方法的具体步骤
• 5、决策树(decisionTree)
• 6、决策树方法的基本思想是什么

决策树求解算法有哪些

决策树求解算法有：ID3，C4.5，CART等。

决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过简陵一系列规则对数据进行分类的过程。

决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改腊咐差进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进。

既适合于分类问题，又适合于回归问题。决策树算法构造决策树来发现数据中蕴涵的分类规则。如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。

第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪枝：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程。

构造方法

决策树构造的输入是一组带有类别标记的例子，构造的结果是一棵二叉树或多叉树。二叉树的内部节点一般表示为一个逻辑判断，如形式为a=aj的逻辑判断，其中a是属性，aj是该属性的所有取值：树的边是逻辑判断的分支结果。

多叉树（ID3）的内部结点是属性，边是该属性的所有取值，有几个属性值就有几条边。树的叶子节点都是类别标记。由于数据表示不当、有噪声或者由于决策树生成时产生重复的子树等原因，都会造轮皮成产生的决策树过大。

[img]

决策树法的基本步骤

决策树是一种常用的机器学习算法，它可以用于分类和回归问题。下面是决策树算法的基本步骤：

1. 收集数据：收集一组带有标签的数据集，其中每个样本包含若干个特征和一个标签。特征是用于决策的信息，标签是我们需要预测的结果。

2. 准备数据：对数据进行预处理，包括数据清洗、特征选择和特征转换等操作。这一步是为了使得数据更加规范化和易于处理。

3. 选择特征：根据一定的准则选择最优的特征，将数据集分成更小的子集。

4. 构建决策树：使用递归的方法构建决策树，每个非叶子节点表示一个特征，每个叶子节点表示一个类别物罩或一个回归值。

5. 对新样本进行分类或预测：使用构建好的决策树对新样本进行分类或预测。从根节点开始，依次比较特征的取辩蚂册值，直到到达叶子节点为止。

6. 评估模型：使用测试集评估决策树的性能，可以使用准确率、精确携宏率、召回率等指标评估。

7. 调整参数：根据评估结果调整决策树的参数，如选择不同的特征选择方法、调整决策树的深度等。

8. 预测未知数据：使用调整后的决策树对新的未知数据进行预测。

如何用决策树法进行决策？

画决策树的步骤如下：

A、先画一个方框作为出发点，又芦渗称决策节点；

B、从出发点向右引出若干条直线，这些直线叫做方案枝；

C、在每个方案枝的末端画一个圆圈，这个圆圈称为概率分叉点，或自然状态点；

D、从自然状态点引出代表各自然状态的分枝，称为概率分枝；

E、如果问题只需要一级决策，则概率分枝末端画三角形，表示终点 。

     

例题）

假设有一项工程，施工管理人员需要决让迅定下月是否开工。如果开工后天气好，则可为国家创收4万元，若开工后天气坏，将给国家造成损失1万元，不开工则损失1000元。根据过去的统计资料，下月天气好的概率是0.3,天气坏的概率是0.7。请做出决策。现采用决策树方法进行决策 

【解】第一步：将题意表格化

第二步：画决策树图形陪滑脊，根据第一步所列的表格，再绘制决策树，如下图；

简述决策树方法的具体步骤

利用决策树进行决策的过程是由胡档戚右向左，逐步后退。根据裤陵右端的损益值和概率枝上的概率，计算出同一方案的期望损益值的大小来选择最优方案。决策树方法人们把决策问题的自然状态或条件出现的概率、行动方案、益损值、预测结果等，用一个树状图表示出来，并利用该图反映出人们思考、预测、决策的全过程。根据右端的损益值和概率枝上的概率，计算出同一方案的期望损益值的大小来选择最优方案。1、画出决策树2、计算各方案结点的期望值3、将个方案结点的期望值标在相应的结点上4、比较各方案结点上的值。并在没有中选的方案上标蠢巧上记号

决策树(decisionTree)

决策树(decisionTree)是一种基本的分类和回归方法穗唯。此文仅讨论用于分类方法的决策树。

决策树的学习通常分为3步：

决策树的学习的思想主要源于

定义决策树 ：

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点又分为内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。

形如：

其中，圆表示内部结点，方框表示叶结点。

if-then规则，简单来说就是 ：

举例：对于一个苹果，外表是红色的是红苹果，外表是绿色的是青苹果。可以表示为：

if-then规则集合具有一个重要的性质：

这就是说每一个实例都被一条路径或规则覆盖，并且只被一条路径或规则覆盖。这里所谓的覆盖是指实例的特征与路径上的特征一致，或实例满足规则的条件。

给定数据集：

其中， 为输入实例（特征向量），含有 个特征， 为类标记， , 为样本容量。

目标 ：

根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确分类。

特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。

如果我们利用某一个特征进行分类的结果与随机分类的结果没什么很大的差别的话，则称这个特征没有分类能力。

那么问题来了，怎么选择特征呢？

通常特征选择的准则是

下面通过例子来说明一下。

目标 ：

希望通过所给的训练集数据，学习一个贷款申请的决策树。当新的客户提出贷款申请的时候，根据申请人的特征利用决策树决定是否批准贷款申请。

可见这里共有4个特征可供选择。用特征选择的准则是 。接下来介绍 。

：

熵是表示随机变量不确定性的度量。

设 是一个取有限个值的随机变量，其概率分布为

则随机变量 的熵定义为

若 ，则定义 。通常对数取以2为底，或是以 为底，熵的单位分布为比特（bit）或是纳特（nat）。

由上式可知，熵只依赖 的分布，而已 的值无关，则 的熵还可记作 ，即

则从定义可凳族碰知

当随机变量只取2个值的时候，例如 时， 的分布为

熵为

熵随概率变化的曲线为

当 或 时 ，随机变量完全没有不确定性，当 时 ，熵取值最大，随机变量不确定性最大。

设随机变量 ，其联合概率分布

条件熵 表示在已知随机变量 的条件下随机变量 的不枣谈确定性。随机变量 给定条件下随机变量 的条件熵(conditional entropy)，定义为 给定条件下 的条件概率分布的熵对 的数学期望

信息增益

特征 对训练集 的信息增益

根据信息增益准则的特征选择方法：对训练集 ，计算其每个特征的信息增益，并比较大小，选择信息增益最大的特征。

前期定义各个量：

信息增益的算法

输入：训练集 和特征 ；

输出：特征 对训练集 的信息增益

回看刚才的例子，

解 ：

这一次我很无聊的想用一下.csv文件类型。

所以训练数据集部分如下，我存在一个loan.csv文件里了。对.csv文件的各种处理一般由python的pandas模块完成。

第一步，导入相关模块

第二步，读入数据

若是使用jupyter，可以即刻查看一下数据，和数据标签。

可以看出，除了'ID'之外前4个标签 'age', 'work', 'own house', 'Credit conditions'为我们一直在说的特征 ，而最后一个标签'label'是我们所说的类 ，所以要处理一下这些标签，

第三步，计算训练集 的熵 ：

这里会用到pandas的一个统计数据的功能， groupby(by = [列]).groups ，将数据统计成字典的形式，这么说比较抽象，看下图，将我们用pandas读入的data，分为2类， ， Index 表示索引，即第0，1，4，5，6，14（python计数从0开始）个数据的 ，第2，3，7，8，9，10，11，12，13个数据的 .

那么计算训练集 的熵

第四步，计算特征 对数据集 的条件熵

第五步 ，计算信息增益

输入：训练集 和特征 和阈值 ；

输出：决策树

(1) 中所有实例都属于同一类 ，则 为单结点树，并将类 作为该结点的类标记，返回 ；

(2) 若 ，则 为单结点树，并将 中实例数最大的类 作为该结点的类标记，返回 ；

(3)否则，按照上述信息增益的算法，计算 中各个特征对 的信息增益，选择信息增益最大的特征 ；

(4)如果特征 的信息增益小于阈值 ，将置 为单结点树，并将 中实例数最大的类 作为该结点的类标记，返回 ；

(5)否则，对 的每一个可能值 ，依 将 分割为若干非空子集 ，将 中实例数最大的类 作为该结点的类标记，构建子结点，由结点及其子结点构成树 ，返回 ；

(6)对第 个子结点，以 为训练集，以 为特征集，递归的调用步骤(1)~步骤(5)，得到子树 ，返回 。

对上述表的训练集数据，利用ID3算法建立决策树。

解 ：

第一次迭代 ：

【特征：有自己的房子】将数据集 划分为2个子集 （有自己的房子）和 （没有自己的房子），观察一下 和 ：

：

由于 所有实例都属于同一类 ，所以它是一个叶结点，结点的类标记为“是”。

：

对于 则需从特征 中选择新的特征。

第二次迭代 ：

将 看作新的数据集 。【特征：有工作】有2个可能值，划分为2个子集 （有工作）和 （没有工作），观察一下 和 ：

：

由于 所有实例都属于同一类 ，所以它是一个叶结点，结点的类标记为“是”。

：

决策树方法的基本思想是什么

决策树的基本思想

决蔽茄策树算法是最早的机器学习算法之一。

算法框架

1.决策树主函数

各种决策树的主函数都大同小异，本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点，并根据终止条件结束算法。一般来讲，主函数需要完成如下几个功能。

（1）输入需要分类的数据集和类别标签

（2）根据某种分类规则得到最优的划分特征，并创建特征的划分节点--计算最优特征子函数

（3）按照该特征的每个取值划分数据集为若干部分--划分数据集子函数

（4）根据划分子函数的计算结果构建出新的节点，作为树生长出的新分支

（5）检验是否符合递归的终止盯乎条件

（6）将划分的新节点包含的数据集和类别标签作为输入，递归执行上述步骤。

2.计算最优特征子函数

计算最优特征子函数是除主函数外最重要的函数。每种决策树之所以不同，一般都是因为最优特征选择的标准上有所差异，不同的标准导致不同类型的决策树。如：ID3的最优特征选择标准是信息增益、C4.5是信息增益率、CART是节点方差的大小等。

在算法逻辑上，一般选择最优特征凯并悉需要遍历整个数据集，评估每个特征，找到最优的那一个特征返回。

3.划分数据集函数

划分数据集函数的主要功能是分隔数据集，有的需要删除某个特征轴所在的数据列，返回剩余的数据集；有的干脆将数据集一分为二。

4.分类器

所有的机器学习算法都要勇于分类或回归预测。决策树的分类器就是通过遍历整个决策树，使测试集数据找到决策树中叶子节点对应的类别标签。这个标签就是返回的结果。

关于决策树方法和决策树方法通常用于关联规则挖掘的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。