概述
上一篇讲述了《机器学习 | 算法笔记(三)- 支持向量机算法以及代码实现》，本篇讲述机器学习算法决策树，内容包括模型介绍及代码实现。
决策树
决策树(Decision Tree)在机器学习中也是比较常见的一种算法，属于监督学习中的一种。看字面意思应该也比较容易理解，相比其他算法比如支持向量机(SVM)或神经网络，似乎决策树感觉“亲切”许多。
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失值不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配的问题。
使用数据类型：数值型和标称型。
划分数据集的大原则是：将无序的数据变得更加有序。
我们可以使用多种方法划分数据集，但是每种方法都有各自的优缺点。于是我们这么想，如果我们能测量数据的复杂度，对比按不同特征分类后的数据复杂度，若按某一特征分类后复杂度减少的更多，那么这个特征即为最佳分类特征。
下面，我们就对以下表格中的西瓜样本构建决策树模型。
Claude Shannon 定义了熵(entropy)和信息增益(information gain)。
用熵来表示信息的复杂度，熵越大，则信息越复杂。
信息熵(information entropy)
样本集合D中第k类样本所占的比例(k=1,2,...,|Y|)，|Y|为样本分类的个数，则D的信息熵为：
Ent(D)的值越小，则D的纯度越高。直观理解一下：假设样本集合有2个分类，每类样本的比例为1/2，Ent(D)=1；只有一个分类，Ent(D)= 0，显然后者比前者的纯度高。
在西瓜样本集中，共有17个样本，其中正样本8个，负样本9个，样本集的信息熵为：
信息增益(information gain)
使用属性a对样本集D进行划分所获得的“信息增益”的计算方法是，用样本集的总信息熵减去属性a的每个分支的信息熵与权重(该分支的样本数除以总样本数)的乘积，通常，信息增益越大，意味着用属性a进行划分所获得的“纯度提升”越大。因此，优先选择信息增益最大的属性来划分。
同理也可以计算出其他几个属性的信息增益，选择信息增益最大的属性作为根节点来进行划分，然后再对每个分支做进一步划分。
用python构造决策树基本流程
决策树学习基本算法
ID3算法与决策树的流程
(1)数据准备：需要对数值型数据进行离散化
(2)ID3算法构建决策树：
- 如果数据集类别完全相同，则停止划分
-
否则，继续划分决策树：
计算信息熵和信息增益来选择最好的数据集划分方法；划分数据集创建分支节点：对每个分支进行判定是否类别相同，如果相同停止划分，不同按照上述方法进行划分。
通常一棵决策树包含一个根节点、若干个分支节点和若干个叶子节点，叶子节点对应决策结果(如好瓜或坏瓜)，根节点和分支节点对应一个属性测试(如色泽=？)，每个结点包含的样本集合根据属性测试的结果划分到子节点中。
我们对整个训练集选择的最优划分属性就是根节点，第一次划分后，数据被向下传递到树分支的下一个节点，再这个节点我们可以再次划分数据，构建决策树是一个递归的过程，而递归结束的条件是：所有属性都被遍历完，或者每个分支下的所有样本都属于同一类。
还有一种情况就是当划分到一个节点，该节点对应的属性取值都相同，而样本的类别却不同，这时就把当前节点标记为叶节点，并将其类别设为所含样本较多的类别。例如：当划分到某一分支时，节点中有3个样本，其最优划分属性为色泽，而色泽的取值只有一个“浅白”，3个样本中有2个好瓜，这时我们就把这个节点标记为叶节点“好瓜”。
代码实现
数据集：https://download.csdn.net/download/li1873997/12671852
trees.py
from math import logimport operator # 此行加在文件顶部# 通过排序返回出现次数最多的类别def majorityCnt(classList): classCount = {} for vote in classList: if vote not in classCount.keys(): classCount[vote] = 0 classCount[vote] += 1 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]# 递归构建决策树def createTree(dataSet, labels): classList = [example[-1] for example in dataSet] # 类别向量 if classList.count(classList[0]) == len(classList): # 如果只有一个类别，返回 return classList[0] if len(dataSet[0]) == 1: # 如果所有特征都被遍历完了，返回出现次数最多的类别 return majorityCnt(classList) bestFeat = chooseBestFeatureToSplit(dataSet) # 最优划分属性的索引 bestFeatLabel = labels[bestFeat] # 最优划分属性的标签 myTree = {bestFeatLabel: {}} del (labels[bestFeat]) # 已经选择的特征不再参与分类 featValues = [example[bestFeat] for example in dataSet] uniqueValue = set(featValues) # 该属性所有可能取值，也就是节点的分支 for value in uniqueValue: # 对每个分支，递归构建树 subLabels = labels[:] myTree[bestFeatLabel][value] = createTree( splitDataSet(dataSet, bestFeat, value), subLabels) return myTree# 计算信息熵def calcShannonEnt(dataSet): numEntries = len(dataSet) # 样本数 labelCounts = {} for featVec in dataSet: # 遍历每个样本 currentLabel = featVec[-1] # 当前样本的类别 if currentLabel not in labelCounts.keys(): # 生成类别字典 labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 shannonEnt = 0.0 for key in labelCounts: # 计算信息熵 prob = float(labelCounts[key]) / numEntries shannonEnt = shannonEnt - prob * log(prob, 2) return shannonEnt# 划分数据集，axis:按第几个属性划分，value:要返回的子集对应的属性值def splitDataSet(dataSet, axis, value): retDataSet = [] featVec = [] for featVec in dataSet: if featVec[axis] == value: reducedFeatVec = featVec[:axis] reducedFeatVec.extend(featVec[axis + 1:]) retDataSet.append(reducedFeatVec) return retDataSet# 选择最好的数据集划分方式def chooseBestFeatureToSplit(dataSet): numFeatures = len(dataSet[0]) - 1 # 属性的个数 baseEntropy = calcShannonEnt(dataSet) bestInfoGain = 0.0 bestFeature = -1 for i in range(numFeatures): # 对每个属性技术信息增益 featList = [example[i] for example in dataSet] uniqueVals = set(featList) # 该属性的取值集合 newEntropy = 0.0 for value in uniqueVals: # 对每一种取值计算信息增益 subDataSet = splitDataSet(dataSet, i, value) prob = len(subDataSet) / float(len(dataSet)) newEntropy += prob * calcShannonEnt(subDataSet) infoGain = baseEntropy - newEntropy if (infoGain > bestInfoGain): # 选择信息增益最大的属性 bestInfoGain = infoGain bestFeature = i return bestFeature# 计算信息熵def calcShannonEnt(dataSet): numEntries = len(dataSet) # 样本数 labelCounts = {} for featVec in dataSet: # 遍历每个样本 currentLabel = featVec[-1] # 当前样本的类别 if currentLabel not in labelCounts.keys(): # 生成类别字典 labelCounts[currentLabel] = 0 labelCounts[currentLabel] += 1 shannonEnt = 0.0 for key in labelCounts: # 计算信息熵 prob = float(labelCounts[key]) / numEntries shannonEnt = shannonEnt - prob * log(prob, 2) return shannonEnt# 划分数据集，axis:按第几个属性划分，value:要返回的子集对应的属性值def splitDataSet(dataSet, axis, value): retDataSet = [] featVec = [] for featVec in dataSet: if featVec[axis] == value: reducedFeatVec = featVec[:axis] reducedFeatVec.extend(featVec[axis + 1:]) retDataSet.append(reducedFeatVec) return retDataSet# 选择最好的数据集划分方式def chooseBestFeatureToSplit(dataSet): numFeatures = len(dataSet[0]) - 1 # 属性的个数 baseEntropy = calcShannonEnt(dataSet) bestInfoGain = 0.0 bestFeature = -1 for i in range(numFeatures): # 对每个属性技术信息增益 featList = [example[i] for example in dataSet] uniqueVals = set(featList) # 该属性的取值集合 newEntropy = 0.0 for value in uniqueVals: # 对每一种取值计算信息增益 subDataSet = splitDataSet(dataSet, i, value) prob = len(subDataSet) / float(len(dataSet)) newEntropy += prob * calcShannonEnt(subDataSet) infoGain = baseEntropy - newEntropy if (infoGain > bestInfoGain): # 选择信息增益最大的属性 bestInfoGain = infoGain bestFeature = i return bestFeature
下面使用西瓜样本集，测试一下算法，创建一个WaterMalonTree.py文件。因为生成的树是中文表示的，因此使用json.dumps()方法来打印结果。如果是不含中文，直接print即可。
# -*- coding: cp936 -*-import treesimport json fr = open(r'C:Python27pyDecisionTreewatermalon.txt') listWm = [inst.strip().split('') for inst in fr.readlines()]labels = ['色泽', '根蒂', '敲声', '纹理', '脐部', '触感']Trees = trees.createTree(listWm, labels) print json.dumps(Trees, encoding="cp936", ensure_ascii=False)
运行该文件，打印出西瓜的决策树，它是一个字典：
{"纹理": {"模糊": "否", "清晰": {"根蒂": {"稍蜷": {"色泽": {"乌黑": {"触感": {"软粘": "否", "硬滑": "是"}}, "青绿": "是"}}, "蜷缩": "是", "硬挺": "否"}}, "稍糊": {"触感": {"软粘": "是", "硬滑": "否"}}}}
总结
决策树是一种基于树结构来进行决策的分类算法，我们希望从给定的训练数据集学得一个模型(即决策树)，用该模型对新样本分类。决策树可以非常直观展现分类的过程和结果，一旦模型构建成功，对新样本的分类效率也相当高。
最经典的决策树算法有ID3、C4.5、CART，其中ID3算法是最早被提出的，它可以处理离散属性样本的分类，C4.5和CART算法则可以处理更加复杂的分类问题，本文重点介绍ID3算法。下一篇介绍通过《 数据可视化-Python实现Matplotlib绘制决策树》。