#!/usr/bin/env python
# coding: utf-8
from numpy import *
def loadSimpData():
""" 測試資料
Returns:
dataArr feature對應的資料集
labelArr feature對應的分類标簽
"""
dataArr = array([[1., 2.1], [2., 1.1], [1.3, 1.], [1., 1.], [2., 1.]])
labelArr = [1.0, 1.0, -1.0, -1.0, 1.0]
return dataArr, labelArr
def stumpClassify(dataMat, dimen, threshVal, threshIneq):
"""stumpClassify(将資料集,按照feature列的value進行 二分法切分比較來指派分類)
Args:
dataMat Matrix資料集
dimen 特征列
threshVal 特征列要比較的值
Returns:
retArray 結果集
"""
# 預設都是1
retArray = ones((shape(dataMat)[0], 1))
# dataMat[:, dimen] 表示資料集中第dimen列的所有值
# threshIneq == 'lt'表示修改左邊的值,gt表示修改右邊的值
# print '-----', threshIneq, dataMat[:, dimen], threshVal
if threshIneq == 'lt':
retArray[dataMat[:, dimen] <= threshVal] = -1.0
else:
retArray[dataMat[:, dimen] > threshVal] = -1.0
return retArray
def buildStump(dataArr, labelArr, D):
"""buildStump(得到決策樹的模型)
Args:
dataArr 特征标簽集合
labelArr 分類标簽集合
D 最初的樣本的所有特征權重集合
Returns:
bestStump 最優的分類器模型
minError 錯誤率
bestClasEst 訓練後的結果集
"""
# 轉換資料
dataMat = mat(dataArr)
labelMat = mat(labelArr).T
# m行 n列
m, n = shape(dataMat)
# 初始化資料
numSteps = 10.0
bestStump = {}
bestClasEst = mat(zeros((m, 1)))
# 初始化的最小誤差為無窮大
minError = inf
# 循環所有的feature列,将列切分成 若幹份,每一段以最左邊的點作為分類節點
for i in range(n):
rangeMin = dataMat[:, i].min()
rangeMax = dataMat[:, i].max()
# print 'rangeMin=%s, rangeMax=%s' % (rangeMin, rangeMax)
# 計算每一份的元素個數
stepSize = (rangeMax - rangeMin) / numSteps
# 例如: 4=(10-1)/2 那麼 1-4(-1次) 1(0次) 1+1*4(1次) 1+2*4(2次)
# 是以: 循環 -1/0/1/2
for j in range(-1, int(numSteps) + 1):
# go over less than and greater than
for inequal in ['lt', 'gt']:
# 如果是-1,那麼得到rangeMin-stepSize; 如果是numSteps,那麼得到rangeMax
threshVal = (rangeMin + float(j) * stepSize)
# 對單層決策樹進行簡單分類,得到預測的分類值
predictedVals = stumpClassify(dataMat, i, threshVal, inequal)
# print predictedVals
errArr = mat(ones((m, 1)))
# 正确為0,錯誤為1
errArr[predictedVals == labelMat] = 0
# 計算 平均每個特征的機率0.2*錯誤機率的總和為多少,就知道錯誤率多高
# 例如: 一個都沒錯,那麼錯誤率= 0.2*0=0 , 5個都錯,那麼錯誤率= 0.2*5=1, 隻錯3個,那麼錯誤率= 0.2*3=0.6
weightedError = D.T * errArr
'''
dim 表示 feature列
threshVal 表示樹的分界值
inequal 表示計算樹左右颠倒的錯誤率的情況
weightedError 表示整體結果的錯誤率
bestClasEst 預測的最優結果
'''
# print("split: dim %d, thresh %.2f, thresh ineqal: %s, the weighted error is %.3f" % (i, threshVal, inequal, weightedError))
if weightedError < minError:
minError = weightedError
bestClasEst = predictedVals.copy()
bestStump['dim'] = i
bestStump['thresh'] = threshVal
bestStump['ineq'] = inequal
# bestStump 表示分類器的結果,在第幾個列上,用大于/小于比較,門檻值是多少
return bestStump, minError, bestClasEst
def adaBoostTrainDS(dataArr, labelArr, numIt=40):
"""adaBoostTrainDS(adaBoost訓練過程放大)
Args:
dataArr 特征标簽集合
labelArr 分類标簽集合
numIt 疊代次數(使用者指定)
Returns:
weakClassArr 弱分類器的集合
aggClassEst 預測的分類結果值
"""
weakClassArr = []
m = shape(dataArr)[0]
# 初始化 D,設定每行資料的樣本的所有特征權重集合,平均分為m份
D = mat(ones((m, 1)) / m)
aggClassEst = mat(zeros((m, 1)))
for i in range(numIt):
# 得到決策樹的模型
bestStump, error, classEst = buildStump(dataArr, labelArr, D)
# alpha 目的主要是計算每一個分類器執行個體的權重(加和就是分類結果)
# 計算每個分類器的 alpha 權重值
alpha = float(0.5 * log((1.0 - error) / max(error, 1e-16))) # 防止錯誤率為0時溢出
bestStump['alpha'] = alpha
# store Stump Params in Array
weakClassArr.append(bestStump)
# print "alpha=%s, classEst=%s, bestStump=%s, error=%s " % (alpha, classEst.T, bestStump, error)
# 分類正确:乘積為1,不會影響結果,-1主要是下面求e的-alpha次方
# 分類錯誤:乘積為 -1,結果會受影響,是以也乘以 -1
expon = multiply(-1 * alpha * mat(labelArr).T, classEst)
# print '\n'
# print 'labelArr=', labelArr
# print 'classEst=', classEst.T
# print '\n'
# print '乘積: ', multiply(mat(labelArr).T, classEst).T
# 判斷正确的,就乘以-1,否則就乘以1, 為什麼? 書上的公式。
# print '(-1取反)預測值expon=', expon.T
# 計算e的expon次方,然後計算得到一個綜合的機率的值
# 結果發現: 判斷錯誤的樣本,D對于的樣本權重值會變大。
D = multiply(D, exp(expon))
D = D / D.sum()
# print("D: ", D.T)
# print '\n'
# 預測的分類結果值,在上一輪結果的基礎上,進行加和操作
# print('目前的分類結果:', alpha * classEst.T)
aggClassEst += alpha * classEst
# print("疊加後的分類結果aggClassEst: ", aggClassEst.T)
# sign 判斷正為1, 0為0, 負為-1,通過最終加和的權重值,判斷符号。
# 結果為:錯誤的樣本标簽集合,因為是 !=,那麼結果就是0 正, 1 負
aggErrors = multiply(sign(aggClassEst) != mat(labelArr).T, ones((m, 1)))
errorRate = aggErrors.sum() / m
print("total error=%s " % (errorRate))
if errorRate == 0.0:
break
return weakClassArr, aggClassEst
def adaClassify(datToClass, classifierArr):
# do stuff similar to last aggClassEst in adaBoostTrainDS
dataMat = mat(datToClass)
m = shape(dataMat)[0]
aggClassEst = mat(zeros((m, 1)))
# 循環 多個分類器
for i in range(len(classifierArr)):
# 前提: 我們已經知道了最佳的分類器的執行個體
# 通過分類器來核算每一次的分類結果,然後通過alpha*每一次的結果 得到最後的權重加和的值。
classEst = stumpClassify(dataMat, classifierArr[i]['dim'], classifierArr[i]['thresh'], classifierArr[i]['ineq'])
aggClassEst += classifierArr[i]['alpha'] * classEst
# print aggClassEst
return sign(aggClassEst)
# general function to parse tab -delimited floats
def loadDataSet(fileName):
# get number of fields
numFeat = len(open(fileName).readline().split('\t'))
dataArr = []
labelArr = []
fr = open(fileName)
for line in fr.readlines():
lineArr = []
curLine = line.strip().split('\t')
for i in range(numFeat - 1):
lineArr.append(float(curLine[i]))
dataArr.append(lineArr)
labelArr.append(float(curLine[-1]))
return dataArr, labelArr
def plotROC(predStrengths, classLabels):
"""plotROC(列印ROC曲線,并計算AUC的面積大小)
Args:
predStrengths 最終預測結果的權重值
classLabels 原始資料的分類結果集
"""
# print('predStrengths=', predStrengths)
# print('classLabels=', classLabels)
import matplotlib.pyplot as plt
# variable to calculate AUC
ySum = 0.0
# 對正樣本的進行求和
numPosClas = sum(array(classLabels) == 1.0)
# 正樣本的機率
yStep = 1 / float(numPosClas)
# 負樣本的機率
xStep = 1 / float(len(classLabels) - numPosClas)
# argsort函數傳回的是數組值從小到大的索引值
# get sorted index, it's reverse
sortedIndicies = predStrengths.argsort()
# 測試結果是否是從小到大排列
# print('sortedIndicies=', sortedIndicies, predStrengths[0, 176], predStrengths.min(), predStrengths[0, 293],
# predStrengths.max())
# 開始建立模版對象
fig = plt.figure()
fig.clf()
ax = plt.subplot(111)
# cursor光标值
cur = (1.0, 1.0)
# loop through all the values, drawing a line segment at each point
for index in sortedIndicies.tolist()[0]:
if classLabels[index] == 1.0:
delX = 0
delY = yStep
else:
delX = xStep
delY = 0
ySum += cur[1]
# draw line from cur to (cur[0]-delX, cur[1]-delY)
# 畫點連線 (x1, x2, y1, y2)
# print(cur[0], cur[0] - delX, cur[1], cur[1] - delY)
ax.plot([cur[0], cur[0] - delX], [cur[1], cur[1] - delY], c='b')
cur = (cur[0] - delX, cur[1] - delY)
# 畫對角的虛線線
ax.plot([0, 1], [0, 1], 'b--')
plt.xlabel('False positive rate')
plt.ylabel('True positive rate')
plt.title('ROC curve for AdaBoost horse colic detection system')
# 設定畫圖的範圍區間 (x1, x2, y1, y2)
ax.axis([0, 1, 0, 1])
plt.show()
'''
參考說明:http://blog.csdn.net/wenyusuran/article/details/39056013
為了計算 AUC ,我們需要對多個小矩形的面積進行累加。
這些小矩形的寬度是xStep,是以可以先對所有矩形的高度進行累加,最後再乘以xStep得到其總面積。
所有高度的和(ySum)随着x軸的每次移動而漸次增加。
'''
print("the Area Under the Curve is: ", ySum * xStep)
if __name__ == "__main__":
# # 我們要将5個點進行分類
# dataArr, labelArr = loadSimpData()
# print 'dataArr', dataArr, 'labelArr', labelArr
# # D表示最初值,對1進行均分為5份,平均每一個初始的機率都為0.2
# # D的目的是為了計算錯誤機率: weightedError = D.T*errArr
# D = mat(ones((5, 1))/5)
# print 'D=', D.T
# # bestStump, minError, bestClasEst = buildStump(dataArr, labelArr, D)
# # print 'bestStump=', bestStump
# # print 'minError=', minError
# # print 'bestClasEst=', bestClasEst.T
# # 分類器:weakClassArr
# # 曆史累計的分類結果集
# weakClassArr, aggClassEst = adaBoostTrainDS(dataArr, labelArr, 9)
# print '\nweakClassArr=', weakClassArr, '\naggClassEst=', aggClassEst.T
# """
# 發現:
# 分類的權重值:最大的值,為alpha的加和,最小值為-最大值
# 特征的權重值:如果一個值誤判的幾率越小,那麼D的特征權重越少
# """
# # 測試資料的分類結果, 觀測:aggClassEst分類的最終權重
# print adaClassify([0, 0], weakClassArr).T
# print adaClassify([[5, 5], [0, 0]], weakClassArr).T
# 馬疝病資料集
# 訓練集合
dataArr, labelArr = loadDataSet("data/horseColicTraining2.txt")
weakClassArr, aggClassEst = adaBoostTrainDS(dataArr, labelArr, 40)
print(weakClassArr, '\n-----\n', aggClassEst.T)
# 計算ROC下面的AUC的面積大小
plotROC(aggClassEst.T, labelArr)
# 測試集合
dataArrTest, labelArrTest = loadDataSet("data/horseColicTest2.txt")
m = shape(dataArrTest)[0]
predicting10 = adaClassify(dataArrTest, weakClassArr)
errArr = mat(ones((m, 1)))
# 測試:計算總樣本數,錯誤樣本數,錯誤率
print(m, errArr[predicting10 != mat(labelArrTest).T].sum(), errArr[predicting10 != mat(labelArrTest).T].sum()/m)