機器學習從入門到精通——貝葉斯算法及樸素貝葉斯原理推導實作

貝葉斯算法及樸素貝葉斯

• ​​貝葉斯算法及樸素貝葉斯​​

• ​​樸素貝葉斯​​

• ​​原理​​
• ​​算法推導​​

• ​​條件獨立假設​​

• ​​參數估計​​

• ​​極大似然估計​​
• ​​貝葉斯估計​​

• ​​貝葉斯算法實作​​

• ​​準備資料​​
• ​​GaussianNB 高斯樸素貝葉斯​​
• ​​極大似然估計的一般步驟​​

貝葉斯算法及樸素貝葉斯

樸素貝葉斯

原理

樸素貝葉斯法是典型的生成學習方法。生成方法由訓練資料學習聯合機率分布 𝑃(𝑋,𝑌) ，然後求得後驗機率分布 𝑃(𝑌|𝑋) 。具體來說，利用訓練資料學習 𝑃(𝑋|𝑌) 和 𝑃(𝑌) 的估計，得到聯合機率分布：

機率估計方法可以是極大似然估計或貝葉斯估計。

樸素貝葉斯法的基本假設是條件獨立性，

這是一個較強的假設。由于這一假設，模型包含的條件機率的數量大為減少，樸素貝葉斯法的學習與預測大為簡化。因而樸素貝葉斯法高效，且易于實作。其缺點是分類的性能不一定很高。

樸素貝葉斯法利用貝葉斯定理與學到的聯合機率模型進行分類預測。

将輸入分到後驗機率最大的類。

後驗機率最大等價于0-1損失函數時的期望風險最小化。

模型：

• 高斯模型
• 多項式模型
• 伯努利模型

算法推導

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法.

• 貝葉斯定理
• 特征條件獨立假設

條件獨立假設

求，其中，條件獨立假設這裡給定的情況下：

1. 每一個和其他的每個是條件獨立的
2. 每一個和其他的每個的子集是條件獨立的

條件獨立性假設是:

KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ P(X=x|Y=c_k)&=…

上面這個公式可能看起來不是太容易了解獨立在哪裡，這裡引用一下文獻[^2]中關于貝葉斯算法推導中的一部分

紅色部分從上到下基于I.I.D.

條件獨立假設等于是說用于分類的特征在類确定的條件下都是條件獨立的.

參數估計

極大似然估計

為了估計狀态變量的條件分布, 利用貝葉斯法則, 有

其中為給定下的後驗機率(Posterior)， 稱為似然，稱為先驗(Prior)。

• 後驗機率最大化的含義

  樸素貝葉斯法将執行個體分到後驗機率最大的類中， 這等價于期望風險最小化。

• 後驗，觀察到之後，對的信念

貝葉斯估計

對于的某個特征的取值沒有在先驗中出現的情況 ，如果用極大似然估計，這種情況的可能性就是0。

但是出現這種情況的原因通常是因為資料集不能全覆寫樣本空間，出現未知的情況處理的政策就是做平滑。

公式(4.10)對應了出現未知樣本的情況下，該給出一個什麼樣的值才合理的方案。

其中

當的時候，就是極大似然估計。

當的時候，這個平滑方案叫做Laplace Smoothing。拉普拉斯平滑相當于給未知變量給定了先驗機率。

遇到問題找已知例題4-1，：

1. 先驗Prior，通過統計Y的資料分布可以知道

2. 不同和的組合會産生多少參數，可能的取值集合大小為，可能的取值集合大小為，大小為

   參數的數量為，具體的空間的分布是一個的三維矩陣

3. 每個特征的增加，本來應該在原來的的基礎上增加倍的次元，但因為做了特征條件獨立假設，增加的可能性，是base在給定的标簽上的，也就是說實際上增加了個取值
4. 樸素貝葉斯法中假設輸入變量都是條件獨立的，如果假設他們之間存在機率依存關系，模型就變成了貝葉斯網絡。、

貝葉斯算法實作

準備資料

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

from collections import Counter
import math
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['label'] = iris.target
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    data = np.array(df.iloc[:100, :])
    # print(data)
X, y = create_data()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)      

GaussianNB 高斯樸素貝葉斯

特征的可能性被假設為高斯

機率密度函數：

數學期望(mean)：

class NaiveBayes:
    def __init__(self):
        self.model = None

    # 數學期望
    @staticmethod
    def mean(X):
        return sum(X) / float(len(X))

    # 标準差（方差）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X)))

    # 機率密度函數
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x - mean, 2) /
                              (2 * math.pow(stdev, 2))))
        return (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent

    # 處理X_train
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries

    # 分類别求出數學期望和标準差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label: [] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)
        self.model = {
            label: self.summarize(value)
            for label, value in data.items()
        }
        return 'gaussianNB train done!'

    # 計算機率
    def calculate_probabilities(self, input_data):
        # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
        # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1
            for i in range(len(value)):
                mean, stdev = value[i]
                probabilities[label] *= self.gaussian_probability(
                    input_data[i], mean, stdev)
        return probabilities

    # 類别
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(
            self.calculate_probabilities(X_test).items(),
            key=lambda x: x[-1])[-1][0]
        return label

    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:
                right += 1

        return right / float(len(X_test))      

極大似然估計的一般步驟

1. 寫出随機變量的機率分布函數；
2. 寫出似然函數；
3. 對似然函數取對數，得到對數似然函數，并進行化簡；
4. 對參數進行求導，并令導數等于0；
5. 求解似然函數方程，得到參數的值。