先驗機率、後驗機率、最大似然估計

先驗機率和後驗機率

      用P(h)表示在沒有訓練資料前假設h擁有的初始機率。P(h)被稱為h的先驗機率，是指根據以往經驗和分析得到的h的機率。類似地，P(X)表示訓練資料X的先驗機率，P(X|h)表示假設h成立時X的機率。機器學習中，我們關心的是P(h|X)，即給定資料X時h的成立的機率，稱為h的後驗機率。

MAP與MLE最大差別是MAP中加入了模型參數本身的機率分布(貝葉斯學派)，或者說。MLE中認為模型參數本身的機率的是均勻的，即該機率為一個固定值(頻率學派)。