pattern recognition and machine learning讀書筆記1

M.jordan的大作，這學期讨論班要用這本書，最近開始拜讀。花了兩天時間，大體把第一張看完了，雖然都是些數學的基礎東西，但是由于差勁的英語和數學，也是看起來比較頭大。下面小總結一下，一些沒搞明白的東東留着讨論班上讨論下。

第一章上來介紹了了模式識别的印象性概念，讀者讀了後會對模式識别與機器學習有一個簡單的認識。然後1.1節開始介紹一個用曲線拟合問題，其實這就是個回歸問題。主要講的是用多項式曲線去拟合正弦曲線。最先的方法是最小化損失，盡力的去拟合每個點。在書裡的圖裡可以看到，使用9次的多項式曲線拟合時候，可以是損失為0，但是曲線出現太多的震蕩，雖然對這幾個點拟合的比較好，但是對曲線整體拟合的很差。這樣就引出了過學習（over-fitting）的概念。

然後的方法是對損失函數引入一個拉姆達來控制多項式曲線的參數大小，這樣可以有效的控制過拟合現象，從書中的圖中可以看到對于M=9，使用ln拉姆達=-18的時候，有效的避免了過拟合問題。

1.2節開始介紹機率論知識在prml上的應用，這就引出了經典的貝葉斯理論，簡單說來就是通過先驗機率與後驗機率的關系來進行事件的預測。然後介紹的知識是高斯分布和最大思然方法（ML），然後使用ML方法來解決曲線拟合問題，這節最後的知識是使用貝葉斯理論來解決曲線拟合問題，沒太看明白這裡，留着讨論讨論。

1.3節說了下模型選擇，主要介紹了下訓練模型，提到了交叉驗證和BIC AIC。

1.4節的名字是curse of dimensionality。主要讨論了資料維數的問題，這個問題實在太大，這一節的内容也有限，是以講的不深入，主要是提了一下（個人了解）

1.5節介紹了決策論（Decision Theory）

1.51 分類誤差率最下，那個圖沒整明白，回頭補上。

1.52 最小化期望誤差

這裡提到了一個損失矩陣，不同的誤差帶來不同的損失。例如癌症如果這個人沒得，但是識别為得了，那麼損失無非就是多做些檢查或者治療。但是如果這個人得了癌症，但是判斷為沒得，那麼這個誤差帶來的損失就大了，這個人可能會過早的死去。是以對于不同的誤差應該帶來不同的損失。

1.5.3 拒絕選擇，對于一些機率小于一個門檻值的情況，拒絕對該情況進行預測。

1.5.4 推理和決策 又見貝葉斯。由此可見貝葉斯理論的經典，以及坐着對于該理論的推崇。

1.5.5 回歸問題的損失函數（留着）

1.6節簡單的介紹了資訊論的一些知識，這個留着單獨做一節吧。好的筆記先做到這，回頭補上木有看明白的。

轉載于:https://www.cnblogs.com/macula7/archive/2009/08/21/1960618.html