先了解一些機率論知識
1.熵
熵在實體和資訊論中都是一個重要的概念，是用來衡量一個分布的無序程度，熵的定義是：
熵和平均編碼長度，熵代表着根據資訊的機率分布對資訊編碼所需要的最短平均編碼長度，
2.最大似然估計
似然函數是
比較直覺的了解就是給定了觀測到的資料，和分布的形式，把分布的參數作為輸入，得到在該組參數下觀測到的資料x在該分布下的機率，根據似然函數的描述，有一個很自然的問題，就是如果給定觀測的資料和分布，然後才能找到一組參數，讓分布的資料最大程度地吻和，最大似然估計就是解決這個問題。
3.KL散度
他的定義是：
把他展開就是：
熵是代表資訊量的，而H§則是代表基于P分布自身的編碼程度，也就是最優的編碼程度，而H(P,Q)則代表用P的分布去Q分布的資訊，自然需要更多的編碼長度，并且兩個分布差異越大，需要編碼的長度也越大，是以兩個值想減是大于等于0的一個值，代表備援的編碼長度，也就是兩個分布差異的程度。
4.KL散度和MLE的聯系
KL散度表示的是兩個分布的差異，是以最小化KL散度是等效于MLE的，他的展開式是：
是以看到，第一項除了前面的系數-1/n和後面的一項H§，其實就是對數似然函數，這樣最小化KL散度和MLE就建立了聯系。
4.次元的詛咒
他的意思就是，在高維的世界裡，有許多低維空間中順理成章的事情不再成立，并且由于很難形象理由，這些高次元中的變換往往是讓人感到非常頭痛的，這就是次元的詛咒。
4.1采樣和次元
使用蒙特卡洛方法來實作在高次元下采樣和求解積分，先用蒙特卡洛生成和機關圓外切的正方形中的樣本，再判斷到原點的距離保留下在圓内部的樣本。
4.2 中心極限定理和高維樣本距離分布的近似
因為随着次元的增加，在超球體内部的樣本到中心距離的分布是呈現指數上升趨勢的，也就是在原點附近的樣本數量是急速下降的，可以了解為，在高維空間中的超立方體中的均勻采樣，每個點到原點的距離都是差不多的。
5.PCA——什麼是主成分
使用了Principal Component Analysis 也就是主成分分析。他也可以通過本征向量和本證值去求主成分以及通過主成分分析降維，最後是歸一化和相關性系數。
1.PCA是線性降維手段中非常經典的一種，為引入非線性，人們想出了在求協方差之前先做一次非線性變換，在求協方差矩陣的辦法。
2.PCA是一種基于資料本身的分布進行降維的手段，算是無監督的，如果已經知道了資料的類别，一個思路就是讓原始資料經過投影之後，在低維空間上不同類别的分布中心盡可能遠離。
6.卷積
首先由點積和卷積兩種形式
上面就是三組不同的向量求點積的結果。從直覺上來看，是形狀越是相似的兩個向量，點積得到的值傾向越大。
6.1一維卷積
對于離散信号的定義是：
在卷積核展開之後，每次位置移動就相當于所有元素向右移動了一個位置，因為第二次已經移動到了矩陣的右邊緣，是以下一個位置核換行了，這種矩陣的原型是一種叫托普利茲矩陣，也就是矩陣對角線，以及對角線平行的元素都相等的矩陣，總之就是把卷積核移動位置通過矩陣每一行元素位置的移動來實作。