深度學習通常又需要哪些數學基礎？深度學習裡的數學到底難在哪裡？通常初學者都會有這些問題，在網絡推薦及書本推薦裡，經常看到會列出一系列數學科目，比如微積分、線性代數、機率論、複變函數、數值計算、優化理論、資訊論等等。這些數學知識有相關性，但實際上按照這樣的知識範圍來學習，學習成本會很久，而且會很枯燥，本章我們通過選舉一些數學基礎裡容易混淆的一些概念做以介紹，幫助大家更好的理清這些易混淆概念之間的關系。
向量和矩陣
1.标量、向量、矩陣、張量之間的聯系
标量（scalar）
一個标量表示一個單獨的數，它不同于線性代數中研究的其他大部分對象（通常是多個數的數組）。我們用斜體表示标量。标量通常被賦予小寫的變量名稱。
向量（vector）
一個向量表示一組有序排列的數。通過次序中的索引，我們可以确定每個單獨的數。通常我們賦予向量粗體的小寫變量名稱，比如xx。向量中的元素可以通過帶腳标的斜體表示。向量X的第一個元素是X1，第二個元素是X2，以此類推。我們也會注明存儲在向量中的元素的類型（實數、虛數等）。
矩陣（matrix）
矩陣是具有相同特征和緯度的對象的集合，表現為一張二維資料表。其意義是一個對象表示為矩陣中的一行，一個特征表示為矩陣中的一列，每個特征都有數值型的取值。通常會賦予矩陣粗體的大寫變量名稱，比如A。
張量（tensor）
在某些情況下，我們會讨論坐标超過兩維的數組。一般地，一個數組中的元素分布在若幹維坐标的規則網格中，我們将其稱之為張量。使用 A 來表示張量“A”。張量A中坐标為(i,j,k)的元素記作A(i,j,k)。
四者之間關系
标量是0階張量，向量是一階張量。舉例：
标量就是知道棍子的長度，但是你不會知道棍子指向哪兒。
向量就是不但知道棍子的長度，還知道棍子指向前面還是後面。
張量就是不但知道棍子的長度，也知道棍子指向前面還是後面，還能知道這棍子又向上/下和左/右偏轉了多少。
2.張量與矩陣的差別
- 從代數角度講， 矩陣它是向量的推廣。向量可以看成一維的“表格”（即分量按照順序排成一排）， 矩陣是二維的“表格”（分量按照縱橫位置排列），那麼n階張量就是所謂的n維的“表格”。 張量的嚴格定義是利用線性映射來描述。
- 從幾何角度講，矩陣是一個真正的幾何量，也就是說，它是一個不随參照系的坐标變換而變化的東西。向量也具有這種特性。
- 張量可以用3×3矩陣形式來表達。
- 表示标量的數和表示向量的三維數組也可分别看作1×1，1×3的矩陣。
3.向量和矩陣的範數歸納
向量的範數：
矩陣範數：
4.如何判斷一個矩陣為正定
判定一個矩陣是否為正定，通常有以下幾個方面：
- 順序主子式全大于0；
- 存在可逆矩陣C使CTC等于該矩陣；
- 正慣性指數等于n；
- 合同于機關矩陣E（即：規範形為E）
- 标準形中主對角元素全為正；
- 特征值全為正；
- 是某基的度量矩陣。
導數和偏導數
1.導數偏導計算
導數定義:
偏導數:
2.導數和偏導數有什麼差別？
導數和偏導沒有本質差別，如果極限存在，都是當自變量的變化量趨于0時，函數值的變化量與自變量變化量比值的極限。
一進制函數，一個y對應一個x，導數隻有一個。
二進制函數，一個z對應一個x和一個y，有兩個導數：一個是z對x的導數，一個是z對y的導數，稱之為偏導。
求偏導時要注意，對一個變量求導，則視另一個變量為常數，隻對改變量求導，進而将偏導的求解轉化成了一進制函數的求導。
特征值和特征向量
1.特征值分解與特征向量
其中，Q是這個矩陣A的特征向量組成的矩陣，∑是一個對角矩陣，每一個對角線元素就是一個特征值，裡面的特征值是由大到小排列的，這些特征值所對應的特征向量就是描述這個矩陣變化方向（從主要的變化到次要的變化排列）。也就是說矩陣A的資訊可以由其特征值和特征向量表示。
2.奇異值與特征值有什麼關系