在90年代，一些研究人員提出一種機率解釋的神經網絡模型，在該模型中，提供了适當的貝葉斯方法。然而，學習這些模型的參數是困難的，直到深度學習研究的新進展導緻了用于這種機率方法能更有效的學習參數。
學習的目标是找到上述分布的參數。這種學習被稱為“推理”，貝葉斯網絡中的推論對應于計算潛在變量相對于資料的條件機率。這類模型引入了變分逼近推理方法後，将該計算問題轉換為優化問題，可以使用随機梯度下降法來解決。
在貝葉斯網絡中，網絡可以基于分布參數重新參數化。在變分自動編碼器中，僅在隐藏節點上假設這些分布。是以，編碼器變成一個變分推理網絡，而且譯碼器變成一個将隐藏代碼映射回資料分布的生成網絡。
在經典版的神經網絡中，可以用均方誤差（mse）簡單測量網絡輸出與期望的目标值之間的誤差。但在處理分布時，mse不再是一個好的誤差度量，是以用kl散度測量兩個分布之間的差異。事實證明變分近似和真實後驗分布之間的距離不是很容易被最小化。它包括兩個主要部分。是以，可以最大化較小的項（elbo）。從自動編碼器的角度來看，elbo函數可以看作是輸入的重建代價與正則化項的和
在最大化elbo之後，資料的下限接近資料分布，則距離接近零，間接地最小化了誤差距離。最大化下界的算法與梯度下降的完全相反。沿着梯度的正方向達到最大值，這整個算法被稱為“自動編碼變分貝葉斯”。
下面是一個僞代碼，可以看到vae的架構：
文章原标題《an intuitive understanding of variational autoencoders without any formula》，作者：hamidreza saghir ，譯者：海棠
翻譯者： 海棠
wechat：269970760
<a href="https://weibo.com/u/3910993635/" target="_blank">weibo：uncle_lld </a>
email:[email protected]
微信公衆号：ai科技時訊