在前面我們講到了深度學習的兩類神經網絡模型的原理，第一類是前向的神經網絡，即DNN和CNN。第二類是有反饋的神經網絡，即RNN和LSTM。今天我們就總結下深度學習裡的第三類神經網絡模型：玻爾茲曼機。主要關注於這類模型中的受限玻爾茲曼機（Restricted Boltzmann Machine，以下簡稱RBM）， RBM模型及其推廣在工業界比如推薦系統中得到了廣泛的應用。

玻爾茲曼機是一大類的神經網絡模型，但是在實際應用中使用最多的則是RBM。RBM本身模型很簡單，只是一個兩層的神經網絡，因此嚴格意義上不能算深度學習的範疇。不過深度玻爾茲曼機（Deep Boltzmann Machine，以下簡稱DBM）可以看做是RBM的推廣。理解了RBM再去研究DBM就不難了，因此本文主要關注於RBM。

RBM 只有兩層神經元，一層叫做顯層 (visible layer)，由顯元 (visible units) 組成，用於輸入訓練數據。另一層叫做隱層 (Hidden layer)，相應地，由隱元 (hidden units) 組成，用作特徵檢測器 (feature detectors)。

深度信念網絡 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出, DBN 的組成元件是受限玻爾茲曼機 (RBM)。訓練 DBN 的過程是一層一層地進行的。在每一層中，用數據向量來推斷隱層，再把這一隱層當作下一層 (高一層) 的數據向量。DBN可以看做是一個大的類型，缺點是只能是一維的數據。