3．機器學習

谷歌CEO桑達爾·皮查伊在一封致股東信中，把機器學習譽為人工智能和計算的真正未來，可想而知機器學習在人工智能研究領域的重要地位。機器學習的方式包括有監督學習、無監督學習、半監督學習和強化學習。其中的算法有回歸算法（最小二懲罰、LR等）、基于實例的算法（KNN、LVQ等）、正則化方法（LASSO等）、決策樹算法（CART、C4.5、RF等）、貝葉斯方法（樸素貝葉斯、BBN等）、基于核的算法（SVM、LDA等）、聚類算法（K-Means、DBSCAN、EM等）、關聯規則（Apriori、FP-Growth）、遺傳算法、人工神經網絡（PNN、BP等）、深度學習（RBN、DBN、CNN、

DNN、LSTM、GAN等）、降維方法（PCA、PLS等）、集成方法（Boosting、Bagging、AdaBoost、RF、GBDT等）。

深度學習是機器學習中人工神經網絡算法的延伸和發展，近期深度學習的研究非常火熱，下面介紹一下神經網絡和深度學習。先說兩層網絡，如圖3-20所示，其中，a是“單元”的值；w表示“連線”權重；g是激活函數，一般為方便求導，采用Sigmoid函數。采用矩陣運算來簡化圖中公式：a(2)=g(a(1)×w(1))，z=g(a(2) ×w(2))。設訓練樣本的真實值為y，預測值為z，定義損失函數loss＝（z-y）2，所有參數w優化的目標就是使對所有訓練數據的損失和盡可能小，此時這個問題就轉化為一個優化問題，常用梯度下降算法求解。一般使用反向傳播算法，從后往前逐層計算梯度，最終求解各參數矩陣。

圖3-20深度學習兩層神經網絡算法