數(shù)學(xué)是個(gè)奇妙的東西，可以把生活中的一切量化。人生也是個(gè)奇妙的東西，起起伏伏，好比一個(gè)高斯分布函數(shù)。今天就結(jié)合一些人生的感悟聊聊貝葉斯超參優(yōu)化

一些些背景

很多算法工程師戲謔自己是調(diào)參工程師，因?yàn)樗麄冃枰诜彪s的算法參數(shù)中找到最優(yōu)的組合，往往在調(diào)參的過(guò)程中痛苦而漫長(zhǎng)的度過(guò)一天。如果有一種方式可以幫助工程師找到最優(yōu)的參數(shù)組合，那一定大有裨益，貝葉斯超參優(yōu)化就是其中的一種。如果是單單羅列公式，可能會(huì)顯得乏味，就用一些思考帶上公式為大家分享。

高斯過(guò)程

首先要知道什么是高斯過(guò)程，高斯過(guò)程也是正態(tài)分布，我們可以理解為一般世界的很多隨機(jī)事件都是遵循這樣的一個(gè)原則。比如買(mǎi)了1000次彩票，中獎(jiǎng)的概率是多少，這就是一個(gè)典型的隨機(jī)過(guò)程。比如在20樓向下扔皮球，砸中美女的概率也是一個(gè)隨機(jī)過(guò)程。

在貝葉斯調(diào)參過(guò)程中，假設(shè)參數(shù)組合是X，最終的評(píng)估結(jié)果為Y，通過(guò)什么樣的X可以取得最優(yōu)的Y，這個(gè)函數(shù)F（X）我們是不知道的，

Y=F（X）

于是可以假設(shè)這個(gè)尋找最優(yōu)化參數(shù)的過(guò)程是一個(gè)高斯過(guò)程。高斯過(guò)程有個(gè)特點(diǎn)，就是當(dāng)隨機(jī)遍歷一定的數(shù)據(jù)點(diǎn)并拿到結(jié)果之后，可以大致繪制出整個(gè)數(shù)據(jù)的分布曲線。

上圖是一個(gè)高斯過(guò)程的圖，就像人生的曲線，起起伏伏，命運(yùn)造化弄人，需要不斷地嘗試才能知道最終的結(jié)果。所以如果要找到完整的人生的曲線，需要不停地在每一個(gè)單點(diǎn)嘗試，直到真?zhèn)€曲線清晰。就知道做什么樣的事情，可以到達(dá)高谷，好比在超參優(yōu)化中就是什么樣的參數(shù)可以得到好的結(jié)果。

貝葉斯優(yōu)化的重要基礎(chǔ)理論就是不斷通過(guò)先驗(yàn)點(diǎn)去預(yù)測(cè)后驗(yàn)知識(shí)。

貝葉斯優(yōu)化理論

還是這張圖，把橫軸看作是參數(shù)組合X，縱軸看作是這個(gè)參數(shù)的結(jié)果Y。可以通過(guò)已經(jīng)構(gòu)建的曲線，找到曲線上升的方向，從而在這個(gè)方向上繼續(xù)探索，這樣就可以大概率拿到更好的結(jié)果。在生活的軌跡上，如果找到一條明確通往幸福的路，可以繼續(xù)向前探索，因?yàn)榇蟾怕士梢猿晒Γ苍S也有會(huì)錯(cuò)過(guò)更好的機(jī)會(huì)，陷入局部最優(yōu)解。請(qǐng)看上圖中的五角星，如果我們處于它的位置，繼續(xù)向上走會(huì)迎來(lái)一個(gè)高峰，但是如果后退，在下降一段時(shí)間之后可能會(huì)迎來(lái)更高的波峰，你該如何選擇。

于是，在參數(shù)的探索中要掌握一個(gè)平衡：

開(kāi)發(fā)：在明確的曲線上揚(yáng)方向繼續(xù)走，大概率獲得更好的結(jié)果，但是容易陷入局部最優(yōu)。

探索：除了在曲線上揚(yáng)的方向，在其它的區(qū)域也不忘尋找

總結(jié)一下，貝葉斯超參優(yōu)化跟生活很像，面對(duì)順境選擇繼續(xù)向前，還是勇敢的跳出現(xiàn)狀尋找更大的突破，這需要一個(gè)策略，在調(diào)參中這個(gè)策略可以自己定義一些方法去實(shí)現(xiàn)。把參數(shù)組合對(duì)結(jié)果的影響看作是一個(gè)高斯過(guò)程，把開(kāi)發(fā)和探索的策略作為一個(gè)自定義函數(shù)去權(quán)衡，這就是貝葉斯超參帶給我們的啟迪。