編者按：今天，深度學(xué)習(xí)專家Fran?ois Chollet在推特上發(fā)布了這么一段話：

不久之后，AutoML就會發(fā)現(xiàn)他們將面臨和強化學(xué)習(xí)一樣的問題：人們會用非常具體的（有缺陷的）方法來解決許多寬泛的問題。

谷歌在AI First戰(zhàn)略下，發(fā)布了自主編寫機器學(xué)習(xí)代碼的工具AutoML，目的是讓更多人能夠以簡單的操作就能使用機器學(xué)習(xí)。AutoML然而這項工具真的如此強大嗎，還是說只是廣告打得響？fast.ai創(chuàng)始者之一Rachel Thomas就自己的理解分析了AutoML的現(xiàn)在以及未來。以下是論智的編譯。

在提出谷歌AutoML之前，CEO Sundar Pichai寫了這么一段話：

目前，設(shè)計神經(jīng)網(wǎng)絡(luò)非常費時，并且需要專家只在科學(xué)和工程領(lǐng)域中的一小部分進行研究。為了解決這一問題，我們創(chuàng)造了一種名為AutoML的工具，有了它，神經(jīng)網(wǎng)絡(luò)可以設(shè)計神經(jīng)網(wǎng)絡(luò)。我們希望AutoML能做到目前博士們可以達到的水平，三至五年之后，我們希望它能為眾多開發(fā)者設(shè)計不同功能的新的神經(jīng)網(wǎng)絡(luò)。

谷歌AI的負責(zé)人Jeff Dean表示，100倍的計算力可能會替代機器學(xué)習(xí)專家，對計算有大量需求的神經(jīng)架構(gòu)搜索是他唯一舉出的例子。

這就引出了一系列問題：開發(fā)者們需要“設(shè)計不同功能的神經(jīng)網(wǎng)絡(luò)”嗎？神經(jīng)網(wǎng)絡(luò)是否能用有效的方法解決類似的問題呢？巨大的計算力真的可以替代機器學(xué)習(xí)專家嗎？

在評價谷歌的言論之前，我們要知道谷歌之所以一直強調(diào)高效使用深度學(xué)習(xí)的關(guān)鍵是更多的計算力，是因為這與它的利益相關(guān)，因為在計算力這個方面，谷歌足以吊打其他人。如果這是真的，那我們可能都需要購買谷歌的產(chǎn)品了。就其本身而言，這并不意味著谷歌的說法是錯誤的，但是我們最好意識到他們言論之下的經(jīng)濟動機。

在我們之前的文章中，我們介紹了AutoML的歷史，解釋了什么是神經(jīng)架構(gòu)搜索，并且指出對許多機器學(xué)習(xí)項目來說，設(shè)計或選擇一種架構(gòu)并非耗時、最痛苦的部分。在今天的文章中，我要詳細講解谷歌的AutoML，該產(chǎn)品受到了許多媒體的關(guān)注。大致內(nèi)容如下：

什么是谷歌AutoML？

什么是遷移學(xué)習(xí)？

神經(jīng)架構(gòu)搜索 vs 遷移學(xué)習(xí)：兩種相反的方法

需要更多證據(jù)

媒體為什么對谷歌AutoML大加贊賞

我們?nèi)绾文芙鉀Q機器學(xué)習(xí)專家短缺的問題？

什么是谷歌AutoML

雖然AutoML領(lǐng)域已經(jīng)發(fā)展了好幾年，在2017年5月，谷歌在它的神經(jīng)架構(gòu)搜索中加入了AutoML這個術(shù)語。在谷歌開發(fā)者大會上，Sundar Pichai表示：“這就是我們?yōu)槭裁磩?chuàng)造AutoML這一工具，它證明了讓神經(jīng)網(wǎng)絡(luò)設(shè)計神經(jīng)網(wǎng)絡(luò)是可能的。”同時，谷歌AI的研究者Barret Zoph和Quoc Le也表示：“我們的方法（AutoML）中，一個控制器神經(jīng)網(wǎng)絡(luò)可以生成一個子模型架構(gòu)……”

2018年1月，谷歌云宣布將AutoML最為機器學(xué)習(xí)產(chǎn)品的一部分。目前，AutoML中有一個公開可用的產(chǎn)品——AutoML Vision，這是一款可識別或者對圖中目標物體進行分類的API。根據(jù)該產(chǎn)品的詳情頁面，我們得知Cloud AutoML Vision依靠兩種核心技術(shù)：遷移學(xué)習(xí)和神經(jīng)架構(gòu)搜索。由于在上一篇文章中我們已經(jīng)解釋過神經(jīng)架構(gòu)搜索，現(xiàn)在我們重點關(guān)注遷移學(xué)習(xí)，看看它是如何和神經(jīng)架構(gòu)搜索聯(lián)系在一起的。

什么是遷移學(xué)習(xí)？

遷移學(xué)習(xí)利用預(yù)訓(xùn)練模型，可以讓人們用少量數(shù)據(jù)集或者較少的計算力得到頂尖的結(jié)果，是一種非常強大的技術(shù)。預(yù)訓(xùn)練模型此前會在相似的、更大的數(shù)據(jù)集上進行訓(xùn)練。由于模型無需從零開始學(xué)習(xí)，它可以比那些用更少數(shù)據(jù)和計算時間的模型得到更精確的結(jié)果。

遷移學(xué)習(xí)是項重要的技術(shù)，很多世界500強公司都用到了這種技術(shù)。雖然遷移學(xué)習(xí)看起來不如神經(jīng)架構(gòu)搜索那么“性感”，但是它卻創(chuàng)造過很多學(xué)術(shù)界進步的成果，例如Jeremy Howard和Sebastian Ruder將遷移學(xué)習(xí)應(yīng)用到NLP中的應(yīng)用，在6個數(shù)據(jù)集上達到了最佳分類效果，同時也成為了OpenAI在這一領(lǐng)域的研究基礎(chǔ)。

神經(jīng)架構(gòu)搜索 vs 遷移學(xué)習(xí)：兩種不同的方法

遷移學(xué)習(xí)之下的基礎(chǔ)理念是，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會對相同種類的問題進行泛化：例如，很多圖片都有基礎(chǔ)特征（比如角度、圓圈、狗狗的臉、車輪等等），這些特征構(gòu)成了圖片的多樣性。相反，提升神經(jīng)架構(gòu)搜索的效率是因為，每個數(shù)據(jù)集都是獨一無二的，它的結(jié)構(gòu)非常個性化。

當神經(jīng)架構(gòu)搜索發(fā)現(xiàn)了一種新結(jié)構(gòu)，你必須從零開始學(xué)習(xí)該結(jié)構(gòu)的權(quán)重。但是有了遷移學(xué)習(xí)，你可以從預(yù)訓(xùn)練模型上已有的權(quán)重開始訓(xùn)練。這也意味著你無法在同一個問題上同時使用遷移學(xué)習(xí)和神經(jīng)架構(gòu)搜索：如果你要學(xué)習(xí)一種新的結(jié)構(gòu)，你可能需要為此訓(xùn)練一個新權(quán)重；但如果你用遷移學(xué)習(xí)，可能無需對結(jié)構(gòu)進行實質(zhì)性改變。

當然，你可以將遷移學(xué)習(xí)運用到一個經(jīng)過神經(jīng)架構(gòu)搜索的結(jié)構(gòu)上（我覺得這是個不錯的想法）。這只需要幾個研究者用神經(jīng)架構(gòu)搜索和開源的模型即可。如果可以用遷移學(xué)習(xí)，并不是所有機器學(xué)習(xí)從業(yè)者都要在問題上使用神經(jīng)架構(gòu)搜索，然而，Jeff Dean、Sundar Pichai以及谷歌和媒體的報道都表示：每個人都應(yīng)該直接用神經(jīng)架構(gòu)搜索。

神經(jīng)架構(gòu)搜索的好處是什么？

神經(jīng)架構(gòu)搜索很適合用來尋找新的結(jié)構(gòu)！谷歌的AmoebaNet就是通過神經(jīng)架構(gòu)搜索學(xué)習(xí)來的，另外fast.ai很多技術(shù)進步也都得益于神經(jīng)架構(gòu)搜索。

AmoebaNet不是根據(jù)獎勵函數(shù)設(shè)計的，不具備縮放的能力，所以他不如ResNet那樣可以根據(jù)多種機器進行調(diào)整。但是一個可以縮放的神經(jīng)網(wǎng)絡(luò)可以在未來學(xué)習(xí)并優(yōu)化。

需要更多證據(jù)

沒有證據(jù)表明每個數(shù)據(jù)集最好在它自己的模型上建模，而不是在現(xiàn)有模型上微調(diào)。由于神經(jīng)架構(gòu)搜索需要大型訓(xùn)練集，這對小型數(shù)據(jù)集來說可能不太友好。即使是谷歌自己的一些研究也會用遷移技術(shù)而不是為每個數(shù)據(jù)集尋找一種新結(jié)構(gòu)，例如NASNet。

目前我還不知道有哪些使用神經(jīng)架構(gòu)搜索贏得了某項競賽的案例，也不知道某種需要大量元計算的方法領(lǐng)先其他方法的情況。例如，最近的兩篇論文——Efficient Neural Architecture Search（ENAS）和Differentiable architecture search（DARTS）提出了更有效率的算法。DARTS僅僅用4個GPU就達到了NASNet 1800個GPU和AmoebaNet 3150個GPU得到的效果。Jeff Dean是ENAS作者之一，提出了比之前少1000倍的計算力。

為什么還要吹捧谷歌AutoML呢？

有了上述那么多種限制，為什么還要還有很多人在宣傳谷歌AutoML的有用性呢？我認為有以下幾種解釋：

1.谷歌的AutoML真實反映了一些學(xué)術(shù)研究機構(gòu)摻雜了盈利機構(gòu)之后的危機。很多科學(xué)家都想創(chuàng)建有關(guān)熱門學(xué)術(shù)研究領(lǐng)域的產(chǎn)品，但并不評估它能否滿足實際需求。這也是很多AI創(chuàng)企的現(xiàn)狀，我的建議是不要試圖將博士論文變成產(chǎn)品，并且盡量不要雇傭純學(xué)術(shù)研究人員。

2. 谷歌很擅長營銷。人工智能對很多門外漢來說門檻較高，以至于他們沒辦法評估某種主張，尤其是谷歌這樣的巨頭。很多記者也隨波逐流，爭相報道谷歌的新技術(shù)、新成果。我經(jīng)常跟哪些不在機器學(xué)習(xí)界工作的人談?wù)摴雀璧某晒麄兗词箾]有用過谷歌機器學(xué)習(xí)產(chǎn)品，但表現(xiàn)得也很興奮，可是如果仔細深究又講不出個所以然來。

谷歌造成的新聞?wù)`導(dǎo)其中一個案例是谷歌AI研究人員宣布“他們創(chuàng)建了一種深度學(xué)習(xí)技術(shù)，能夠重建人類基因組”，并且他們還將這項技術(shù)與諾貝爾獲勝者做了對比，Wired對此進行了報道。在這之后，約翰霍普金斯大學(xué)生物統(tǒng)計學(xué)家、生物工程教授Steven Salzberg就批判了谷歌的這篇文章。Salzberg指出，這項研究實際上并沒有重建人類基因組，而且“在現(xiàn)有軟件上僅有微小提升，甚至還不如現(xiàn)有軟件”。其他很多基因研究者對Salzberg的說法表示了贊同。

谷歌確實有很多偉大的成果，但是我們在欣賞的同時也要注意鑒別。

3. 谷歌因為利益相關(guān)，說服我們高效利用深度學(xué)習(xí)的關(guān)鍵是更強的計算力，因為谷歌在計算力方面非常有優(yōu)勢。AutoML通常需要大量計算，例如為了學(xué)習(xí)AmoebaNet需要用450個K40 GPU訓(xùn)練7天。

如何解決機器學(xué)習(xí)專家短缺的問題？

為了解決全球機器學(xué)習(xí)從業(yè)者短缺的問題，我們可以采取的有以下幾種方法：

讓深度學(xué)習(xí)更易使用

給深度學(xué)習(xí)去神秘化

讓資金不夠充足的人也能用到云GPU

讓深度學(xué)習(xí)更易使用

為了讓深度學(xué)習(xí)更易使用，很多研究已經(jīng)使其能夠更快、更輕易地訓(xùn)練更好的網(wǎng)絡(luò)。典型的案例有：

Dropout能讓模型在更小的數(shù)據(jù)集上訓(xùn)練，并且不存在過度擬合

批歸一化使訓(xùn)練速度更快

線性整流函數(shù)（ReLU）避免了梯度爆炸

其他提高使用簡易程度的研究包括：

學(xué)習(xí)速率探測器使訓(xùn)練過程更穩(wěn)定

Super convergence加速了訓(xùn)練時間，并且需要更少的計算資源

“Custom heads”對現(xiàn)有的架構(gòu)來說，可以在很多問題上重復(fù)使用。

給深度學(xué)習(xí)去神秘化

另外一個障礙是，很多人總認為深度學(xué)習(xí)離他們很遠，或者覺得他們的數(shù)據(jù)集太小、并未接受過深度學(xué)習(xí)訓(xùn)練或者計算力不夠等等。還有一種觀點認為，只有到了機器學(xué)習(xí)的博士階段才能用到深度學(xué)習(xí)，或者很多公司根本無法負擔(dān)招聘一位深度學(xué)習(xí)專家。

但是在我的經(jīng)歷中，進入深度學(xué)習(xí)的門檻遠比他們想象中的低，只要你有一年的編程經(jīng)驗以及一個GPU。

提供更多資源：谷歌Colab Notebooks

雖然云GPU的花費普通人還能負擔(dān)得起（每小時大約50美分，約合人民幣3.4元），但是很多學(xué)生表示確實有點貴。在某些國家因為規(guī)定，他們無法使用像AWS這樣的服務(wù)，現(xiàn)在谷歌Colab Notebook可以解決這個問題，它提供了Jupyter notebook環(huán)境，無需設(shè)置即可使用，在云上運行并給用戶使用免費的GPU。谷歌Colab Notebook將會為深度學(xué)習(xí)做出更多努力，也許這也是谷歌在機器學(xué)習(xí)未來發(fā)展的一個更好的目標。