Twitter今天出現(xiàn)了一條驚爆tread：CMU助理教授Simon DeDeo炮轟谷歌大腦，認(rèn)為他們沒(méi)在做真正的科學(xué)，只是用強(qiáng)大的算力以及招攬到的眾多優(yōu)秀博士生，不斷快速推出機(jī)器學(xué)習(xí)工程成果，而真正的知識(shí)還跟20年前一樣！

你認(rèn)為谷歌大腦和其他類(lèi)似的企業(yè)AI研究院如何？

這只是再正常不過(guò)的一個(gè)問(wèn)題，沒(méi)想到竟然冒出了一條讓人吃驚的回復(fù)。CMU的助理教授Simon DeDeo表示：在那里人們并沒(méi)有做真正的科學(xué)！

好吧，事情是這個(gè)樣子的，先來(lái)看這位Simon DeDeo的回復(fù)——之前的聲明：

接下來(lái)我要說(shuō)說(shuō)對(duì)谷歌大腦和類(lèi)似機(jī)構(gòu)的看法。聲明：這是我個(gè)人的意見(jiàn)，我不需要他們的資助，也沒(méi)有通過(guò)討好他們來(lái)成就我的職業(yè)生涯。

字里行間無(wú)不流露出對(duì)谷歌大腦等頂尖AI研究院的不屑與不滿(mǎn)，基本可以想見(jiàn)他的看法整體走向?qū)⑹鞘裁础?/p>

下面這條可以認(rèn)為是DeDeo的核心觀點(diǎn)：企業(yè)“研究”是從商業(yè)立場(chǎng)出發(fā)的，無(wú)論管理流程如何。

Simon DeDeo其人

Simon DeDeo是CMU社會(huì)與決策科學(xué)（Social and Decision Sciences）助理教授，圣達(dá)菲研究所外部教授。他之前曾在印第安納大學(xué)的復(fù)雜系統(tǒng)和認(rèn)知科學(xué)項(xiàng)目中工作過(guò)。他還曾在東京大學(xué)宇宙物理與數(shù)學(xué)研究所和芝加哥大學(xué)卡夫利宇宙物理研究所獲得博士后獎(jiǎng)學(xué)金。

教育背景

博士：普林斯頓大學(xué)天體物理學(xué)

碩士：劍橋大學(xué)應(yīng)用數(shù)學(xué)與理論物理

學(xué)士：哈佛大學(xué)天體物理學(xué)

在DeDeo的主頁(yè)介紹上寫(xiě)著，他們的研究方向是：在社會(huì)思想實(shí)驗(yàn)室（Laboratory for Social Minds），我們進(jìn)行實(shí)證研究，并建立歷史和現(xiàn)代現(xiàn)象構(gòu)建數(shù)學(xué)理論。我們的研究既包括數(shù)百年的人類(lèi)文化發(fā)展，也有瞬息萬(wàn)變的現(xiàn)代等級(jí)制度。我們創(chuàng)建了關(guān)于政治秩序重大轉(zhuǎn)變合成的深層次描述，目的是預(yù)測(cè)和理解我們整個(gè)物種的未來(lái)。

或許你認(rèn)為以為從事天文學(xué)的博士對(duì)人工智能并無(wú)了解，因此DeDeo的話(huà)無(wú)關(guān)緊要，不過(guò)，天文學(xué)也是目前積極采用機(jī)器學(xué)習(xí)的基礎(chǔ)學(xué)科之一。DeDeo在他的工作中也無(wú)可避免的會(huì)用到深度學(xué)習(xí)。此外，從2012年開(kāi)始，深度學(xué)習(xí)的熱潮興起，幾句席卷整個(gè)自然科學(xué)領(lǐng)域，從生物、化學(xué)到物理，越來(lái)越多的科學(xué)家都發(fā)現(xiàn)機(jī)器學(xué)習(xí)能夠幫助乃至加速他們的發(fā)現(xiàn)。

而DeDeo，也不可避免的處于這場(chǎng)深度學(xué)習(xí)熱潮中間，而且關(guān)聯(lián)還不淺。

在谷歌你能接觸到最尖端的機(jī)器學(xué)習(xí)，但成不了科學(xué)家，一切都是商業(yè)計(jì)劃

DeDeo將他的抱怨連發(fā)了幾十條Twitter，簡(jiǎn)直構(gòu)成了一篇文章：

我在貝葉斯時(shí)代長(zhǎng)大，見(jiàn)證了David Spergel和他的快樂(lè)科學(xué)家團(tuán)隊(duì)用一些簡(jiǎn)單的，從理論上推動(dòng)的方程改變了我們對(duì)世界的看法。

當(dāng)我出到校門(mén)外開(kāi)始研究生活和思考系統(tǒng)時(shí)，這也是我的研究出發(fā)點(diǎn)。當(dāng)然，2010年左右，深度學(xué)習(xí)革命變得不可忽視。

這是令人興奮的事情。我們邀請(qǐng)學(xué)者參觀訪問(wèn)，告訴我們關(guān)于決策樹(shù)、隨機(jī)森林，各種奇妙的事情。我也試著學(xué)習(xí)這些方法，但老實(shí)說(shuō)，我們可以用簡(jiǎn)單的工具做很多事情，因此并沒(méi)有把機(jī)器學(xué)習(xí)到成優(yōu)先事項(xiàng)。

當(dāng)我到IU時(shí)，我被聘為信息學(xué)部門(mén)的教授，IUsolCE（信息學(xué)也即未來(lái)的計(jì)算機(jī)科學(xué)，不再是簡(jiǎn)單的快速排序，而是弄清楚機(jī)器對(duì)人類(lèi)生活的影響）。我當(dāng)時(shí)在一個(gè)招聘委員會(huì)里，非常要招一個(gè)深度學(xué)習(xí)的人。

我?guī)械暮蜻x人去吃早餐（我喜歡跳過(guò)會(huì)議和委員會(huì)，把時(shí)間花在研究生和本科生身上），然后弄清現(xiàn)在的深度學(xué)習(xí)。大多數(shù)候選人可能都沒(méi)睡醒。

基本答案：我們所做的每一個(gè)性感的項(xiàng)目，從飛行四軸飛行器到在MNIST上再獲得精度0.1％的提升，基本上就是一名研究生。

你計(jì)算出神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，然后找到權(quán)重。怎么做？答案是：GSD，graduate student descent——開(kāi)個(gè)玩笑。簡(jiǎn)而言之，沒(méi)有一個(gè)好的答案，就是一個(gè)人坐在那里，不斷調(diào)整參數(shù)。

機(jī)器學(xué)習(xí)是工程學(xué)的一項(xiàng)了不起的成就。但這不是科學(xué)。遠(yuǎn)遠(yuǎn)不是。我們?nèi)缃褡龅闹皇?990年的東西，成倍放大的結(jié)果。它并沒(méi)有給我們帶來(lái)比20年前更多的見(jiàn)解。

是的，我也聽(tīng)說(shuō)過(guò)“深度學(xué)習(xí)實(shí)現(xiàn)了renormalization group！”但如果你有一個(gè)在空間中組織的信息系統(tǒng)，那么神經(jīng)元在空間上將信息組合起來(lái)真的很厲害嗎？

我也被邀請(qǐng)參加Google Research或類(lèi)似地方的會(huì)議。他們的安保像瘋了一樣，比對(duì)沖基金更糟糕。保安會(huì)跟著你去洗手間。

在谷歌大腦，每位級(jí)別相當(dāng)于我的科學(xué)家，也即相當(dāng)于一名初級(jí)教員，原本都應(yīng)該說(shuō)是處于知識(shí)邊緣不斷探索的人，都在管理一個(gè)由10名研究生組成的團(tuán)隊(duì)，在做著Graduate Student Descent。

谷歌可以擊敗堪薩斯大學(xué)，唯一的原因是他們每個(gè)研究人員可以雇用十倍以上的研究生。當(dāng)然，不同之處在于，堪薩斯大學(xué)的研究生有機(jī)會(huì)做一些具有學(xué)術(shù)意義的事情。在Google Research卻無(wú)法如此。

他們不知道自己在做什么。他們有人力將深度學(xué)習(xí)應(yīng)用于任何事情，模擬薛定諤方程，藥物設(shè)計(jì)，你能想到的一切。他們的主要目標(biāo)是找到谷歌可以產(chǎn)生最大影響的科學(xué)領(lǐng)域。

我訪問(wèn)過(guò)50所大學(xué)。無(wú)論走到哪里，我都會(huì)遇到新的想法。但有一個(gè)例外：商業(yè)“研究”實(shí)驗(yàn)室。

如果你想構(gòu)建能夠監(jiān)控人并且更快地向他們推銷(xiāo)更多廣告的機(jī)器，那就去這些實(shí)驗(yàn)室。如果你想找到一個(gè)工人階級(jí)正在做的工作，然后對(duì)正在做這件事的男人或女人建模，然后建立一個(gè)網(wǎng)絡(luò)，取得這些人，那你更應(yīng)該去商業(yè)實(shí)驗(yàn)室了。

我們用Google Research構(gòu)建的東西做過(guò)科學(xué)嗎？當(dāng)然。我們有一篇很好的論文，用word2vec來(lái)幫助構(gòu)建解謎理論（a theory of puzzle solving）。

但我們?cè)究梢越⒁粋€(gè)跟word2vec同等效用的系統(tǒng)。這里面沒(méi)有任何學(xué)術(shù)智力上的貢獻(xiàn)。我不是在開(kāi)玩笑。

我在一個(gè)晚上接到了一名頂級(jí)CS碩士研究生的電話(huà)，我們開(kāi)始研究社會(huì)合作的問(wèn)題。他想做深度學(xué)習(xí)。

僅僅兩周的時(shí)間，我們就比Google Brain正在做的更進(jìn)一步。我并不是說(shuō)在技術(shù)上——他們擁有大量豐富的YouTube視頻數(shù)據(jù)。但我們確實(shí)在學(xué)術(shù)貢獻(xiàn)上（intellectually）領(lǐng)先他們。

谷歌說(shuō)他們也做了社會(huì)科學(xué)，但實(shí)際并非如此，他們做的只是分布在50多個(gè)GPU上的homo economicus（經(jīng)濟(jì)人）。買(mǎi)一份Bowles and Ginits，Cooperative Species，你會(huì)在一周內(nèi)學(xué)到更多東西。

你能在Google Brain做一些很酷的研究嗎？誠(chéng)實(shí)的回答是：不能。你將處于機(jī)器學(xué)習(xí)的最前沿，沒(méi)有錯(cuò)，但這是一個(gè)工程學(xué)科，其基本目標(biāo)是由大公司設(shè)定的。你不會(huì)成為一名科學(xué)家（you will not be a scientist）。

我知道你可能需要賺錢(qián)。你可以在那里賺很多。去吧，我非常尊重你的選擇。學(xué)術(shù)界糟糕透了。

但是，如果你想要在你蓬勃發(fā)展的事業(yè)中的某些時(shí)刻，在你的思想和靈魂里，加入兩千年推進(jìn)人類(lèi)智力前進(jìn)的努力，你不會(huì)在谷歌做到這一點(diǎn)。當(dāng)然Facebook也不行。

如果你真的選擇后者，你還有一個(gè)選擇，那就是加入大學(xué)的研究生院，讀博。

你的收入不會(huì)很多，但你的導(dǎo)師將真正關(guān)心你的學(xué)術(shù)和智力發(fā)展。你很難高估優(yōu)秀的博士課程與產(chǎn)業(yè)之間的差異。如果你是一名優(yōu)秀的博士生導(dǎo)師，干擾學(xué)生的智力發(fā)展，實(shí)在是太可恥了。在谷歌，這一切都是一個(gè)商業(yè)計(jì)劃。

這些都不是開(kāi)玩笑。這是十年的經(jīng)驗(yàn)。研究生院的申請(qǐng)將在秋季開(kāi)始。想一想吧。確保你得到一筆好的交易（你不應(yīng)該為讀博負(fù)擔(dān)債務(wù)，你也應(yīng)該得到醫(yī)保）。

簡(jiǎn)而言之：企業(yè)“研究”是一個(gè)商業(yè)主張，無(wú)論管理層如何。鑒于這些公司對(duì)員工的密切監(jiān)控，現(xiàn)在這個(gè)差距微乎其微。

最后說(shuō)件事：我們?cè)L問(wèn)了Google Research，那里的人聰明絕頂，令人難以置信。我們集思廣益，想出了各種精彩的研究思路。會(huì)議的最后一天，高校學(xué)者說(shuō)，好，讓我們?nèi)ゾ瓢?，把這些想法再落實(shí)！

但他們的回答是：這是我們的業(yè)余工作（vacation），我們手頭真正的工作落后了，我們這個(gè)周末必須工作。 （不是“我們感到內(nèi)疚了認(rèn)為周末該去做”，而是“我們必須”。）

對(duì)于學(xué)者來(lái)說(shuō)，這就是工作。突然間，我意識(shí)到，這只是他們的業(yè)余項(xiàng)目罷了。

反駁：AI產(chǎn)業(yè)化是不可阻擋的趨勢(shì)，谷歌一直從事基礎(chǔ)科學(xué)研究

當(dāng)然，DeDeo的言論一出，立即引發(fā)了眾多反駁之聲，有人說(shuō)這是我見(jiàn)過(guò)最不著調(diào)的評(píng)論，在谷歌大腦和FAIR，有很多科學(xué)家在做著真正的基礎(chǔ)科研，雖然確實(shí)也有GSD（研究生調(diào)參），但完全與企業(yè)目標(biāo)無(wú)關(guān)。

DeDeo的論調(diào)其實(shí)反映了一個(gè)早已有之的問(wèn)題，那就是人才從學(xué)術(shù)界往產(chǎn)業(yè)界流動(dòng)，這種趨勢(shì)實(shí)際上在兩年前就已經(jīng)在AI圈里得到熱議。

當(dāng)時(shí)，還是加州大學(xué)伯克利分校人工智能和深度學(xué)習(xí)專(zhuān)家的 Pieter Abbeel（現(xiàn)在已經(jīng)自己創(chuàng)業(yè)，成立了covariant.ai）表示，如今的這股熱潮表明人工智能技術(shù)已經(jīng)發(fā)展到了能夠?qū)ΜF(xiàn)實(shí)世界產(chǎn)生影響的地步，而企業(yè)本身就是運(yùn)用技術(shù)為社會(huì)提供產(chǎn)品和服務(wù)的。

荷蘭萊頓大學(xué)社會(huì)科學(xué)家 Robert Tijssen 表示，上世紀(jì)50年代，同樣的職業(yè)遷徙現(xiàn)象也在半導(dǎo)體研究中出現(xiàn)過(guò)，當(dāng)時(shí)半導(dǎo)體領(lǐng)域的很多頂尖學(xué)者都被挖走，成為產(chǎn)業(yè)界研發(fā)實(shí)驗(yàn)室的負(fù)責(zé)人。Robert Tijssen 對(duì) Nature 記者說(shuō)，這些學(xué)者將他們的專(zhuān)業(yè)知識(shí)帶入產(chǎn)業(yè)界，同時(shí)在產(chǎn)業(yè)里建立新的關(guān)系，而后又將這些產(chǎn)業(yè)關(guān)系反饋給原來(lái)學(xué)術(shù)界的同事和學(xué)生，達(dá)到典型的雙贏局面。

位于卡內(nèi)基·梅隆大學(xué)的美國(guó)國(guó)家機(jī)器人工程中心（US NREC）負(fù)責(zé)人 Herman Herman 對(duì) Tijssen 的觀點(diǎn)表示贊同。2015年，NREC 與 Uber 合作，Uber 從 NREC 的 150 名研究員當(dāng)中招走了將近 40人，主要是研究自動(dòng)駕駛汽車(chē)的研究員。當(dāng)時(shí)有報(bào)道稱(chēng) NREC 陷入危機(jī)，但 Herman 表示那個(gè)說(shuō)法稍微言過(guò)其實(shí)；NREC 與 Uber 的合作項(xiàng)目只是卡內(nèi)基·梅隆大學(xué)機(jī)器人研究所幾十個(gè)項(xiàng)目中的一個(gè)，而機(jī)器人研究所有大約 500 名教職員工，這次人員調(diào)動(dòng)對(duì)研究所來(lái)說(shuō)正好是換新血的機(jī)會(huì)。而不久之后，Uber 就向機(jī)器人研究所捐資 550 萬(wàn)美元，用于支付學(xué)生和教職工的獎(jiǎng)學(xué)金。同時(shí)，這一事件的新聞性還提升了機(jī)器人研究所的知名度，學(xué)生提交申請(qǐng)數(shù)量也增多了。

Yoshua Bengio 也曾對(duì)學(xué)術(shù)界人才流失表示擔(dān)憂(yōu)。他表示自己要堅(jiān)守在學(xué)術(shù)界，不過(guò)，后來(lái)也成為微軟和加拿大AI創(chuàng)業(yè)公司ElementAI的顧問(wèn)。

Hinton預(yù)計(jì)深度學(xué)習(xí)領(lǐng)域?qū)＜叶倘敝粫?huì)是暫時(shí)的。本人就屬于谷歌大腦的的Hinton 告訴 Nature 記者，谷歌承認(rèn)高校研究生項(xiàng)目的重要性。目前，谷歌資助了 250 多項(xiàng)學(xué)術(shù)研究項(xiàng)目和幾十個(gè)博士獎(jiǎng)學(xué)金。

Jeff Dean：谷歌用機(jī)器學(xué)習(xí)解決人類(lèi)重大難題

就在前不久，在清華大學(xué)人工智能研究院成立儀式上，同期舉行了清華-谷歌AI學(xué)術(shù)論壇。谷歌AI總負(fù)責(zé)人Jeff Dean也受聘成為清華大學(xué)計(jì)算機(jī)學(xué)科顧問(wèn)委員會(huì)委員。

Jeff Dean在研討會(huì)第一天的主旨演講，題目是《用深度學(xué)習(xí)解決世界重大挑戰(zhàn)》。

Jeff Dean發(fā)表主旨演講：用深度學(xué)習(xí)解決重大挑戰(zhàn)

Jeff Dean介紹了，過(guò)去6年來(lái)，Google Brain團(tuán)隊(duì)一直在研究人工智能中的難題，構(gòu)建用于機(jī)器學(xué)習(xí)研究的大型計(jì)算機(jī)系統(tǒng)，并與Google的許多團(tuán)隊(duì)合作，將其研究和系統(tǒng)應(yīng)用于眾多Google產(chǎn)品當(dāng)中。他們已經(jīng)在計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別，語(yǔ)言理解，機(jī)器翻譯，醫(yī)療保健，機(jī)器人控制等領(lǐng)域取得了重大進(jìn)展。

谷歌在人工智能領(lǐng)域最終目標(biāo)是三點(diǎn)：利用人工智能和機(jī)器學(xué)習(xí)讓谷歌的產(chǎn)品更加實(shí)用（Making products more useful）；幫助企業(yè)和外部開(kāi)發(fā)者利用人工智能和機(jī)器學(xué)習(xí)進(jìn)行創(chuàng)新（Helping others innovate）；為研究人員提供更好的工具，解決人類(lèi)面臨的重大挑戰(zhàn)。

谷歌大腦與頂級(jí)高校以及科研和醫(yī)療機(jī)構(gòu)合作，從改善城市基礎(chǔ)設(shè)施到健康信息學(xué)再到人腦逆向工程，還有使用深度學(xué)習(xí)預(yù)測(cè)分子性質(zhì)，制作更好的藥物……這些全都是在對(duì)人類(lèi)有意義的基礎(chǔ)科學(xué)。

深度學(xué)習(xí)目前還是只是工程，要尋求原理

然而，DeDeo的擔(dān)憂(yōu)有一點(diǎn)是真切的——深度學(xué)習(xí)更多的是工程，雖然最近越來(lái)越多的人開(kāi)始關(guān)注理論研究，但是，大量的調(diào)參和超強(qiáng)的算力，以及大數(shù)據(jù)，仍然是深度學(xué)習(xí)當(dāng)下的必須。

周志華教授在今年4月發(fā)表了一場(chǎng)《關(guān)于深度學(xué)習(xí)的思考》的主題演講，其中提到，深度學(xué)習(xí)的理論基礎(chǔ)尚不清楚：

但是實(shí)際上在學(xué)術(shù)界大家一直沒(méi)有想清楚一件事情，就是我們?yōu)槭裁匆眠@么深的模型？今天深度學(xué)習(xí)已經(jīng)取得了很多的成功，但是有一個(gè)很大的問(wèn)題，就是理論基礎(chǔ)不清楚。我們理論上還說(shuō)不清楚它到底是怎么做，為什么會(huì)成功，里面的關(guān)鍵是什么？如果我們要做理論分析的話(huà)，我們先要有一點(diǎn)直覺(jué)，知道它到底為什么有用？這樣才好著手去分析。 但現(xiàn)在其實(shí)我們根本就不知道該從什么角度去看它。

周志華教授還指出，深度學(xué)習(xí)的可重復(fù)性低：

今天大家都非常關(guān)注我們做出來(lái)的結(jié)果的可重復(fù)性，不管是科學(xué)研究也好，技術(shù)發(fā)展也好，都希望這個(gè)結(jié)果可重復(fù)。 而在整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域，可以說(shuō)深度學(xué)習(xí)的可重復(fù)性是最弱的。我們經(jīng)常會(huì)碰到這樣的情況，有一組研究人員發(fā)文章說(shuō)報(bào)告了一個(gè)結(jié)果，而這個(gè)結(jié)果其他的研究人員很難重復(fù)。因?yàn)槟呐履阌猛瑯拥臄?shù)據(jù)，同樣的方法，只要超參數(shù)的設(shè)置不一樣，你的結(jié)果就不一樣。

總之，當(dāng)前深度學(xué)習(xí)還有很多問(wèn)題，機(jī)器學(xué)習(xí)也一樣。

不過(guò)，在哪里都能做真正的研究，尤其是AI領(lǐng)域產(chǎn)學(xué)研結(jié)合得越來(lái)越緊密的情況下，你覺(jué)得呢？