谷歌眼鏡通過增強現實療法幫助自閉癥兒童理解面部表情。

想象一下這個場景：快到晚飯時間了，小吉米呆在廚房里。他媽媽正忙著把晚飯端上飯桌，并且她把所有餐具都堆放在了廚房的操作臺上。患有自閉癥的吉米則希望把餐具擺放得更加整齊，當他媽媽在爐子旁時，他便小心翼翼地開始把每一把餐叉、餐刀和湯勺放回餐具抽屜的槽里。突然，吉米聽到一聲喊叫。他媽媽聲音很大，她的臉色看起來不一樣了。但他還在繼續收拾著餐具。 現在想象一下，吉米戴著一種特殊的谷歌眼鏡，這是谷歌在2013年推出的一款增強現實頭戴設備。當他抬頭看著他媽媽時，頭戴顯示器亮起一個綠框，提示吉米他“發現了一張臉”。當他盯著他媽媽的臉看時，一個表情符號跳出來，告訴吉米：“你發現了一張生氣的臉。”于是，他會思考為什么他媽媽會生氣。也許他應該停下收拾餐具，去問問她。 我們的團隊已經花了6年的時間來研究這項針對自閉癥兒童的輔助技術，孩子們把這項技術稱為“超級眼鏡”。我們的系統為孩子在家中提供行為療法，這是最初學習社交技能的地方。該系統使用眼鏡外置攝像頭記錄孩子與家人之間的互動；然后我們的軟件會檢測到這些視頻中的人臉，并解讀他們表達的情緒。通過一個應用程序，看護人可以查看自動剪輯的社交互動視頻。 多年來，我們已經對原型進行了改進，并通過臨床試驗證明它的療效：我們發現，使用這款眼鏡可以增加孩子們的眼神交流和社交參與感，還可以提高他們對情緒的識別能力。我們在斯坦福大學的團隊與本文作者之一丹尼斯?沃爾（Dennis Wall）的分拆公司Cognoa合作，為“超級眼鏡”贏得了“突破性療法”的稱號，該項技術迅速獲得了美國食品藥品管理局（FDA）的批準。我們的目標是進入健康保險計劃，以此來支付該項技術作為增強現實治療療法的費用。 當谷歌眼鏡第一次作為消費類設備出現時，許多人認為不需要使用它。面對慘淡的評價和銷量，谷歌2015年停止了消費版產品的生產。但當該公司于2017年攜帶該設備的二代產品——“企業版眼鏡”重返市場時，許多行業開始看到了它的潛力。在這里，我們將講述我們如何利用這項技術為自閉癥兒童提供一種看世界的新方式。

當吉米戴上眼鏡時，他很快就習慣了視野邊緣的頭戴顯示器（棱鏡）。當吉米開始與家人進行互動時，這個眼鏡就會將視頻數據發送到看護人的智能手機上。我們的應用程序配有最新的人工智能（AI）技術，可以檢測人臉和情緒，并將信息發送回眼鏡。當檢測到人臉時，頭戴顯示器的邊框就會亮起綠色，然后顯示器通過表情圖形、表情符號或書面文字來識別面部表情。用戶還可以選擇從眼鏡內的骨傳導揚聲器獲取音頻暗示（一種識別情緒的聲音），該揚聲器通過頭骨向內耳發送聲波。該系統可以識別7種面部表情，包括快樂、憤怒、驚訝、悲傷、恐懼、厭惡，還有蔑視——我們標記為“失望”，這樣對孩子更友好一些。它還能識別中性的表情。

為了鼓勵孩子們佩戴“超級眼鏡”，這款應用程序目前提供了兩款游戲：“捕捉微笑”——孩子試圖從他人身上引發出快樂或另一種情緒；“猜猜表情”——人們表現各種情緒，然后讓孩子們猜出是哪種情緒。這款應用程序還會記錄會話中的所有活動，并標記社交活動的瞬間。這讓吉米和他媽媽能夠一起觀看他們在廚房里出現矛盾的視頻，這會促使他們討論究竟發生了什么事情，以及下次他們如何避免這樣的情況發生。

“超級眼鏡”系統的三大要素——人臉檢測、情感識別和App回顧，可以幫助自閉癥兒童邊戴邊學。鼓勵孩子們去尋找社交互動，使得他們了解人臉是有趣的，意識到可以從面部表情中收集有價值的信息。但是眼鏡并不需要永久佩戴。孩子們每周在自己家里做幾次20分鐘的治療，目前整個干預療程為6周。孩子們能很快學會如何察覺他們社交伙伴的情緒，然后，在他們獲得社交自信心后，就不再使用眼鏡了。

我們的系統旨在改善一個嚴重的問題：孩子們只能接受有限的強化行為治療。盡管有證據表明這種療法可以減少甚至消除自閉癥的核心癥狀，但孩子們必須在8歲之前就開始接受這種療法，才能真正見效。目前診斷的平均年齡是4至5歲，等待治療可能會超過18個月。其部分原因是，自1990年以來，美國自閉癥兒童的診斷人數猛增了600%，現在大約每40個孩子中就有一個患有自閉癥；而在亞洲和歐洲的一些地區，增長卻沒有如此劇烈。

由于需要治療的兒童人數與能夠提供治療的專家人數之間的不平衡越來越嚴重，因此我們認為，臨床醫生必須尋求以分散方式擴大規模的解決方案。我們認為，不能一切都依賴專家，幫助所有這些兒童所需的工具，如數據采集、監控和治療工具，必須交到患者及其父母的手中。

為自閉癥兒童提供原位輔助學習的努力可以追溯到20世紀90年代，當時麻省理工學院的教授羅莎琳德?皮卡德（Rosalind Picard）設計了一個帶有耳機和顯示情緒提示的微型計算機系統。然而，當時的可穿戴技術既笨重又突兀，情緒識別軟件也很原始。而如今的可穿戴設備（例如谷歌眼鏡）都很低調，而且我們擁有了強大的人工智能工具，它們利用了大量關于面部表情和社交互動的公開數據。━━━━谷歌眼鏡的設計是一項驚人的壯舉，工程師基本上把智能手機裝進了一個類似眼鏡的輕型框架中。這種形狀因子給開發者帶來了一個有趣的挑戰：我們必須在電池壽命、視頻流性能和熱量之間做出權衡。例如，在設備上處理數據產生熱量過多，會自動觸發操作回調。當我們嘗試在設備上運行計算機視覺算法時，該系統會自動降低捕捉視頻的幀速率，嚴重影響快速識別情緒和提供反饋的能力。 我們的解決方案是通過Wi-Fi將谷歌眼鏡與智能手機配對。眼鏡可以捕捉視頻，將視頻流傳輸到手機，并向佩戴者傳遞反饋信息。手機可以進行人臉檢測與跟蹤、特征提取、面部表情識別等繁重的計算機視覺工作，并存儲視頻數據。

但是，“眼鏡到手機”的視頻流也有自己的問題：雖然眼鏡能以正常的分辨率捕捉視頻，但我們只能以低分辨率進行傳輸。因此，我們編寫了一個協議，將眼鏡新檢測到人臉的圖像放大，這樣視頻流信息就足夠詳細，可用于我們的視覺算法。

我們的計算機視覺系統最初是使用現成的工具。軟件流水線由人臉檢測器、人臉跟蹤器和人臉特征提取器組成；一個經過標準數據集和我們自己數據集訓練的情緒分類器接收數據。在我們剛開始開發流水線時，在移動設備上運行能夠處理實時分類任務的深度學習算法還不可行。但在過去的幾年里，我們取得了顯著的進步，現在我們正在研發一款升級版的“超級眼鏡”，它配有深度學習工具，可同時進行人臉跟蹤和情緒分類。

這次升級不是一項簡單的任務。情緒識別軟件主要用于廣告行業，用于衡量消費者對廣告的情緒反應。我們的軟件在幾個關鍵點都有所不同。首先，它不是用于計算機，而是用于可穿戴和移動設備，因此我們必須將它的內存和處理要求降到最低。可穿戴形狀因子也意味著，不是通過穩定的網絡攝像頭捕捉視頻，而是通過孩子們佩戴的移動攝像頭捕捉視頻。我們已經添加了圖像穩定器來處理視頻的抖動，人臉檢測器要頻繁地初始化，找到在場景中突然改變位置的人臉。

失效判定也是一個嚴重的問題。例如，一個商業情緒識別系統可能聲稱有98%的準確率；這樣的統計數據通常意味著該系統對絕大多數人效果都很好，但始終無法識別小部分人的表情。這種情況對于研究人們觀看廣告的總體情緒可能是合適的，但對于“超級眼鏡”，這個軟件必須經常解讀孩子與同一個人的互動情況。如果這個系統持續識別失敗的兩個人碰巧是孩子父母，這個孩子就太不走運了。 我們已經開發了一些自定義的方法來解決這些問題。在我們的“中性減法”方法中，系統首先記錄某個人中性表情的臉。然后，軟件根據檢測到的該人當前顯示的臉和記錄的中性估值之間的差異，對該人的表情進行分類。比如，系統可能學會，爺爺僅僅眉頭緊鎖，并不意味著他總是生氣。我們還在進一步研究機器學習技術，該技術可快速為每個用戶軟件實現個性化。制造一個穩健的人機交互系統，讓用戶沒有太多挫敗感，是一個相當大的挑戰。我們正在試驗幾種游戲化校準過程的方法，我們認為“超級眼鏡”系統必須具有適應能力，才能取得商業成功。 我們從一開始就意識到這個系統是不完善的，于是設計了反饋來反映這一現實。綠框人臉檢測功能最初是為了緩解挫敗感：如果系統沒有跟蹤到朋友的臉，至少用戶知道這一點，并且不會等待永遠不會出現的反饋。然而，隨著時間的推移，我們開始認識到綠框自身就是一種干預治療，只要佩戴者看到一張臉，綠框都會提供反饋，對于患有自閉癥系列障礙的兒童，這種行為會有明顯不同。━━━━為了評估“超級眼鏡”，我們在過去6年里進行了3次研究。第一次研究是在我們的實驗室里，有一個非常初級的原型，用來測試患有自閉癥的兒童戴上谷歌眼鏡后會有什么樣的反應，以及他們會接收到什么樣的情緒提示。接下來，我們制作了一個完整的原型，并開展了一次設計試驗，在這個試驗中，自閉癥孩子的家庭把這些設備帶回家幾個星期。我們定期與這些家庭進行互動，并根據他們的反饋對原型進行修改。 用手中這臺精心修改的原型樣機，我們開始對設備的功效進行嚴格的測試。我們進行了一項隨機對照試驗，其中一組兒童接受典型的居家行為療法，而另一組兒童則接受這種療法外加使用“超級眼鏡”。我們使用了4組常用自閉癥研究測試，尋找情緒識別和更廣泛的社交技能的改善。正如我們在2019年《美國醫學會小兒科期刊》（JAMA Pediatrics）上發表的論文中所述，在一組測試中，干預組表現明顯優于對照組。

我們還請家長告訴我們他們注意到了什么。他們點評技術功能、用戶挫折感以及他們希望看到的新功能，他們的觀察幫助我們改進了原型的設計。我們居家設計試驗開始時的一封電子郵件就很引人注目。這位家長報告說自己的小孩立即有了顯著的改善：“在通過谷歌眼鏡互動過程中，他實際上正在看著我們……就好像他身上的開關被打開了一樣……謝謝你們！！！我兒子正看著我的臉。”

這封郵件非常鼓舞人心，但聽起來好得令人難以置信。然而，在我們的研究中，關于增加眼神交流的評論一直存在，我們在一份設計研究的出版物中記錄了這個有趣的反饋。時至今日，我們仍能從“照明開關”參與者小組那里聽到類似的故事。 我們相信“超級眼鏡”系統是有效的，但說實話，我們真的不知道為什么有效。我們還無法確定導致增加眼神交流、社交參與度和情緒識別的主要行為機制是什么。這一未知為我們目前的研究提供新的信息。情緒識別反饋對孩子的幫助最大嗎？還是我們的設備的主要功效是通過綠框吸引人們對臉的注意力？或者我們只是提供了一個平臺來增加家庭內部的社交互動？這個系統是以同樣的方式幫助所有的孩子，還是以不同的方式滿足不同人群的需求？如果我們能夠回答這些問題，那我們干預治療的設計就能更有針對性和個性化。 由丹尼斯?沃爾創立的初創公司Cognoa，目前正致力于將我們的“超級眼鏡”原型轉變為可進入醫生處方的臨床療法。在2019年2月美國食品藥品管理局認定該項技術為“突破性療法”，這將加快獲得健康保險公司監管批準和接納的進程。Cognoa公司的增強現實療法將適用于大多數類型的智能手機，它不僅與谷歌眼鏡兼容，還將與即將上市的新品牌智能眼鏡兼容。在另一個項目中，該公司正在開發一種數字工具，醫生可以用它來診斷只有18個月大的兒童，這可使這些兒童在大腦發育的關鍵時期準備接受治療。 最終，我們認為我們的治療方法還可以用于自閉癥以外的問題兒童。例如，針對語言障礙兒童，或者被診斷患有注意力缺陷多動障礙的孩子，我們可以為他們設計游戲和反饋。我們正在設想用各種普遍存在的人工智能設備為用戶提供治療，并反之推動技術改進的良性循環；這些設備在輔助學習的同時，還可以捕捉數據，幫助我們了解如何更好地進行個性化治療。在這個過程中，甚至還可以對各種失調癥獲得新的科學見解。最重要的是，這些設備將能夠幫助家庭掌握自己的治療和家庭動態。通過“超級眼鏡”和其他可穿戴設備，他們將看到未來的方向。