編者按：如果不用寫代碼就能對機器學習模型進行審查，那會是怎樣的體驗？今天，谷歌開源了一款工具，名為What-If，具體有以下幾種功能：

對推斷結(jié)果可視化；

編輯數(shù)據(jù)點，看模型會有怎樣的反應(yīng)；

研究單一特征對模型的影響；

研究反事實樣本；

用相似度安排樣本；

查看混淆矩陣和ROC曲線；

測試算法公平性。

以下是論智對這一工具進行的詳細介紹：

打造高效的機器學習系統(tǒng)意味著要問很多問題，僅僅訓練模型是不夠的，優(yōu)秀的機器學習專家會像偵探一樣，對模型進行詳細調(diào)查，以更好地理解它們：數(shù)據(jù)點的改變將如何影響模型的預測？針對不同的群體，模型的表現(xiàn)有何不同？我要測試的數(shù)據(jù)集中包含多少種類的數(shù)據(jù)？

想要回答這類問題可并不容易。研究機器學習模型的使用場景通常要用定制的、一次性的代碼分析。這一過程不僅低效，而且對不會編程的人員也不友好。谷歌AI PAIR計劃其中一個努力方向就是讓更多的人能參與到機器學習系統(tǒng)的檢查、評估和debug中來。

今天，我們發(fā)布What-If工具，這是一款新的開源TensorBoard網(wǎng)頁應(yīng)用，能讓我們無需編寫代碼就能分析一款機器學習模型。給定一個TensorFlow模型和數(shù)據(jù)集，What-If工具可以展示出表現(xiàn)模型結(jié)果的交互界面。

What-If工具，展示了250張人臉圖像和模型在其中檢測微笑的結(jié)果

What-If工具有多種功能，包括用Facets自動對你的數(shù)據(jù)集進行可視化、從數(shù)據(jù)集中手動編輯樣本的能力以及觀察這些變化帶來的影響、并且自動生成partial dependence plots，展示模型的預測是如何隨著單一特征的變化而變化的。接下來就是對這兩種特征的詳細介紹。

在一個數(shù)據(jù)點上探索what-if場景

反事實（counterfactuals）

只需要點擊鼠標，你就能比較一個數(shù)據(jù)點和另一個相似的數(shù)據(jù)點，但模型在后者上預測出了不同的結(jié)果。我們將這樣的數(shù)據(jù)點稱為“counterfactuals”，它們可以告訴你有關(guān)模型決策邊界的信息。

在下方的截圖中，這款工具就用到了一個二元分類模型上，它是根據(jù)UCI的人口普查數(shù)據(jù)來判斷某人的收入是否大于5萬美元。這是很多機器學習研究者都會用到的預測模型，尤其是分析算法的公平性時。在這個案例中，對于選擇的數(shù)據(jù)點，模型預測出的結(jié)果有73%的置信度認為該人的收入高于5萬美金。該工具自動定位了數(shù)據(jù)集中另一位與之相似的對象，但模型預測他的收入小于5萬美金，并將這兩個目標進行了比對。在這種情況下，對年齡和職業(yè)進行稍稍改動，模型的預測就有了變化。

比較counterfactuals

分析模型性能和算法公平性

你還可以探索不同分類閾值所帶來的不同影響，下方的截圖展示了另一個微笑監(jiān)測模型的結(jié)果，他在開源的CelebA數(shù)據(jù)集上進行的訓練，該數(shù)據(jù)集含有經(jīng)過標記的名人人臉圖像。在下方的案例中，數(shù)據(jù)集中的人臉根據(jù)頭發(fā)顏色進行了分類，每兩組數(shù)都有一個ROC曲線和針對預測的混淆矩陣，以及設(shè)置了模型判斷人臉在微笑的信心有多少。在這個案例中，兩組數(shù)據(jù)的置信區(qū)間是用該工具自動設(shè)置的，從而保證公平性。

比較兩部分數(shù)據(jù)在微笑探測器上的性能

Demos

為了說明What-If工具的能力，我們用預訓練模型展示了一套demo：

檢測錯誤分類：一個多種類分類模型，它可以從眾多植物中預測某株植物的種類。這一工具在展示模型決策邊界、判斷如何造成錯誤分類時是非常有用的。模型是在UCI iris數(shù)據(jù)集上進行訓練的。

評估二元分類模型中的公平性：正是上文中我們提到的微笑探測模型。What-If工具可以幫助我們在多個分類中評估算法公平性。模型在訓練時沒有提供任何具體任務(wù)的圖片，為的就是證明What-If工具能如何幫助模型解除偏見。評估公平性需要仔細考慮所有語境，但這的確是有用的量化起始點。

在不同子集中研究模型性能：例如一個可以預測目標對象年齡的回歸模型，What-If工具就可以展示與模型相關(guān)的其他子集上的性能信息，以及不同的特征是如何影響預測結(jié)果的。模型同樣是在UCI人口普查數(shù)據(jù)集上進行的訓練。

在實際中應(yīng)用What-If工具

我們在谷歌內(nèi)部團隊中對What-If進行了測試，發(fā)現(xiàn)了它的很多好處。其中一個團隊很快就發(fā)現(xiàn)了他們的模型忽視了數(shù)據(jù)集中的一個重要的特征，從而修復了之前沒有發(fā)現(xiàn)的代碼bug。另一個團隊用該工具對它們的樣本性能進行從優(yōu)到劣的可視化排序，讓他們看到了模型樣本的類型構(gòu)成。

不論是谷歌的員工還是其他領(lǐng)域的從業(yè)者，我們都希望這款工具能讓用戶更好地了解機器學習模型，并對公平性有所了解。另外，此工具的代碼是開源的，歡迎大家嘗試并提出意見。