來自加利福尼亞州歐文分校的艾倫人工智能研究所和研究人員發布了AllenNLP Interpret，該工具包用于解釋自然語言處理（NLP）模型的結果。可擴展的工具包包括用于解釋和可視化組件的幾種內置方法，以及使用AllenNLP Interpret解釋包含BERT和RoBERTa的最新NLP模型的結果的示例。

在arXiv上發表的一篇論文中，研究團隊更詳細地描述了該工具包。AllenNLP Interpret使用兩種基于梯度的解釋方法：顯著性圖，確定輸入句子中的每個單詞或“標記”對模型的預測有多大作用;以及對抗攻擊，嘗試刪除或更改輸入中的單詞，同時仍保持來自模型的相同預測。這些技術可用于各種NLP任務和模型架構。這些實現使用一組通用的API和可視化組件，為將來開發其他技術和模型支持提供了框架。

隨著公司越來越多地使用AI來自動提供問題的答案，用戶想知道為什么 AI會給出給定的答案。例如，在檢測到信用卡交易欺詐的情況下，該交易特別暗示欺詐嗎？

對模型如何產生答案的解釋對于模型開發人員了解面對新數據時系統將如何泛化的能力也很重要。AllenNLP Interpret研究人員Sameer Singh經常引用該模型來區分狼和狗，但實際上只是學會了檢測雪。

對于某些機器學習算法，解釋很簡單：例如，決策樹只是一系列if / then規則。但是，深度學習模型的輸出可能更難以解釋。

辛格的先前工作包括LIME，它使用線性逼近來解釋更復雜模型的預測。AllenNLP Interpret使用基于梯度的方法，該方法可測量輸入要素對輸出的影響。由于計算此梯度是深度學習培訓的關鍵組成部分，因此這些方法可以應用于任何深度學習模型。

盡管這些技術是通用的，但AllenNLP Interpret旨在用于NLP。NLP系統的輸入是文本字符串，通常是句子或整個文檔，然后將文本解析為其組成詞或標記。AllenNLP Interpret包括顯著性圖，顯示每個標記對模型預測的貢獻;一個用例可能是解釋句子中的哪些單詞導致其情感被分為正面或負面。

該工具包還包括兩個對抗方法，這些方法顯示了更改輸入中的標記如何影響輸出。第一，HotFlip，用其他單詞替換斜率最高的輸入單詞，直到模型輸出更改。另一種攻擊是輸入縮減，它會反復刪除坡度最小的單詞，而不會更改輸出。這導致輸入文本“通常是無意義的，但會引起高置信度預測”。