前言：6年前，微軟推出智能聊天機器人Tay，因她從不良用戶那里“學壞”，小姑娘只好被下線結束了短暫的生命。最近，微軟投資OpenAI推出了ChatGPT，它在安全性上一定大有改善，但是人工智能帶來的安全風險有很多未知數，在這篇文章中提出了他對ChatGPT安全問題的見解，這對用戶、廠商、監管部門都很有參考價值，CSA大中華區專家們快速將此文翻譯為中文，希望也懂中文的ChatGPT能在中外都經受考驗成為人們的終生聊天好伙伴。 李雨航 Yale Li CSA 大中華區主席兼研究院院長 ?

ChatGPT 是 OpenAI 開發的大型語言模型。它使用機器學習技術根據接收到的輸入生成類似人類的文本。它在人工生成的大量文本數據集上進行訓練，可以針對各種自然語言處理任務進行微調，例如：語言翻譯、對話生成和問答。ChatGPT 可用于在聊天機器人應用程序和自動化客戶服務交互中生成類似人類的響應。然而，它的功能也使其成為尋求便于網絡攻擊的惡意行為者的潛在工具。

向ChatGPT提出了四個問題，其目的是創建一份報告草案，從四個方面討論 ChatGPT對安全的影響：ChatGPT如何被惡意行為者用來網絡攻擊？企業如何使用 ChatGPT 改進網絡安全計劃？ChatGPT 如何被直接攻擊而產生不正確或其他不好的結果？我們如何使企業能夠安全地使用ChatGPT？以下是由ChatGPT生成的回答。

01、ChatGPT 如何被惡意行為者用來網絡攻擊?

惡意行為者可能會使用 ChatGPT 或類似的語言模型通過以下幾種方式提高其網絡攻擊的有效性：

1.社會工程：通過使用來自社交媒體或其他來源的大量文本數據訓練模型，攻擊者可以使用它生成極具說服力的網絡釣?電子郵件或消息，旨在誘騙受害者泄露敏感信息。

2.撞庫攻擊：攻擊者可以使用語言模型生成大量可用于對在線帳戶進行自動攻擊的潛在用戶名和密碼組合進行撞庫攻擊。

3.垃圾郵件和虛假信息：惡意行為者可以使用語言模型來生成大量旨在影響公眾輿論或傳播錯誤信息的垃圾郵件或虛假信息。

4.生成惡意軟件：利用自然語言編寫的能力，攻擊者可以使用 ChatGPT 編寫惡意軟件說明和指令，從而逃避防病毒軟件的檢測。

5.創建虛假社交媒體資料或聊天機器人帳戶：惡意行為者可以使用ChatGPT從受害者那里收集敏感信息，這些虛假資料可用于冒充真實的人或組織來誘騙受害者提供個人信息，例如登錄憑據或信用卡號。

6.生成旨在操縱或欺騙受害者的自動消息：惡意行為者可以使用ChatGPT 在社交媒體或論壇上生成數千條自動消息，傳播虛假信息或宣傳以影響公眾輿論或破壞政治活動。 請務必注意，這些只是如何在攻擊中使用ChatGPT語言模型的可能示例，單獨使用語言模型無法執行任何這些操作，但它可以輔助攻擊者自動化和提高攻擊的有效性。

02、企業如何使用 ChatGPT 改進網絡安全計劃?

企業可以使用 ChatGPT 或類似的語言模型以多種方式改進其網絡安全計劃：

1.釣?檢測：通過訓練釣?郵件的語言模型和消息，分析傳入的電子郵件和消息的文本與已知網絡釣?示例的相似之處，企業可以使用它來檢測新的網絡釣?嘗試。

2.密碼破解：企業可以使用語言模型生成潛在的密碼組合，可用于測試自己密碼的強度或識別需要更改的弱密碼。

3.惡意軟件檢測：企業可以使用語言模型來分析惡意軟件的說明和指令，以識別惡意軟件中 常用的語言模式，這有助于檢測新的惡意軟件變體。

4.網絡威脅情報：企業可以使用語言模型來分析來自各種來源 ?(例如：社交媒體)的大量文本數據，以識別潛在的網絡威脅并了解攻擊者使用的戰術、技術和程序（TTP）。

5.自動事件響應：可以使用語言模型生成對某些類型的網絡事件的自動響應，例如：阻止 IP 地址或關閉服務。 需要注意的是，這些只是如何使用語言模型來提高網絡安全的示例，它不是靈丹妙藥，它應該與其他網絡安全工具和最佳實踐結合使用。

像 ChatGPT 這樣的工具可以通過幾種方式幫助記錄信息安全管理程序：

1.生成策略模板：ChatGPT可以在現有信息上對安全策略和法規進行訓練，生成合規的策略模板以符合特定標準，例如：ISO 27001 或 HIPAA。這可以為企業節省時間和資源。

2.自動更新政策：ChatGPT 可用于自動更新政策以響應法規或行業標準的變化。

3.一致性和標準化：ChatGPT 有助于確保所有信息安全政策和程序的一致性和標準化。

4.生成事件響應計劃：ChatGPT 可以針對事件對響應最佳實踐和模板進行訓練，以生成可定制的事件響應計劃以滿足企業的特定需求。

5.合規文檔：ChatGPT針對合規培訓要求和行業標準進行訓練，以協助生成合規性文件。

需要注意的是：雖然 ChatGPT 可以幫助記錄信息安全管理程序，但不應將其用作人類專業知 識和判斷的替代品。模型生成的方針政策和程序應由具有特定標準或法規專業知識的合格專業人員審查和批準。此外，組織應該有一個流程來隨著企業和威脅形勢的變化不斷審查和更新方針政策和程序。

企業應該具備許多不同類型的信息安全策略來保護敏感數據和系統。其中最重要的包括：

1. 訪問控制策略：該政策介紹了僅允許獲得授權的個人訪問敏感信息和系統的程序和控制措施。

2. 事件響應策略：該策略介紹了企業在發生數據泄露或網絡攻擊等安全事件時將采取的步驟。

3. 數據分類策略：該策略定義了企業處理的不同類型的數據，例如機密、個人或公共數據，以及每種類型數據所需的保護級別。

4. 密碼策略：該策略介紹了創建和管理強密碼的要求，例如長度、復雜度和有效期。

5. 網絡安全策略：該策略介紹了企業為保護其網絡基礎設施而采取的措施，例如防火墻、入侵檢測系統和 VPN。

6. 合規策略：該策略介紹了企業必須遵守的合規要求，例如 HIPAA、PCI?DSS、SOX 等。

7. 移動設備策略：該策略介紹了企業內使用的移動設備（例如智能手機和平板電腦）的安全要求 。

?8. 云安全策略：該策略介紹了基于云的服務的安全措施，例如數據加密、訪問控制和事件響應。需要注意的是，這些只是企業應該具備的策略示例，具體策略將根據企業的行業、規模和處理的數據類型而有所不同。

03、ChatGPT 如何被直接攻擊而產生不正確或其他不好的結果?

ChatGPT 與任何機器學習模型一樣，可以被多種方式直接攻擊從而產生不正確或其他不好結果。可以直接攻擊ChatGPT的方式包括：

1. 對抗樣本：攻擊者通過創建經過特殊設計的輸入，以讓 ChatGPT 產生不正確或誤導性的結果。這被稱為對抗樣本，可以通過向輸入數據添加細微或精心選擇的擾動來實現。

2. 過擬合：在有限的數據集上訓練ChatGPT會導致過擬合，使模型在新的、未見過的數據上表現不佳。(?過擬合：過擬合是一種不受歡迎的機器學習行為，當機器學習模型為訓練數據提供準確的預測而不是新數據時，就會發生這種行為 ) 3.數據投毒：攻擊者通過將惡意數據注入到用于訓練ChatGPT模型的訓練集中，以讓模型產生不正確或誤 導性的結果。

4. 模型竊取：攻擊者通過獲取訓練過的 ChatGPT 模型的參數，并使用這些參數創建建具有類似功能的新模型，以讓新模型產生不正確或誤導性的結果。

5. 分布式拒絕服務 (DDoS) 攻擊：攻擊者可以發起 DDoS攻擊托管 ChatGPT 的服務器，導致其不可用或返回不正確或誤導性的結果。

6. 隱私泄露：攻擊者未經授權訪問用于訓練 ChatGPT 的數據，可能暴露敏感信息并導致模型產生不正確或誤導性的結果。

7. 反饋循環：攻擊者可以通過不斷向模型提供虛假或誤導性信息來引起反饋循環，導致模型隨著時間 的推移產生不正確或誤導性的結果。 為了減輕這些攻擊，企業應該使用健壯的安全協議，例如加密和訪問控制，并定期監控和審計他們的 ChatGPT 使用情況。此外，企業應使用數據驗證、數據清洗和數據調整等技術預防對抗樣本和數據投毒。

04、我們如何使企業能夠安全地使用ChatGPT？

企業使用 ChatGPT 保護公司敏感信息和消費者數據的指南：

1. 識別敏感信息：在使用ChatGPT之前，企業應該識別被視為敏感的信息類型，例如財務數據、個人信息和機密商業信息。

2. 限制對敏感信息的訪問：對敏感信息的訪問應該是僅限于有業務需求并接受過正確數據處理程序培訓的人員。

3. 使用數據脫敏：企業應該使用數據脫敏技術來隱藏敏感信息，例如使用占位符字符或隨機化數據字段。

4.實施安全控制協議：企業應該實施安全協議防止未經授權的訪問，例如使用加密和SSL證書連接。

5. 定期監控使用情況：企業應定期監控 ChatGPT 的使用情況，以發現和預防任何未經授權的訪問或敏感信息濫用。

6. 定期進行安全審計：企業應定期進行安全審計，以發現和解決使用 ChatGPT 中可能存在的漏洞。

7. 保持軟件更新：企業應確保他們使用最新版本的 ChatGPT 和任何相關軟件，因為更新可能包括安全修復。

8. 對客戶保持透明：如果一家公司使用 ChatGPT 為客戶提供服務，應向客戶明示對其使用、收集了哪些數據以及如何使用這些數據。

9. 培訓員工：企業應培訓員工如何處理敏感信息和正確使用 ChatGPT 以防止意外泄露。通過遵循這些準則，企業可以在使用 ChatGPT 時保護公司敏感信息和客戶數據。

附錄：ChatGPT 關于? “總結?CSA 頂級威脅報告”的回答 確定了云計算的十一種主要威脅。這些威脅包括：

1. 數據泄露：當未經授權的個人訪問敏感信息時，就會發生數據泄露。在云中，數據泄露可能是由于缺乏適當的訪問控制、弱密碼和其他安全漏洞造成的。

2. 賬戶或服務流量劫持：這種威脅發生在攻擊者采取通過用戶帳戶或將流量重定向到虛假版本的服務。這可以是通過網絡釣?、惡意軟件或其他惡意策略完成。

3. 內部威脅：內部威脅包括員工、承包商或其他有權訪問云環境但將其用于惡意目的的個人。這可能包括竊取敏感信息、刪除或修改數據，或者對系統發起攻擊。

4. 高級持續威脅 (APT)：APT 是復雜的攻擊，使用多個階段和技術來獲取對系統的訪問權限、泄露數據并保持對被入侵系統的控制。APT可以由民族國家、有組織的犯罪集團或其他行為者發起。

5. 濫用和惡意使用云服務：這種威脅發生在云服務服務用于非法活動，例如托管惡意軟件、分發垃圾郵件或進行 DDoS 攻擊。

6.共享技術漏洞：云提供商經常使用共享基礎設施，例如管理程序和存儲系統，它們可能會引入可被攻擊者利用的漏洞。

7. 惡意內部人員：惡意內部人員是指有意或無意濫用其對云環境的訪問權限的員工、承包商或第三方供應商。

8. 云提供商漏洞：云提供商的系統中可能存在漏洞，攻擊者可以利用這些漏洞訪問客戶數據或對其他系統發起攻擊。

9. 數據丟失：數據丟失可能由于硬件故障、軟件錯誤或其他問題而導致的。在云中，數據丟失也可能是由于缺乏適當的備份或災難恢復計劃造成的。

10. 配置錯誤：當云環境配置不當時，可能會發生配置錯誤，從而導致安全漏洞或數據泄露。

11. 有限的可見性：對云環境的有限可見性會使企業難以檢測和響應安全威脅。 為了防范這些威脅，企業應該實施強大的安全控制，例如加密和訪問控制，定期監控和審計他們的云使用情況，并制定事件響應計劃。此外，企業組織應確保其云提供商具有強大的安全控制和事件響應能力。

編輯：黃飛

?