隨著智能化的深入發(fā)展，大模型的時(shí)代已經(jīng)到來(lái)。現(xiàn)在，大模型如雨后春筍般層出不窮，微軟 Azure OpenAI 等新服務(wù)的推出，不斷開(kāi)創(chuàng)著人機(jī)交互的新形態(tài)，也在助力每一位開(kāi)發(fā)者把握技術(shù)變革帶來(lái)的創(chuàng)新機(jī)遇，構(gòu)建更多創(chuàng)新應(yīng)用，釋放數(shù)據(jù)價(jià)值，加速降本增效。

但在大模型實(shí)際應(yīng)用的過(guò)程中，還面臨著海量的知識(shí)庫(kù)數(shù)據(jù)難梳理、難理解，大語(yǔ)言模型 LLM 應(yīng)用安全性等挑戰(zhàn)。智能技術(shù)如何助力企業(yè)化解大模型應(yīng)用中的種種挑戰(zhàn)和難題？

本期【比特熊充電棧】聯(lián)名系列，特邀凱捷咨詢(中國(guó))有限公司工程師王勝楊和 NVIDIA 企業(yè)級(jí)開(kāi)發(fā)者社區(qū)經(jīng)理李奕澎，解讀 Microsoft Build 中國(guó)黑客松挑戰(zhàn)賽 AOAI 企業(yè)解決方案，及 NVIDIA NeMo Guardrails，化解應(yīng)用挑戰(zhàn)，加速應(yīng)用智能化更新。

王勝楊

凱捷咨詢(中國(guó))有限公司工程師

云原生，DevOps，Azure

李奕澎

NVIDIA 企業(yè)級(jí)開(kāi)發(fā)者社區(qū)經(jīng)理

NLP，Conversational-AI，LLM

海量醫(yī)療文獻(xiàn)數(shù)據(jù)難研究？

基于 Azure OpenAI 搭建論文研究助手

生命科學(xué)行業(yè)，在基因組單細(xì)胞和空間轉(zhuǎn)錄的醫(yī)學(xué)應(yīng)用中，主題知識(shí)庫(kù)不可或缺。但現(xiàn)有知識(shí)庫(kù)的建設(shè)，需要大量人工去校正和審核，導(dǎo)致新知識(shí)共享非常緩慢。想要構(gòu)建生命科學(xué)行業(yè)全新知識(shí)庫(kù)，加速科學(xué)研究與醫(yī)學(xué)應(yīng)用，輔助藥物研發(fā)或臨床決策，還面臨三大難點(diǎn)：

?快：如何從海量文獻(xiàn)提取醫(yī)學(xué)專業(yè)的實(shí)體信息？

?準(zhǔn)：專業(yè)要求高，如何能理解醫(yī)學(xué)專業(yè)文獻(xiàn)，理解文獻(xiàn)的總思路？

?狠：如何總結(jié)文獻(xiàn)關(guān)鍵信息，提升科研工作效率與成功的可能性？

智能技術(shù)如何促進(jìn)生命科學(xué)行業(yè)轉(zhuǎn)型升級(jí)？借助大語(yǔ)言模型的自然語(yǔ)言理解能力及自然語(yǔ)言生成能力，能從海量數(shù)據(jù)中快速提取出有效信息，并理解專業(yè)醫(yī)學(xué)文獻(xiàn)的關(guān)鍵信息。

凱捷咨詢基于 Azure OpenAI 搭建論文研究助手，使用 Azure OpenAI 對(duì)用戶問(wèn)題意圖進(jìn)行意圖判斷；利用 Azure OpenAI NLU 和 NLG 功能，加速業(yè)務(wù)人員對(duì)專業(yè)論文的概括、總結(jié)、實(shí)體提取等；集成 Lang chain 和自定義 Tool，構(gòu)建針對(duì) DOI 的論文下載管道；文件上傳至 Embedding 管道，方便日后重復(fù)對(duì)某篇論文進(jìn)行進(jìn)一步研究；集成 LangSmith，實(shí)現(xiàn)對(duì) GPT 調(diào)用的的監(jiān)視。

?知識(shí)圖譜功能：通過(guò)角色扮演的方式，讓 GPT 作為基因領(lǐng)域的專家，為不熟悉醫(yī)學(xué)專業(yè)名詞的技術(shù)人員提供關(guān)鍵詞，通過(guò) Azure Search，對(duì)文章進(jìn)行關(guān)鍵詞提取，以此來(lái)構(gòu)建知識(shí)圖譜。

?論文研究 Copilot：當(dāng)不想閱讀或遇到不熟悉的關(guān)鍵詞時(shí)，選中文章就能進(jìn)行段落實(shí)時(shí)總結(jié)、名詞解釋、段落概括和翻譯。

大模型安全難掌控？

基于 Azure 結(jié)合 NeMo Guardrails 構(gòu)建 LLM 可編程護(hù)欄

大語(yǔ)言模型 LLM 是功能強(qiáng)大的工具，企業(yè)和開(kāi)發(fā)者都在探索 LLM 的落地應(yīng)用，但在實(shí)際使用過(guò)程中也存在著大量的風(fēng)險(xiǎn)。用戶可能會(huì)接觸到 LLM 生成的不當(dāng)、有害和有偏見(jiàn)的內(nèi)容，甚至是危險(xiǎn)信息，存在安全隱患。

智能技術(shù)如何為 LLM 應(yīng)用戴上安全“護(hù)欄”？NVIDIA NeMo Guardrails 是一個(gè)開(kāi)源工具庫(kù)，致力于使 LLM 大語(yǔ)言模型的使用更加合法合規(guī)。它可以輕松將可編程護(hù)欄添加到基于 LLM 的對(duì)話系統(tǒng)中，控制大型語(yǔ)言模型輸出的特定方式，例如不談?wù)撨`規(guī)內(nèi)客、以特定方式響應(yīng)特定用戶請(qǐng)求、遵循預(yù)定義的對(duì)話路徑、使用特定語(yǔ)言風(fēng)格、提取結(jié)構(gòu)化數(shù)據(jù)等。NeMo Guardrails 的核心價(jià)值是能夠編寫防護(hù)圍欄來(lái)指導(dǎo)對(duì)話，定義 LLM 驅(qū)動(dòng)的機(jī)器人在某些主題上的行為，構(gòu)建值得信賴、安全可靠的 LLM 對(duì)話系統(tǒng)。

? 話題限定護(hù)欄 (topical guardrails)：防止大模型“跑題”；

?對(duì)話安全護(hù)欄 (safety guardrails)：避免大模型輸出時(shí)“胡言亂語(yǔ)”；

?攻擊防御護(hù)欄 (security guardrails)：防止 AI 平臺(tái)收到惡意攻擊。

基于 Azure 云平臺(tái)將 NeMo Guardrails 與 Azure OpenAI 相結(jié)合，能快速為 Azure OpenAI 中的 ChatGPT 大模型添加 LLM 可編程護(hù)欄系統(tǒng)，避免潛在風(fēng)險(xiǎn)。構(gòu)建 LLM 可編程護(hù)欄的步驟如下：

? 申請(qǐng) Azure 賬號(hào)；

? 開(kāi)通 Azure Machine Learning 服務(wù)（注意選擇計(jì)算資源）；

?打開(kāi)終端執(zhí)行：安裝 OpenAI、NeMo Guardrails；

?開(kāi)通 Azure OpenAI 服務(wù)，導(dǎo)入 NeMo Guardrails 大模型護(hù)欄及護(hù)欄配置文件工具類/從 langchain 中導(dǎo)入 Azure Chat OpenAI 工具類，傳入 Azure OpenAI 的 API-KEY、endpoint、deployment_name 等關(guān)鍵參數(shù)；

?在Azure Machine Learning中，把NeMo Guardrails 與 Azure OpenAI 結(jié)合使用，讀取配置文件和 Colang 文件，進(jìn)行人機(jī)交互對(duì)話邏輯的設(shè)計(jì)，構(gòu)建更加安全可靠的 LLM 對(duì)話引擎。

想了解更多 NeMo Guardrails 與 Azure OpenAI 的結(jié)合使用的操作指南和干貨知識(shí)，點(diǎn)擊文末“閱讀原文”，就可以回看【比特熊充電棧】學(xué)習(xí)實(shí)踐。

掃描比特熊個(gè)熊微信二維碼

加入【比特熊粉絲后援會(huì)】

與開(kāi)發(fā)者一起嗨聊，期待成為你的好友~