01

Llama3簡介

Llama3 是Meta最新發布的開源大語言模型(LLM), 當前已開源8B和70B參數量的預訓練模型權重，并支持指令微調。詳情參見：

https://ai.meta.com/blog/meta-llama-3/

Llama3性能優異，8B和70B參數模型的性能在chatbot-arena-leaderboard中皆進入前十；LLama-3-70b-Instruct僅次于閉源的GPT-4系列模型。

排行榜鏈接：

https://chat.lmsys.org/?leaderboard

魔搭社區已提供Llama3 8B和70B模型的預訓練權重下載，實測下載速度平均34MB/s。

請讀者用下面的命令把Meta-Llama-3-8B模型的預訓練權重下載到本地待用。

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B.git
git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-70B.git

算力魔方是一款可以DIY的迷你主機，采用了抽屜式設計，后續組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊，再搭配不同的 IO 模塊可以組成豐富的配置，適應不同場景。

性能不夠時，可以升級計算模塊提升算力；IO 接口不匹配時，可以更換 IO 模塊調整功能，而無需重構整個系統。

本文以下所有步驟將在帶有英特爾i7-1265U處理器的算力魔方上完成驗證。

02

三步完成Llama3的INT4量化和本地部署

把Meta-Llama-3-8B模型的預訓練權重下載到本地后，接下來本文將依次介紹基于Optimum Intel工具將Llama進行INT4量化，并完成本地部署。

Optimum Intel作為Transformers和Diffusers庫與Intel提供的各種優化工具之間的接口層，它給開發者提供了一種簡便的使用方式，讓這兩個庫能夠利用Intel針對硬件優化的技術，例如：OpenVINO、IPEX等，加速基于Transformer或Diffusion構架的AI大模型在英特爾硬件上的推理計算性能。

Optimum Intel代碼倉連接：

https://github.com/huggingface/optimum-intel。

01

第一步，搭建開發環境

請下載并安裝Anaconda，然后用下面的命令創建并激活名為optimum_intel的虛擬環境：

conda create -n optimum_intel python=3.11 #創建虛擬環境
conda activate optimum_intel        #激活虛擬環境
python -m pip install --upgrade pip     #升級pip到最新版本

由于Optimum Intel代碼迭代速度很快，請用從源代碼安裝的方式，安裝Optimum Intel和其依賴項openvino與nncf。

python -m pip install "optimum-intel[openvino,nncf]"@git+https://github.com/huggingface/optimum-intel.git

02

第二步，用optimum-cli對Llama3模型進行INT4量化

optimum-cli是Optimum Intel自帶的跨平臺命令行工具，可以不用編寫量化代碼，實現對Llama3模型的量化。

執行命令將Llama3-8B模型量化為INT4 OpenVINO格式模型：

optimum-cli export openvino --model D:llama3Meta-Llama-3-8B --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.8 --sym llama3_int4_ov_model

03

第三步：編寫推理程序llama3_int4_ov_infer.py

基于Optimum Intel工具包的API函數編寫Llama3的推理程序，非常簡單，只需要調用六個API函數：

1.

初始化OpenVINO Core對象：ov.Core()

2.

編譯并載入Llama3模型到指定DEVICE：OVModelForCausalLM.from_pretrained()

3.

實例化Llama3模型的Tokenizer：tok=AutoTokenizer.from_pretrained()

4.

將自然語言轉換為Token序列：tok(question, return_tensors="pt", **{})

5.

生成答案的Token序列：ov_model.generate()

6.

將答案Token序列解碼為自然語言：tok.batch_decode()

完整范例程序如下所示，下載鏈接：

import openvino as ov
from transformers import AutoConfig, AutoTokenizer
from optimum.intel.openvino import OVModelForCausalLM


# 初始化OpenVINO Core對象
core = ov.Core()
ov_config = {"PERFORMANCE_HINT": "LATENCY", "NUM_STREAMS": "1", "CACHE_DIR": ""}
model_dir = "d:\llama3_int4_ov_model" #llama3 int4模型路徑
DEVICE = "CPU" #可更換為"GPU", "AUTO"...
# 編譯并載入Llama3模型到DEVICE
ov_model = OVModelForCausalLM.from_pretrained(
  model_dir,
  device=DEVICE,
  ov_config=ov_config,
  config=AutoConfig.from_pretrained(model_dir, trust_remote_code=True),
  trust_remote_code=True,
)
# 載入Llama3模型的Tokenizer
tok = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
# 設置問題
question = "What's the OpenVINO?" 
# 將自然語言轉換為Token序列
input_tokens = tok(question, return_tensors="pt", **{})
# 生成答案的Token序列
answer = ov_model.generate(**input_tokens, max_new_tokens=128)
# 將答案Token序列解碼為自然語言并顯示
print(tok.batch_decode(answer, skip_special_tokens=True)[0])

運行llama3_int4_ov_infer.py：

python llama3_int4_ov_infer.py

運行結果，如下所示：

03

構建圖形化的Llama3 demo

請先安裝依賴軟件包：

pip install gradio mdtex2html streamlit -i https://mirrors.aliyun.com/pypi/simple/

下載范例程序：

然后運行：

python llama3_webui.py

運行結果如下：

04

總結

Optimum Intel工具包簡單易用，僅需三步即可完成開發環境搭建、LLama模型INT4量化和推理程序開發?；贠ptimum Intel工具包開發Llama3推理程序僅需調用六個API函數，方便快捷的實現將Llama3本地化部署在基于英特爾處理器的算力魔方上。

審核編輯：劉清