描述

介紹

最近，我參加了一項名為“ Azure Data and AI Challenge ”的云技能挑戰(zhàn)賽，該挑戰(zhàn)賽由微軟發(fā)起，旨在讓開發(fā)人員在探索多樣性和包容性的旅程中學(xué)習(xí) Azure Data & AI 技術(shù)以及可訪問性。看法。就我而言，我非常喜歡這種學(xué)習(xí)形式，因為每個模塊都包含明確的目的、詳細(xì)的概念解釋、分步教程，以及免費的 Azure 云資源供用戶練習(xí)。這讓我想起了我在課堂上的經(jīng)歷。我們不僅要知道“什么”，還要學(xué)會知道“怎么做”。

我遇到的一個特殊學(xué)習(xí)模塊稱為“使用自定義視覺分類瀕危鳥類”。在本模塊中，我們使用 Azure 認(rèn)知服務(wù)自定義視覺創(chuàng)建模型來識別鳥類的種類！更具體地說，我們可以構(gòu)建一個機(jī)器學(xué)習(xí)模型，該模型將按物種識別圖像中的鳥類。

巧合的是，上周有一個鴿子家庭加入了我們，并在我的窗前筑了一個巢。多么驚喜！今天早上他們在巢里下了兩個蛋。這些小動物給我們帶來了無盡的快樂。我兒子總是盡可能靠近窗戶仔細(xì)觀察它們。然而，當(dāng)人類靠近時，鴿子看起來有點害怕。

完成學(xué)習(xí)后，我想到了一個主意。為什么不使用 Azure 自定義視覺來識別我們窗戶旁邊的鳥呢？但是，如果按照上面提供的學(xué)習(xí)路徑中的步驟，我們應(yīng)該在PC上上傳圖像并得到結(jié)果，這對于實時監(jiān)控來說是相當(dāng)不便的。經(jīng)過一番思考，我決定用樹莓派和網(wǎng)絡(luò)攝像頭作為物聯(lián)網(wǎng)終端來實現(xiàn)日常監(jiān)控。然后，我們不必出現(xiàn)在窗戶旁邊看鳥。PIR 傳感器將觸發(fā)過程拍攝圖像，并將圖像傳輸?shù)?Azure 自定義視覺以獲取檢測結(jié)果。然后，Raspberry Pi 會將結(jié)果圖像上傳到 Azure Blob 存儲，該存儲可從 Internet 隨處訪問。

如果你對這個項目感興趣，你可以學(xué)習(xí)我在這個集合中創(chuàng)建的路徑：AI Bird的集合。我已邀請我的朋友在 Twitter：Twitter Post上完成學(xué)習(xí)模塊。完成這些模塊后，您就迫不及待地基于 Azure AI 和 IoT 技術(shù)制作自己的項目。

系統(tǒng)總覽

如圖2所示，整個系統(tǒng)由Raspberry Pi終端、Azure Custom Vision、Azure Blob Storage和用戶設(shè)備組成。我們將 USB 網(wǎng)絡(luò)攝像頭（或 Raspberry Pi 官方攝像頭）和 PIR 傳感器連接到 Raspberry Pi 以進(jìn)行圖像捕捉和鳥類檢測。一旦鳥靠近 PIR 傳感器，它就會向 Raspberry Pi 發(fā)送信號，表明某種動物正在接近。然后樹莓派會通過攝像頭拍照并發(fā)送到 Azure Custom Vision 服務(wù)獲取結(jié)果。我們將使用 PIL 庫繪制一個矩形來突出顯示我們在圖片中檢測到的對象。最后，樹莓派會將圖片上傳到 Azure Blob Storage 供用戶在任何地方查看。

硬件

微軟 LifeCam HD-3000

樹莓派

PIR 傳感器

HMDI 屏幕（可選）

Azure 資源

我們將在項目中使用 Microsoft 帳戶。如果沒有，請申請一個。我們在這個項目中使用的所有資源都作為沙箱提供。沙盒只能用于完成 Microsoft Learn 培訓(xùn)。禁止出于任何其他原因使用，并可能導(dǎo)致永久失去對沙盒的訪問權(quán)限。請注意，您沙箱中的所有資源在 4 小時內(nèi)可用。一旦時間到了，它們將被丟棄。

項目指導(dǎo)

步驟 1 至步驟 6 與模塊“使用自定義視覺分類瀕危鳥類”中的步驟非常相似。不同之處在于我們在這里創(chuàng)建了一個對象檢測項目而不是分類項目。如果你只是想實現(xiàn)鳥類的分類，請參考學(xué)習(xí)模塊中提供的步驟。

1. 下載數(shù)據(jù)集

數(shù)據(jù)是我們創(chuàng)建機(jī)器學(xué)習(xí)模型所需的第一件事。我們將使用來自康奈爾實驗室的 NABirds 數(shù)據(jù)集的一個子集來訓(xùn)練我們的模型。下載包含數(shù)據(jù)集的 zip 文件：bird-photos.zip

下載完成后，解壓縮文件，如圖 3 所示。記下文件夾位置，因為您將在后面的步驟中需要它。我們會發(fā)現(xiàn)，這個褶皺里總共有 16 種鳥類。每種包括大約 120 張圖像。

2. 創(chuàng)建自定義視覺 API 資源

接下來，我們將在 Azure 認(rèn)知服務(wù)自定義愿景中創(chuàng)建一個 API 資源。

在 Azure 門戶中，選擇“創(chuàng)建資源”。

搜索自定義視覺。在搜索結(jié)果的自定義視覺卡中，選擇創(chuàng)建。

在 Basics 選項卡上，輸入或選擇所需的值：

? 選擇您的 Azure 訂閱。如果我們使用沙盒，默認(rèn)訂閱是 Concierge Subscription。

? 默認(rèn)資源組為 learn-******

? 輸入新自定義視覺服務(wù)資源的名稱（例如，BirdCustomVisionDemo）。

? 在培訓(xùn)資源下：將培訓(xùn)位置設(shè)置為最近的點。

? 將培訓(xùn)定價層設(shè)置為免費 F0（每秒 2 次交易）。

? 在預(yù)測資源下：

? 將預(yù)測位置設(shè)置為我們在上面選擇的位置。

? 將預(yù)測定價層設(shè)置為免費 F0（每秒 2 次交易）。

? 選擇查看 + 創(chuàng)建。

? 選擇創(chuàng)建。

詳情請參閱圖 4。

3.上傳數(shù)據(jù)

上傳圖片有兩種方式。首先，在自定義視覺門戶中，我們可以選擇、上傳、然后標(biāo)記圖像。或者，如果我們有大量數(shù)據(jù)、圖像類和標(biāo)簽要上傳，我們可以使用自定義視覺 SDK。在這里，我們使用自定義視覺門戶進(jìn)行圖像上傳。

轉(zhuǎn)到https://www.customvision.ai/projects并登錄。選擇新建項目。

在創(chuàng)建新項目中：

? 對于名稱，輸入您選擇的項目名稱。

? 對于描述，輸入模型的簡短描述。（例如，DetectBirds）。

? 對于資源組，選擇您在 Azure 門戶中創(chuàng)建的資源組。

? 對于項目類型，選擇對象檢測。

? 對于域，選擇常規(guī)。有關(guān)詳細(xì)信息，請參見圖 5。

選擇創(chuàng)建項目。

現(xiàn)在，是時候在圖片中為鳥類添加圖像和標(biāo)簽了。在您的自定義視覺項目中，選擇添加圖像。

在Open中，轉(zhuǎn)到從數(shù)據(jù)集 zip 文件中提取圖像文件的birds-photo 文件夾。

打開鳥類物種文件夾。

選擇Ctrl + A以選擇物種文件夾中的所有圖像，然后選擇Open 。

上傳后，我們應(yīng)該在每張圖片中標(biāo)記對象。詳情請參閱圖 6。

重復(fù)上述步驟，上傳下載數(shù)據(jù)集中每個鳥類文件夾中的照片。

4. 訓(xùn)練數(shù)據(jù)

我們已經(jīng)在自定義視覺中創(chuàng)建了我們的數(shù)據(jù)集。現(xiàn)在，是時候訓(xùn)練我們的模型了。在自定義視覺門戶中，選擇我們的項目。在頂部菜單欄中，選擇訓(xùn)練。在選擇培訓(xùn)類型中，選擇快速培訓(xùn)，然后選擇培訓(xùn)。如圖 7 所示。

訓(xùn)練完成后，有關(guān)模型如何為訓(xùn)練迭代執(zhí)行的信息如圖 8 所示。

當(dāng)我們測試您的模型時，Custom Vision 會顯示三個指標(biāo)。指標(biāo)是可以幫助您了解模型執(zhí)行情況的指標(biāo)。這些指標(biāo)并不表明模型的真實性或準(zhǔn)確性。指標(biāo)僅告訴您模型對您提供的數(shù)據(jù)的執(zhí)行情況。模型在已知數(shù)據(jù)上的表現(xiàn)如何讓您了解模型在新數(shù)據(jù)上的表現(xiàn)。

精度：如果您的模型預(yù)測標(biāo)簽，則此指標(biāo)表明預(yù)測正確標(biāo)簽的可能性有多大。

回憶：在模型應(yīng)該正確預(yù)測的標(biāo)簽中，該指標(biāo)表示您的模型正確預(yù)測的標(biāo)簽的百分比。

平均精度：通過計算不同閾值的精度和召回率來衡量模型性能。

5. 測試模型

讓我們測試我們的模型，看看它在看不見的數(shù)據(jù)上的表現(xiàn)如何。我們將使用來自互聯(lián)網(wǎng)搜索的鳥的圖像。

在自定義視覺門戶中，選擇我們的項目。在頂部菜單欄中，選擇快速測試。在 Quick Test 中，將 URL 粘貼到 Image URL 中，然后按 Enter 以測試模型的準(zhǔn)確性。預(yù)測如圖 9 所示。我們會發(fā)現(xiàn)結(jié)果包括圖像中的對象坐標(biāo)，用紅色矩形突出顯示。

6.部署模型

我們可以通過獲取預(yù)測 URL 或在應(yīng)用程序中使用 API 來部署到端點。

在自定義視覺門戶頂部菜單欄中，選擇性能。選擇發(fā)布。在Publish Model中，選擇Prediction資源，然后為您的 Custom Vision 項目選擇預(yù)測的名稱。選擇發(fā)布。

選擇預(yù)測 URL選項卡。在如何使用預(yù)測 API中，我們可以得到如圖 10 所示的 Key。

此外，我們將獲取 Endpoint 和 Project ID 以供進(jìn)一步使用。可以在設(shè)置頁面上訪問它們，如圖 11 所示。

7.組裝硬件

在這個項目中，需要一個樹莓派、一個 USB 網(wǎng)絡(luò)攝像頭（樹莓派官方的攝像頭可以）和一個 PIR 傳感器。如果您有 HDMI 屏幕，您可以直接在屏幕上看到結(jié)果。如果沒有，您可以在 Raspberry Pi 上安裝 VNC 服務(wù)器，并在您的 PC 或其他移動設(shè)備上通過 VNC 客戶端與它進(jìn)行交互。以下是我使用的模塊：

? 微軟 LifeCam HD-3000

? 樹莓派 4

? PIR 傳感器。

? Waveshare 7寸 HDMI LCD (B) (800*480)

PIR Sensor 配備三個引腳，即 Vcc、GND 和 Out。Vcc 和 GND 將連接到 Raspberry Pi 上的 5V 和 GND 引腳，而 Out 引腳將連接到 BCM 引腳 NO。4、原型如圖12所示。

8.安裝必要的庫

我們將使用 Azure 自定義視覺 Python SDK、Azure 存儲博客 Python SDK 和 USB 攝像頭。然后我們將使用 pip 工具和 apt-get 安裝必要的組件，如下所示。

pip3 install azure-cognitiveservices-vision-customvision
pip3 install azure-storage-blob
pip3 install msrest
sudo apt-get install fswebcam

若要創(chuàng)建 Azure 存儲帳戶并查看有關(guān)如何使用適用于 Python 的 Azure 存儲 Blob 客戶端庫的更多信息，請參閱此文檔：適用于 Python 的 Azure 存儲 Blob 客戶端庫。

可以在 Azure 門戶上查看連接字符串，如圖 13 所示。

9.下載并運行代碼

您可以從 Github 下載 python 代碼：https ://github.com/shijiong/AzureCustomVisionBirdDemo 。請確保您在第 14 行至第 17 行輸入了您的自定義視覺項目的預(yù)測密鑰、預(yù)測端點、項目 ID 和發(fā)布迭代名稱。第 19 行至第 21 行中的連接字符串、容器名稱和 blob 名稱應(yīng)為換成你的。詳情請參閱圖 14。

其次，在第 33 行，我們將圖像分辨率指定為 1280*720，這在您的項目中可能會有所不同。很重要的一點是，我們會根據(jù)第 46 行的預(yù)測 API 的結(jié)果在圖像上繪制一個矩形。如果圖像的分辨率不同，我們應(yīng)該改變它，否則我們將無法獲得識別對象的正確位置在圖像上。

第三，我在第 41 行將預(yù)測概率的閾值設(shè)置為 0.9，您可以更改它以滿足您的場景。

最后，如果你想在樹莓派上查看預(yù)測圖像，你可以取消注釋第 49 到 52 行的代碼。但是，上傳過程將被阻止，直到你關(guān)閉圖像。

我將設(shè)備部署在我的窗戶旁邊。將代碼復(fù)制到您的 Raspberry Pi，使用 Thonny（Raspberry Pi 上預(yù)裝的 Python IDE）打開它，然后運行。觸發(fā) PIR 傳感器后，將捕獲圖像并將其傳輸?shù)?Azure 自定義視覺以獲取預(yù)測結(jié)果。如圖 15 所示，識別的對象將被紅色矩形突出顯示。

最后，圖像將被傳輸?shù)?Azure Blob Storage，如圖 16 所示。您可以在任何地方查看它。

概括

在本教程中，我們設(shè)計了一個基于 Azure Custom Vision、Azure Blob Storage 和 Raspberry Pi 的鳥類檢測器。然后給出了數(shù)據(jù)集上傳、數(shù)據(jù)訓(xùn)練、模型部署、硬件搭建和操作流程的演示。希望這對那些需要在 Raspberry Pi 設(shè)備上使用 Azure 自定義視覺服務(wù)的人有用。