描述

背景

全球已發現大約 18000 種鳥類，僅在印度，就有超過 15000 名已知的鳥類愛好者。這為收集數據和提供服務提供了足夠大的基礎。

該項目試圖通過 Nano 33 BLE Sense 的板載麥克風連續收聽音頻來識別不同的鳥叫。聽到的鳥叫聲將被模型消耗，以將其歸類為受過訓練的鳥類之一。

如果沒有聽到鳥叫，那么音頻將被歸類為背景噪聲，因為我們在訓練期間也包括了背景噪聲。這個項目可以幫助那些對觀鳥感興趣并想了解鳥叫的棲息地或模式的人。

概述

• 將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接
• 構建機器學習模型
• 將模型部署到設備

將 Arduino Nano 33 BLE Sense 與 Edge Impulse 連接

Edge Impulse 完全支持 Arduino Nano 33 BLE Sense，這是一款包含 Cortex-M4 微處理器、運動傳感器、麥克風和 BLE 的緊湊型開發板。該工作室支持對原始數據進行采樣、模型開發和部署訓練有素的機器學習模型。它的價格約為 30 美元，可從 Arduino 和各種分銷商處購買。

這可以通過從Edge Impulse docs安裝系統上的所有依賴項來輕松實現。

使用 Edge Impulse 框架配置閃存 Nano 33 BLE 感應后，我們可以繼續下一步。

構建機器學習模型

我們需要大量鳥類數據，要找到數量和質量都高的數據是不切實際的，我們從Xeno-Canto獲取特定鳥類的數據，這是一個致力于分享來自世界各地的鳥類聲音的大型數據庫.

我們挑選了我們地區常見的 4 只鳥。

• 亞洲科爾
• 笑翠鳥
• 方尾卷龍
• 玫瑰環鸚鵡

構建數據集

我們為每只鳥下載了大約 20-25 個音頻文件，并使用名為 Audacity 的軟件進行預處理。然后繼續增加數據，同時注入噪音。這幫助我們為上述所有四個標簽以及單獨的噪聲標簽生成了 200 個 10 秒的文件。

我們現在有一個平衡的數據集，其中每個標簽的訓練數據為 33 分 20 秒，測試數據為 8 分 20 秒。

?

?

設計沖動

一旦培訓到位，您就可以產生沖動。脈沖獲取原始數據，將其切割成更小的窗口，使用信號處理塊提取特征，然后使用學習塊對新數據進行分類。信號處理塊用于通過為相同的輸入返回相同的值來使原始數據易于處理，而學習塊則從以前的經驗中學習。

經過一些實驗，我們確定了以下參數：

• 窗口大小 = 2500 毫秒
• 窗口增加 = 1250 毫秒

我們可以通過設置小于窗口大小的窗口增加來構建重疊窗口。每個重疊窗口都是傳達樣本標簽的獨特音頻示例，盡管它們可能包含可比較的數據。我們可以通過使用重疊窗口來充分利用訓練數據。

現在，選擇塊：

• 處理模塊 - 音頻 (MFE)
• 學習塊 - 神經網絡 (Keras)

?

?

配置 MFE 塊

在探索了 Mel-filter-bank 能量特征參數的一些變化之后，我們確定默認值是最好的。

?

?

配置神經網絡模型

Edge Impulse 工作室中神經網絡模型的默認值給出了最好的結果。

?

?

分類新數據

為了確保模型在新數據和以前未見過的數據上的工作效果與在訓練數據上一樣好，我們可以使用工作室提供的“實時分類”選項。

單擊左側菜單中的實時分類。您的設備應顯示在“分類新數據”面板中。通過單擊開始采樣捕獲 5 秒的背景噪音。

我們使用我們的智能手機和 Arduino Nano 33 BLE Sense 對數據進行了實時分類。

模型測試

除了訓練數據外，每個 Edge Impulse 項目都有一個測試數據集。測試數據集立即與 Live 分類中采集的樣本一起保存，模型測試頁面顯示所有測試數據。

要使用為測試而捕獲的樣本，應相應地編輯預期結果。單擊?圖標并選擇編輯預期結果，然后輸入相關標簽，如下所示。

?

?

現在，使用表格左側的復選框選擇樣本，然后單擊 Classify selected。

我們可以觀察到模型的準確性已經根據測試數據進行了評級。

模型故障排除

正如預期的那樣，模型的性能在第一次嘗試時并不總是很好，這可能是由于幾個因素。一些有助于提高模型準確性的修改是：

• 搜索異常/低質量數據的數據集。
• 改變窗口大小和窗口增加等參數。
• 學習和處理模塊的參數變化。或者如果有更合適的塊，請更改塊。（例如，在 MFCC 和 MFE 之間切換）。
• 采樣時間的變化。
• epoch數的調整。

將模型部署到設備

• Edge Impulse 項目>部署。
• 創建包含沖動和所有外部所需庫的完整庫。選擇 Arduino library 并單擊 Build 創建庫

?

?

• 下載并解壓 .zip 文件。
• 打開 Arduino IDE > 選擇 Sketch > Include Library > Add.ZIP library。
• 找到文件夾（不要進入文件夾），然后選擇選擇。
• 然后，通過轉到文件 > 示例 > 項目名稱 - Edge Impulse > static_buffer 來加載示例。

示例應用程序現在將加載脈沖。

?

?

。

Edge Impulse 公共項目

Bird 聲音分類器可作為 Edge Impulse 上的公共項目使用，其中包含所有數據集和模型。你可以自己測試一下。