描述

團(tuán)隊(duì)成員：

辛西婭·陳 (yc90)

李奕琨 (yl212)

我們的目標(biāo)：

我們使用微型嵌入式設(shè)備實(shí)現(xiàn)了一個(gè)嵌入式語音識(shí)別應(yīng)用程序，該設(shè)備可以將一秒鐘的語音作為輸入并對(duì)語音進(jìn)行分類。不同的聲音由不同顏色的 LED 燈指示。我們訓(xùn)練了一個(gè)喚醒詞檢測(cè) ML 模型，并在 Arduino Nano 33 BLE 上實(shí)現(xiàn)了它。

機(jī)器學(xué)習(xí)模型：

為了處理原始音頻數(shù)據(jù)，嵌入式設(shè)備的特征提供者將原始音頻數(shù)據(jù)轉(zhuǎn)換為頻譜圖，頻譜圖是由頻率信息切片組成的二維數(shù)組。二維張量的特征可以通過卷積神經(jīng)網(wǎng)絡(luò) (CNN) 完美提取。

CNN 模型在稱為語音命令數(shù)據(jù)集的數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練。這包括 65, 000 個(gè) 30 個(gè)短單詞的一秒長話語，在線眾包。

我們的方法：

1.輸入數(shù)據(jù)收集

該組件從麥克風(fēng)捕獲原始音頻數(shù)據(jù)。為了驗(yàn)證設(shè)備在不同情況下的功能，使用所有組成員的音頻作為輸入。

2.設(shè)置TF Lite解釋器

在 Arduino IDE 中導(dǎo)入 micro_speech 示例。生成 C++ 代碼并自動(dòng)設(shè)置 TensorFlow Lite 環(huán)境。在進(jìn)行測(cè)試時(shí)，解釋器運(yùn)行 TensorFlow Lite 模型，將輸入頻譜圖轉(zhuǎn)換為一組概率，并選擇概率最高的一個(gè)作為輸出。

3. 對(duì)董事會(huì)進(jìn)行編程

將開發(fā)板連接到筆記本電腦并將代碼上傳到 Arduino 開發(fā)板。

4. 測(cè)試功能

使用設(shè)備上的 LED 對(duì)不同的音頻類型進(jìn)行分類（綠色：是，紅色：否）。如果聽到命令，命令響應(yīng)者會(huì)使用設(shè)備的輸出功能通知我們。然后我們用“是”和“否”測(cè)試了幾次，板上的燈顯示它有效。由于該模型仍然有點(diǎn)幼稚，因此要重復(fù)多次測(cè)試以確保其運(yùn)行良好。

?

?