描述

介紹

隨著氣候的變化，與氣候變化相關的自然災害呈上升趨勢。氣候變化與自然災害形成正反饋循環。氣溫上升正在引發野火，這將釋放大量的二氧化碳，這將導致更多的溫室效應，使環境溫度升高，未來更多的野火。

要追蹤氣候變化，必須關注自然災害的頻率。這些自然災害中的大多數都有與每場災難相關的獨特聲音。大雨、雷暴、冰雹、海嘯、野火、颶風、地震、火山爆發——這些災難中的每一個都會在這些災難性事件中產生獨特/特定的聲音。這些聲音是氣候變化的聲音。

我正在嘗試構建一個具有快速邏輯快速羽毛板和 sensiML AI 的設備來識別這些聲音。最終目標是建立一個自然災害檢測設備網絡，可以根據氣候變化的聲音/聲音識別自然災害。

現在的問題是，人工智能可以根據聲音檢測這些事件嗎？

讓我們來了解一下！

硬件

這些是用于該項目的硬件：

硬件

?

• LiPo Power Rig：在 QORC 貼紙下方有一個 4000 mAh LiPo 電池，它粘在普通的 veroboard 上以構建電源裝置。該裝備為所有硬件部件提供即插即用連接和機械支持
• Quick Feather Dev Board：Quick Logic AI 板，本項目的大腦
• Adafruit Tripler：Adafruit Tripler 擴展有助于快速羽毛和 HC-05 藍牙模塊之間的連接
• HC-05 藍牙 UART 模塊：通過藍牙與計算機或智能手機提供無線 UART 連接以發送結果
• 模塊化太陽能鋰聚合物充電器：這部分由一個降壓轉換器模塊組成，該模塊可以將 6-30 伏之間的任何直流電壓降壓至 5 伏，TP4056 模塊將 5 伏轉換為 4.2 伏以進行鋰聚合物充電。
• 5 瓦太陽能電池板：為戶外/遠程操作的鋰聚合物電池充電提供電源。

安裝 SDK 和工具鏈

在下載 SDK 之前，我已經在計算機上安裝了最新的 Ubuntu 20.04。這部分非常棘手，預計會有一些流失，因為官方設置指南并沒有完全按預期工作。在自動安裝過程中缺少一些依賴項，我必須手動安裝。

Installing SDK

登錄 Ubuntu 20.04，打開終端，一次輸入以下 4 個命令：-

sudo apt install git

git clone https://github.com/QuickLogic-Corp/qorc-sdk.git

cd qorc-sdk

source envsetup.sh

這些將安裝 git（如果您沒有安裝它），克隆快速邏輯 sdk，創建一個名為 qorc-sdk 的文件夾并假設安裝所有內容！

從現在開始，所有東西都必須安裝在 qorc-sdk 文件夾/目錄中。

接下來，重新啟動您的 Ubuntu 機器/計算機。

如果 ARM 工具鏈和 TinyFPGA Programmer 沒有正確安裝，請按照以下步驟安裝：-

Installing ARM Toolchain

重新啟動計算機后，再次打開終端并鍵入以下 3 個命令：-

cd qorc-sdk

mkdir arm_toolchain_install 

wget -O gcc-arm-none-eabi-9-2020-q2-update-x86_64-linux.tar.bz2 -q --show-progress --progress=bar:force 2>&1 "https://developer.arm.com/-/media/Files/downloads/gnu-rm/9-2020q2/gcc-arm-none-eabi-9-2020-q2-update-x86_64-linux.tar.bz2?revision=05382cca-1721-44e1-ae19-1e7c3dc96118"


tar xvjf gcc-arm-none-eabi-9-2020-q2-update-x86_64-linux.tar.bz2 -C ${PWD}/arm_toolchain_install

Installing Python 3 and TinyFPGA programmer

在命令終端上鍵入以下命令：-

cd

cd qorc-sdk

sudo apt install python3-pip

git clone --recursive https://github.com/QuickLogic-Corp/TinyFPGA-Programmer-Application.git

pip3 install tinyfpgab

理想情況下，這一步不應該是必要的，但不知何故，這些是我所說的缺失或不起作用的依賴項

修改源代碼

我檢查了分支 ssi-audio-sensor 并構建了一個新的 qf_ssi_ai_app.bin。我也使用 dcl_import.ssf 作為插件。音頻傳感器在那里，但 DCL 仍然捕獲加速度計數據。

為了解決這個問題，我在編譯代碼qf_apps/qf_ssi_ai_app/inc/Fw_global_config.h之前修改了 Fw_global_config.h文件

/* Settings for selecting either Audio or an I2C sensor, Enable only one of these mode */
#define SSI_SENSOR_SELECT_AUDIO (1) 
// 1 => Select Audio data for live-streaming or recognition modes
#define SSI_SENSOR_SELECT_SSSS (0) 
// 0 => Disable SSSS sensor data for live-streaming of recognition modes

閃爍的音頻采集固件（數據采集模式）

Compile/Build an Example code

從 Ubuntu 終端轉到 qorc-sdk 目錄，將工具鏈添加到路徑，將目錄更改為 qf_ssi_ai_app 項目并使用以下命令使用源代碼構建一個 bin 文件：-

cd qorc-sdk

export PATH=${PWD}/arm_toolchain_install/gcc-arm-none-eabi-9-2020-q2-update/bin:$PATH

cd

cd qorc-sdk/qf_apps/qf_ssi_ai_app/GCC_Project

make

Flash/Upload code to QuickLogic board

使用 USB 數據線將 Quick Feather 板連接到計算機，按下板上的重啟按鈕。當 Bule LED 閃爍時，按下用戶按鈕。一個閃爍的綠色 LED 應該開始閃爍，這意味著該板處于上傳模式

在 Ubuntu 上打開終端并輸入以下命令以刷新固件：-

cd

cd qorc-sdk/qf_apps/qf_ssi_ai_app/GCC_Project

sudo chmod a+rw /dev/ttyACM0

alias qfprog="python3 /home/computer/qorc-sdk/TinyFPGA-Programmer-Application/tinyfpga-programmer-gui.py"

qfprog --port /dev/ttyACM0 --m4app output/bin/qf_ssi_ai_app.bin --mode m4

閃爍應該像這樣發生：-

刷機固件

?

?

SensiML 數據采集實驗室

下一部分使用 SensiML Data Capture Lab 軟件在單獨的 Windows 10 計算機上完成。

這部分由Arduino “have11” Guy在他的 QuickFeather 開發工具包和 SensiML 入門項目中進行了徹底的解釋。因此，我不會重復相同的內容進行詳細說明。一切幾乎完全相同，除了我將使用麥克風而不是加速度計來捕獲聲音數據。

以下是所有步驟的簡要說明：

第 1 步：用于從麥克風捕獲音頻的 SSF 文件

ssf文件附在下面，使用此 ssf 文件將啟用從 Quick Logic 開發套件的麥克風獲取數據。此配置加載到 SensiML 數據捕獲實驗室。（詳見本項目）

{
    "name": "QuickFeather SimpleStream",
    "uuid": "10b1db20-48a5-4442-a40e-fc530b456c89",
    "collection_methods": [
        {
            "name": "live",
            "display_name": "Live Stream Capture",
            "storage_path": null,
            "is_default": true
        }
    ],
    "device_connections": [
        {
            "name": "serial_simple_stream",
            "display_name": "Data Stream Serial Port",
            "value": 1,
            "is_default": true,
            "serial_port_configuration": {
                "com_port": null,
                "baud": 460800,
                "stop_bits": 1,
                "parity": 0,
                "handshake": 0,
                "max_live_sample_rate": 3301
            }
        },
        {
            "name": "wifi_simple",
            "display_name": "Simple Stream over WiFi",
            "value": 2,
            "is_default": true,
            "wifi_configuration": {
                "use_mqttsn": false,
                "use_external_broker": false,
                "external_broker_address":"",
                "broker_port":1885,
                "device_ip_address": null,
                "device_port": 0,
                "max_live_sample_rate": 1000000
            }
        }
    ],
    "capture_sources": [
        {
            "max_throughput": 0,
            "name": "Motion",
            "part": "MC3635",
            "sample_rates": [
                333, 250, 200, 100, 50
            ],
            "is_default": true,
            "sensors": [
                {
                    "column_count": 3,
                    "is_default": true,
                    "column_suffixes": [
                        "X",
                        "Y",
                        "Z"
                    ],
                    "type": "Accelerometer",
                    "parameters": [],
                    "sensor_id": 1229804865,
                    "can_live_stream": true
                }
            ]
        },
        {
            "max_throughput": 0,
            "name": "Audio",
            "part": "IM69D130",
            "sample_rates": [
                16000
            ],
            "is_default": true,
            "sensors": [
                {
                    "column_count": 1,
                    "is_default": true,
                    "column_suffixes": [""],
                    "type": "Microphone",
                    "parameters": [],
                    "sensor_id": 1096107087,
                    "can_live_stream": true
                }
            ]
        },
        {
            "max_throughput": 0,
            "name": "Qwiic Scale",
            "part": "NAU7802",
            "sample_rates": [
                333, 250, 200, 100, 50
            ],
            "is_default": false,
            "sensors": [
                {
                    "column_count": 1,
                    "is_default": true,
                    "column_suffixes": [
                        ""
                    ],
                    "type": "Weight",
                    "parameters": [],
                    "units": null
                }
            ],
            "sensor_id": 1334804865,
            "can_live_stream": true
        },
        {
            "max_throughput": 0,
            "name": "ADC",
            "part": "ADS1015",
            "sample_rates": [
                100,
                250,
                500,
                1000,
                1600,
                2400,
                3300
            ],
            "is_default": false,
            "sensors": [
                {
                    "column_count": 1,
                    "is_default": true,
                    "column_suffixes": [
                        ""
                    ],
                    "type": "Analog Channel"
                }
            ],
            "sensor_id": 1184532964,
            "can_live_stream": true
        },
    ],
    "is_little_endian": true
}

第 2 步：使用 Sensi ML 構建 AI 模型

這是我在早上 7 點左右為構建 AI 模型錄制的降雨和雷聲示例，因此來自其他來源的環境噪聲很低：

首先在 Sensi ML DCL 的 Capture Mode 中，記錄暴雨和雷聲

降雨和雷聲建模

?

然后在標簽瀏覽器模式下，手動識別聲音并將其標記為降雨或雷聲

標記氣候變化的聲音

?

第 3 步：訓練模型

這一步在https://app.sensiml.cloud/網頁界面上完成，構建訓練模型

建筑模型

?

之后，可以測試和探索模型以提高性能。

然后下載模型（文件附在下面）并刷入快速羽毛板

部署

好吧，刷完bin文件后，我通過電腦的藍牙和另一端的HC-05將設備連接到Putty，進行無線UART連接。

降雨和雷聲的檢測不是很準確。我敢肯定，我在 AI 模型構建和測試階段錯過了很多優化。我必須再試一次，從頭開始重建一切以獲得更好的模型！

降雨或雷聲

?

?