描述

問題

我喜歡露營，但我不是一個“露營愛好者”，我通常每年都會和家人一起露營一到兩次。但也有不少露營愛好者去深林。雖然在深林中露營非常冒險，但存在熊、土狼等野生動物的威脅。有使用攝像頭追蹤野生動物的設(shè)備，但問題是攝像頭在黑暗中無法工作。在大多數(shù)情況下，野生動物會在夜間襲擊露營者。

我們?nèi)绾谓鉀Q？

我們需要一種可以在黑暗中工作并在任何野生動物接近時提醒露營者的設(shè)備。我們不能為此使用普通相機(jī)。我們需要一些可以在沒有光的情況下工作的東西，比如熱像儀。

解決方案是露營車

隆重推出配備 Grove MLX90640 紅外熱像儀和 Seeed 的 Wio 終端的露營車。在 Wio 終端上運(yùn)行的 tinyML 模型可以預(yù)測是否有任何動物或人類靠近。如果檢測到，數(shù)據(jù)將發(fā)送到 AWS IoT 主題。

?

?

我已經(jīng)使用 Edge Impulse Studio 構(gòu)建了 ML 模型。在編寫此項目時（2021 年 11 月），EI 不支持用于開箱即用數(shù)據(jù)收集的熱像儀饋送，因此從 Wio 終端收集數(shù)據(jù)并轉(zhuǎn)發(fā)到 Edge Impulse 以構(gòu)建模型。數(shù)據(jù)收集過程的靈感來自 Naveen 的hackster項目。

創(chuàng)建EI項目

轉(zhuǎn)到您的EI 帳戶并創(chuàng)建一個新項目。導(dǎo)航到“密鑰”選項卡并添加新的 HMAC 密鑰。將密鑰復(fù)制到某處，稍后您將需要它。

?

數(shù)據(jù)采集

紅外熱像儀搭載了一個32x24陣列的熱傳感器（MLX90640），它可以檢測腳外物體的溫度，精度為±1.5℃。為了方便地獲取熱圖像，使用I2C協(xié)議從相機(jī)中獲取低分辨率圖像。數(shù)據(jù)將是 768 個溫度值的 32x24 數(shù)組。MLX90640 通過 I2C 端口連接到 Wio 終端，我已插入 SD 卡以捕獲 CSV 文件中的讀數(shù)。Wio 終端上的 3 個按鈕用于標(biāo)記 3 個類

A - Animal , B- Human , C - Background

使用程序 WIO_Camper_Data_Collector.ino 收集數(shù)據(jù)。上傳此程序并開始收集數(shù)據(jù)。

收集數(shù)據(jù)后，從 Wio Terminal 中取出 SD 卡并插入您的計算機(jī)。您應(yīng)該會看到如下所示的 CVS 文件。

?

每個文件有 768 個值，用逗號分隔。

?

將所有文件復(fù)制到文件夾 data 下名為 raw 的目錄中。然后運(yùn)行程序imager.py ，它將在 /data/visual 文件夾下創(chuàng)建數(shù)據(jù)的可視化表示。

python3 imager.py

此步驟是可選的。它可以幫助您以圖像格式查看 csv 數(shù)據(jù)，但與訓(xùn)練模型無關(guān)。

?

數(shù)據(jù)轉(zhuǎn)發(fā)

這是非常有趣的部分。Edge Impulse 數(shù)據(jù)轉(zhuǎn)發(fā)器僅支持時間序列原始數(shù)據(jù)。但是熱像儀數(shù)據(jù)是非時間序列的。相反，它是一個 32x24 的數(shù)組，其中包含 768 個離散值。我們將其視為間隔為 1 微秒的單通道 768 時間序列數(shù)據(jù)。下圖將幫助您想象我在說什么。

?

您會注意到一張圖像（768 個值）表示為間隔為 1 毫秒的時間序列數(shù)據(jù)。現(xiàn)在您知道我們希望在上傳到 Edge Impulse 之前如何格式化數(shù)據(jù)了。讓我們開始吧。

打開data-formatter.py并粘貼您之前獲得的 HMAC 密鑰。然后運(yùn)行程序。

python3 data-formatter.py

該程序?qū)槊總€ cvs 文件創(chuàng)建一個 json 文件并將它們存儲在/data/formatted_data文件夾下。您可以在下面看到值表示為間隔為 1 秒的時間序列數(shù)據(jù)。只有傳感器數(shù)據(jù)通道是溫度。

?

當(dāng)您準(zhǔn)備好數(shù)據(jù)后，我們將使用 Edge Impulse CLI 上傳數(shù)據(jù)。您需要安裝 CLI。按照本教程設(shè)置 CLI。

CD 進(jìn)入 formatted_data 文件夾并執(zhí)行以下命令。

edge-impulse-uploader --category split *.json

這應(yīng)該將所有 json 數(shù)據(jù)上傳到“數(shù)據(jù)采集”頁面下的 Edge Impulse 項目。

?

建立模型

當(dāng)我們收集了數(shù)據(jù)后，讓我們構(gòu)建和訓(xùn)練我們的模型。導(dǎo)航到“創(chuàng)建沖動”頁面。

?

單擊“添加輸入塊”，選擇“時間序列數(shù)據(jù)”。將窗口大小和窗口增加大小都設(shè)置為 768ms。還記得我們的 json 數(shù)據(jù)有 768 個值，間隔為 1 毫秒嗎？

接下來，單擊“添加處理塊”，選擇“原始數(shù)據(jù)”。

然后，點(diǎn)擊“Add a learning block”，選擇 Classification (Keras) 并保存 impulse。

?

導(dǎo)航到“原始數(shù)據(jù)”頁面，保持默認(rèn)并移動到“NN 分類器”，調(diào)整訓(xùn)練周期和學(xué)習(xí)率。盡量不要過度擬合模型。如果您的模型表現(xiàn)不佳，請嘗試收集更多數(shù)據(jù)并重新訓(xùn)練。

?

下載 Arduino 庫

導(dǎo)航到“部署”頁面，選擇“Arduino”并構(gòu)建。這會將庫下載為 zip 文件。將此庫導(dǎo)入 Arduino IDE。我假設(shè)你的項目名稱是“camper”，你的 arduino 庫文件應(yīng)該是camper_inferencing.h

?

設(shè)置 AWS 物聯(lián)網(wǎng)

在這個項目的第一階段，我使用 WiFi 連接將數(shù)據(jù)發(fā)送到 AWS IoT。要使Wio 終端連接wifi，您需要更新設(shè)備固件。過程非常簡單。按照此說明進(jìn)行操作。

要連接到 AWS，您需要創(chuàng)建一個“Thing”并使用證書連接到“Thing”。Seeed studio 編寫了一個實(shí)用的 python 程序，它將為您創(chuàng)建所有資源。按照這個。我有另一個項目，我在其中解釋了 AWS 設(shè)置。你可以參考這個項目。

create_thing.py將在終端上輸出證書和私鑰。復(fù)制它們并粘貼到cogfig.h文件中。

#ifndef _CONFIG_H_
#define _CONFIG_H_

// TODO ADD YOUR CONFIGURATION HERE
// WiFi and MQTT configuration
static auto constexpr WIFI_SSID = "";
static auto constexpr WIFI_PASSWORD = "";

// DHCP client id
static auto constexpr CLIENT_ID = "CLIENTID";
// hostname of your MQTT ATS endpoint
static auto constexpr HOST_ADDRESS = "xxxxxxx-ats.iot.us-east-1.amazonaws.com";

static auto constexpr TOPIC_NAME = "camper";
static auto constexpr ALERT_TOPIC_NAME = "camper_alerts";

// "AWS root CA1 and CA2 (RSA)", see
// https://docs.aws.amazon.com/iot/latest/developerguide/managing-device-certs.html#server-authentication

static auto constexpr aws_root_ca_pem = "CA_Root_Certificate";

// certificate and private key for the thing. See README.md for details
// and use the create_thing.py script to create certificate and key.
// "The certificate for this thing"
auto constexpr certificate_pem_crt = "";
auto constexpr private_pem_key= "";
#endif

您還需要輸入您的 wifi 憑證和 AWS IoT 主機(jī)地址。更改后，將 WIO_Camper_Inference.ino 程序上傳到 wio 終端。

設(shè)備每分鐘都會向 AWS IoT 主題發(fā)送數(shù)據(jù)，當(dāng)檢測到動物或人類時，設(shè)備也會發(fā)出嗡嗡聲。

?

我用我的寵物測試了這個，因?yàn)槲也唤?jīng)常在外面看到動物，但我計劃找個時間在動物園里測試一下 :)

?

由于數(shù)據(jù)在 AWS 中，您可以從這里做很多事情。就像將數(shù)據(jù)發(fā)送到 dynamodb、運(yùn)行一些分析、使用 Amazon Pinpoint 將推送通知發(fā)送到手機(jī)、將文本消息發(fā)送到您的手機(jī)。

階段2

正如您所想象的，依賴 wifi 在這里并不是一個好的解決方案，因?yàn)樵撛O(shè)備主要會在您的家庭 wifi 之外。我的計劃很少

• 我可以構(gòu)建一個移動應(yīng)用程序，通過藍(lán)牙連接到 Wio 終端并將數(shù)據(jù)發(fā)送到移動應(yīng)用程序，而不是 wio 終端直接向 AWS 發(fā)送數(shù)據(jù)。然后，移動應(yīng)用程序?qū)⑹褂?Cognito 將數(shù)據(jù)發(fā)送到 AWS。我在我的伙伴項目中做過類似的事情。
• 我可以完全消除對 wifi 或蜂窩連接的依賴，并直接從設(shè)備向 LoRa 網(wǎng)絡(luò)（TTN 或 Helium）發(fā)送數(shù)據(jù)。然后 TTN 或 Helium 會將消息委托給 AWS IoT。我以前做過類似的項目。您可以查看保存泥炭地或VFence項目。

?

該項目也發(fā)布在PCBWay上。