8 月 28 日,TensorFlow 在官方部落格中宣布 TensorFlow Lite Micro 支援在樂鑫 ESP32 上運作。
以下為部落格原文:
如今,ESP32 被廣泛應用于智能家居和無線連接配接裝置及項目中,它能連接配接各種傳感器和執行器,進而感覺環境并做出相應動作。在 ESP32 上運作 TensorFlow Lite Micro 時,會出現由本地推斷所觸發的各種用例場景。ESP32 具有雙核處理器以及卓越的功能特性,能夠大大減輕運作 TF Micro 繁重的工作量。Wi-Fi 回傳将有助于使用者進行遠端部署,并根據所做的推斷觸發操作。
人臉監測 / 智能門鈴錄影機示例我們将大家熟悉的人臉檢測示例修改為一個智能門鈴錄影機,并使用 ESP-EYE 開發闆進行示範。需要注意的是,此示例運用的是人臉檢測技術(在相機前檢測人臉),而非身份識别。
ESP-EYE 開發闆包含一個 ESP32 Wi-Fi / 藍牙 MCU,和一個 2MP 攝像頭。
示範效果在此示例中,一旦開發闆上的攝像頭檢測到裝置附近有人,便會自動發出一封通知郵件。
操作教程1. 購買 ESP-EYE:直接點此購買,或從其他管道購買。 另外,需要準備一根 USB 轉 Micro-USB 接口的資料線,以便将 ESP-EYE 連接配接到 Windows/Linux/macOS 系統的主機。
2. 代碼倉庫:https://github.com/espressif/tensorflow/
3. 設定開發主機:使用 ESP32 的交叉編譯工具鍊和實用工具來設定開發主機,按照 ESP-IDF 入門指南設定工具鍊和 ESP-IDF。
4. 生成示例:使用以下指令
make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_doorbell_camera_esp_project
5. 建構示例:
a. 通路示例項目目錄
cd tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/doorbell_camera/esp-idf
b. 使用以下指令克隆 ESP32 攝像頭元件
$ git clone https://github.com/espressif/esp32-camera components/esp32-camera
c. 配置攝像頭和郵箱位址
idf.py menuconfig
d. 進入 Camera Pins 和 SMTP 的配置菜單,選擇 camera details 和 email details。
e. 建構示例:
idf.py build
6. 重新整理并運作程式:使用以下指令
idf.py --port /dev/ttyUSB0 flash monitor
7. 現在,每當檢測到人臉時,程式就會向配置好的郵箱位址發送一封電子郵件。
了解更多完成門鈴錄影機示例後,你還可以嘗試 TF Micro 的其他應用項目,例如 hello_world 和 micro_speech。
ESP32 是一款功能強大的 MCU,時鐘頻率可達 240 MHz。它僅用一個 CPU 核心,即可在一秒内(大約 700 ms,我們還将進一步優化性能以縮短時間)完成檢測,進而釋放另一個核心以自由處理應用中的其他任務。
想深入了解 TensorFlow Lite Micro,推薦您閱讀《TinyML》。