8 月 28 日,TensorFlow 在官方博客中宣布 TensorFlow Lite Micro 支持在乐鑫 ESP32 上运行。
以下为博客原文:
如今,ESP32 被广泛应用于智能家居和无线连接设备及项目中,它能连接各种传感器和执行器,从而感知环境并做出相应动作。在 ESP32 上运行 TensorFlow Lite Micro 时,会出现由本地推断所触发的各种用例场景。ESP32 具有双核处理器以及卓越的功能特性,能够大大减轻运行 TF Micro 繁重的工作量。Wi-Fi 回传将有助于用户进行远程部署,并根据所做的推断触发操作。
人脸监测 / 智能门铃摄像机示例我们将大家熟悉的人脸检测示例修改为一个智能门铃摄像机,并使用 ESP-EYE 开发板进行演示。需要注意的是,此示例运用的是人脸检测技术(在相机前检测人脸),而非身份识别。
ESP-EYE 开发板包含一个 ESP32 Wi-Fi / 蓝牙 MCU,和一个 2MP 摄像头。
演示效果在此示例中,一旦开发板上的摄像头检测到设备附近有人,便会自动发出一封通知邮件。
操作教程1. 购买 ESP-EYE:直接点此购买,或从其他渠道购买。 另外,需要准备一根 USB 转 Micro-USB 接口的数据线,以便将 ESP-EYE 连接到 Windows/Linux/macOS 系统的主机。
2. 代码仓库:https://github.com/espressif/tensorflow/
3. 设置开发主机:使用 ESP32 的交叉编译工具链和实用工具来设置开发主机,按照 ESP-IDF 入门指南设置工具链和 ESP-IDF。
4. 生成示例:使用以下命令
make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_doorbell_camera_esp_project
5. 构建示例:
a. 访问示例项目目录
cd tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/doorbell_camera/esp-idf
b. 使用以下命令克隆 ESP32 摄像头组件
$ git clone https://github.com/espressif/esp32-camera components/esp32-camera
c. 配置摄像头和邮箱地址
idf.py menuconfig
d. 进入 Camera Pins 和 SMTP 的配置菜单,选择 camera details 和 email details。
e. 构建示例:
idf.py build
6. 刷新并运行程序:使用以下命令
idf.py --port /dev/ttyUSB0 flash monitor
7. 现在,每当检测到人脸时,程序就会向配置好的邮箱地址发送一封电子邮件。
了解更多完成门铃摄像机示例后,你还可以尝试 TF Micro 的其他应用项目,例如 hello_world 和 micro_speech。
ESP32 是一款功能强大的 MCU,时钟频率可达 240 MHz。它仅用一个 CPU 内核,即可在一秒内(大约 700 ms,我们还将进一步优化性能以缩短时间)完成检测,从而释放另一个内核以自由处理应用中的其他任务。
想深入了解 TensorFlow Lite Micro,推荐您阅读《TinyML》。