天天看点

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

引 言

准确、实时的田间小麦麦穗计数对小麦产量预测、遗传育种和优化种植管理等研究具有重要意义。无人机图像分辨率大、每帧图像中的麦穗数量多并且麦穗在图像中所占的像素较小,给麦穗计数研究带来了困难与挑战。无人机视频流麦穗图像从不同角度获取麦穗信息,能够更准确的观察到每一个麦穗。因此,基于以上目标,我们基于YOLOv7x构建了麦穗检测模型YOLOv7xSPD,并基于YOLOv7xSPD和卡尔曼滤波器跟踪算法构建了视频流麦穗计数模型YOLOv7xSPD Counter。

正 文

为评价YOLOv7x SPD在视频流下麦穗计数的准确性,我们对比了六种常见模型的精确度(P)、召回率(R)、F1 分数(F1)和平均精确度(AP),如表1和图1所示,YOLOvSPD的平均精确度达到了最高的94.99%。

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

表1 描述Faster RCNN、SSD、YOLOv5s、YOLOv7、YOLOv7x和YOLOv7xSPD的Precision, Recall, F1 Score, 和 AP评估结果

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

图1 a. Faster RCNN、SSD、YOLOv5s、YOLOv7、YOLOv7x与YOLOv7xSPD的PR曲线,b. 局部放大图,展示了图a中虚线框部分的放大效果,能清晰的表示YOLOv7与YOLOv7xSPD的PR曲线之间的差异

对比了YOLOv7x和YOLOv7xSPD的检测测效果,如图2所示,YOLOv7xSPD能够弥补YOLOv7x在麦穗尺寸较小时出现的部分漏检。

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

图2 YOLOv7xSPD与YOLOv7x检测效果对比。a. 原图,b. YOLOv7x检测效果,c. YOLOv7xSPD检测效果。b中放大部分的红色框表示YOLOv7x未检测到的麦穗,而在c中均能被精准的检测出来

采用决定系数(R2)和均方根误差(RMSE)对六种模型的计数性能进行了评估,并对计数结果进行了回归分析,如图3所示。YOLOv7xSPD计数的R2达到了0.99,RMSE仅为3.39。

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

图3 真实数量与Faster RCNN、SSD、YOLOv5s、YOLOv7、YOLOv7x和YOLOv7xSPD的计数结果的相关性

在对YOLOv5s、YOLOv7、YOLOv7x和YOLOv7SPD计数结果的统计中,YOLOv7SPD的绝对误差更小,如图4所示。

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

图4 YOLOv5s、YOLOv7、YOLOv7x、YOLOv7xSPD的计数结果与真实值的差距数的直方图(a)和密度(b)

YOLOv7xSPD Counter在视频流下的计数结果R2也达到了0.99,RMSE仅为10.50,并且在3840×2160的分辨率下达到了5.5帧,如图5所示。

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

图5 采用YOLOv7xSPD Counter对20个视频测试集的计数结果进行回归分析、RMSE和R2计算

来 源

Xu, XM., Zhou, L., Yu, HL., Sun, GY., Fei, SP., Zhu, JY*., Ma, YT*. Winter wheat ear counting based on improved YOLOv7x and Kalman filter tracking algorithm with video streaming. Frontiers in Plant Science. 2024; 15. https://www.frontiersin.org/journals/plant-science/articles/10.3389/fpls.2024.1346182/full

作者简介

论文第一作者为吉林农业大学信息技术学院徐兴梅副教授,论文通讯作者为中国农业大学土地科学与技术学院马韫韬教授,合作者包括吉林农业大学信息技术学院于合龙教授、周磊等。中国农业大学数字农业创新团队主要研究方向为植物功能-结构-环境互作的系统仿真与数字孪生、基于机器视觉的植物生长信息的数据挖掘与应用、无人机大规模育种性状快速调查、育种机器人与农用传感器创制、多源传感器融合及数字农业应用、人工智能与智慧农业等研究。长期招收多名硕士、博士研究生和合作博士后,有意者请联系:[email protected]

本文来源:CAU数字农业团队

小麦族多组学网站:http://wheatomics.sdau.edu.cn投稿、合作等邮箱:[email protected]微信群: 加群点击小麦研究联盟交流群

中国农业大学马韫韬教授团队发表成果|基于无人机视频流和深度学习的小麦麦穗实时跟踪与计数

继续阅读