一种田间小麦赤霉病表型数据采集装置及赤霉病等级预测系统

本发明涉及一种田间小麦赤霉病表型数据采集装置及赤霉病等级预测系统，属于物联网、智慧农业、病害监测领域。

背景技术：

1、小麦赤霉病是由多种镰孢菌引起的小麦病害。小麦感染后将出现麦苗枯萎，感染处出现粉红色霉状物。传统的小麦赤霉病农业监测模式需要消耗大量的人力物力，对于从业的技术人员也有很高的要求，技术人员通过在田间实地的采样调查获取小麦赤霉病的发生情况，容易受到主观因素的影响，并且有较大的不确定性，不能够做到快速、准确的完成大范围的种植区域实时监测的要求。如果在作物发病初期，不能做出实时准确的预警，并根据预警做出有效的防治措施，不但会造成大量的经济损失，还会因为农药的不当使用造成生态环境的破坏。在先前的田间作物病害预测技术研究中，对于多单反相机节点远程控制与参数设置等相关技术的研究较少，例如单反相机参数调整仍然需要人工进行，并且无法实现多单反相机节点的远程控制。

2、本专利研发一款田间小麦赤霉病等级预测系统，部署mqtt协议云服务器，同时搭建了卷积神经网络，使得用户可以在多端上位机通过深度学习进行田间作物的病害等级预测。

3、目前，国内单反相机远程控制系统及装置已有一定发明研究，中国专利(cn201610204847.0)公开了一种可通过智能终端app控制单反相机的单反相机控制器，其方法为使用手机app无线连接控制器终端对相机进行控制，需要上位机手机在控制器的无线局域网范围中进行操作，超出无线局域网连接范围就无法进行控制。中国专利(cn201520265602.x)公开了一种基于wifi的数字单反控制装置，其使用了装置内置http服务器进行单反相机控制，没有将服务器部署到云端服务器，无法实现相机的远程控制操作，同时发明使用机械装置进行单反相机变焦，没有完全实现数字控制系统的开发。中国专利(cn202010608745.1)公开了一种手持式田间小麦赤霉病监测预警装置，该发明装置需要人工手持进行田间监测，无法实现用户远程控制相机的参数来获取田间的图像数据。

4、综合上述研究，当前现有技术未实现无线节点的开发、云服务器与深度学习算法的结合，同时未能做到多终端控制的需求。具体包括：

5、1、已有田间相机控制装置只能通过上位机和控制终端之间直接建立wifi无线局域网通信或蓝牙连接进行控制，有连接距离限制，且连接流程繁琐。

6、2、现有的小麦赤霉病田间监测中仅对单个区域内固定视角的图像进行采集和分析，未能够多节点图像采集并结合温湿度实现小麦赤霉病的预测。

7、3、已有相机控制装置不能实现小麦赤霉病在田间复杂环境下的快速远程识别，对小麦赤霉病进行籽粒尺度下的病害分级效果较差。

技术实现思路

1、为了解决现有田间病害分级预测技术中存在的不足，本发明通过基于api服务器和mqtt传输协议的服务器组实现基于云服务器的通信系统，同时在云服务器中部署数据库并搭建基于卷积神经网络的田间小麦赤霉病等级预测深度学习算法实现云端的数据服务，可以实现多个上位机和单反相机远程控制装置终端的命令收发和照片传输；通过接入移动通信技术设备，实现移动通信网络覆盖下的单反相机远程控制装置的网络需求，实现与服务器的网络通信；通过运行于工控机硬件的单反相机远程控制装置软件系统，构造对应的输入输出接口进行命令收发和照片上传，控制单反相机进行参数设置、照片拍摄等操作；通过上位机实现对田间小麦赤霉病等级预测装置的命令发送端。

2、本发明采取的技术方案如下：

3、一种田间小麦赤霉病表型数据采集装置，其包括设备箱体，相机，网络通信设备，工控机硬件，温湿度传感器，太阳能光伏发电板，降压板，蓄电池和云服务器；

4、所述相机用于采集小麦图像；

5、所述网络通信设备位于设备箱体内的侧方，其根据田间小麦赤霉病预测场景选择4g为主要的通信方式，作为连接以太网的网关，用于为装置提供网络通信服务；

6、所述工控机硬件位于设备箱体内，其使用linux作为操作系统进行开发，并作为下位机控制中枢，与相机使用usb接口连接来发送命令实现单反相机的控制功能和接收单反相机照片的功能，与网络通信设备使用rj45网口连接来收发命令、传输照片到服务器；

7、所述温湿度传感器通过usb接口与工控机进行连接，工控机通过rs485串口转usb通信获取温湿度信息并发送到云服务器；

8、所述太阳能光伏发电板位于设备箱体外的顶部，作为主电源，为工控机硬件、网络通信设备、相机提供电能；

9、所述降压板位于设备箱体内，用于电压调节为装置提供合适的工作电压；

10、所述蓄电池位于设备箱体内的上方，用于在无主电源和备用电源输入时为装置工作供电。

11、进一步的，所述数据采集装置基于mqtt传输协议的物联网框架将从单反相机获取的田间小麦赤霉病图像数据实时传输到云端服务器，进行对小麦赤霉病图像进行识别与病害分级；所述服务器为架设在云上的api服务器和mqtt服务器组，其中api接口服务器用于通过接口访问完成数据交换、照片收发、客制化程序算法的运行，mqtt服务器用于完成上位机和终端之间的命令收发；同时部署mysql小型数据库用于完成用户信息和照片数据的管理。

12、一种田间小麦赤霉病等级预测系统，所述预测系统由三层架构组成，分别为感知层、传输层和应用层；其中：

13、所述感知层包括设置在田间小麦赤霉病表型数据采集装置中的传感器和相机，通过传感器和相机进行信息的采集，包括将当前的温湿度和rgb静态画面信息，通过数据流的形式传送到传输层；

14、所述传输层由接入网和传输网组成，其任务是将感知层采集到的数据通过4g无线网络接入网、公网、linux云服务器传输给远程的应用层；

15、所述应用层包括深度学习算法模块、上位机、数据库；其负责将采集的数据进行分析和处理，创建上位机和数据库，并连接云服务器上的深度学习算法和数据库，从服务器中获取数据。

16、进一步的，所述云服务器为架设在云上的api服务器和mqtt服务器组，api服务器采用linux系统，设置包含田间小麦图像数据的输出接口，并使用url进行访问，用于通过接口访问完成田间采集的数据交换、照片收发、小麦赤霉病预测算法的运行；mqtt服务器用于完成上位机平台与田间小麦赤霉病采集设备之间的相机控制和温湿度采集命令的收发。

17、进一步的，所述传输层的通信工作内容包括田间相机控制命令的收发、温湿度传感器数据的传输以及田间小麦赤霉病图片传输三项任务，其中：

18、(1)命令收发在服务器侧的实现是通过搭建mqtt服务器，通过mqtt订阅式消息服务实现需求；根据mqtt协议，对命令和反馈系统进行设计，包括：

19、将用户需要的所有上位机和田间小麦赤霉病表型数据采集装置进行初始化设置，在逻辑层中分别进行命名编号，并设置为可以发布消息和订阅消息的客户端接入服务器；

20、将用户的所有上位机和田间小麦赤霉病表型数据采集装置设置为共同监听同一个主题，通过主题分割不同用户控制域，在主题中上位机和装置终端命令收发按照一定格式指令集进行，指令格式包含被操作对象的编号、操作命令的对应编号和立即数，用于规范操作命令格式；

21、将所有设备的qos设置为至多一次发送，保证命令有接收反馈，相对应命令没有接收则反馈错误反馈到上位机中，反馈格式包括被操作设备的编号、错误对应代码和立即数，用于规范反馈格式；

22、田间小麦赤霉病表型数据采集装置将采集温湿度数据上传到mqtt服务器，随后从mqtt服务器中发送温湿度数据给上位机；

23、(2)图片传输在服务器侧实现为：根据linux开发流程安装python运行环境，设置安全网络接口组，部署api服务器和相对应接口；服务器侧根据数据采集装置和上位机功能需要对接口进行设计，具体通过flask架构web服务器进行开发，将其改造为符合需求的api服务器系统，设置的接口分为输入接口、命令接口、输出接口三类，接口详情如下：

24、输入接口：田间小麦赤霉病图像上传接口，基于js后端语言设计，通过网址访问的形式建立与相机远程控制装置的照片上传数据流，实现田间图片的快速上传；相机实时取景图像流的接入，通过网址访问的形式建立与相机远程控制装置的图像上传数据流，作为推流的桥接设备，通过重定位至相应的输出接口将图像流输出上位机设备；

25、命令接口：(a)田间小麦赤霉病分级预测命令接口，在云服务器中加入田间小麦赤霉病的深度学习算法，将流入的田间小麦图像输入到训练好的模型中进行分级预测，得出结果；(b)定时拍摄命令接口，服务器中对需要定时的命令进行接口访问，通过get方式得到要定时的对象编号、操作命令、操作立即数和定时立即数，根据预定的时间或者周期性的调用输出接口发出控制命令；

26、输出接口：数据流输出接口，用于田间小麦赤霉病图像和温湿度传感器向上位机发送数据，通过对接口的url访问并进行get操作即可下载田间小麦赤霉病图像；将api服务器进行部署，并绑定域名，不同上位机通过网络访问对应的接口网址即可完成服务器的输入、命令、和输出实现操纵控制。

27、进一步的，所述等级预测系统还包括田间小麦赤霉病图像采集装置的控制系统，该系统的工作内容包括：

28、通过将下位机以串口通信的方式与相机进行连接，发送相应的命令对田间架设的单反相机进行控制操作；根据相机的串口控制命令要求，对相机操作软件系统进行编程；

29、在软件程序中根据mqtt协议和http协议，基于网络通信底层库针对单反相机操作软件系统侧的命令和反馈系统进行设计，单反相机操作软件系统首次启动与服务器进行通信获得逻辑层的命名编号，并获得用户组所在的mqtt主题；

30、按照通信系统模块要求进行命令的接收、执行和反馈，对相机操控接收的命令进行分化，包括电源控制、参数设置、拍摄控制、图像传输四个功能。

31、更进一步的，电源控制部分对田间小麦赤霉病图像采集装置实现开机后的自动待机休眠和唤醒，来保证软件上的节能和电源续航控制，执行完毕后进行相对应的反馈，包括成功执行信息或者执行失败错误代码；

32、参数设置部分实现相机自身参数设置包括相机成像共性参数的光圈、快门速度、iso感光度、曝光度、白平衡，通过单反相机操作软件系统可以实现的长时间定时拍摄时间间隔、相机休眠时间，参数设置动作执行完毕后进行相对应的反馈，包括成功执行信息或者执行失败错误代码；

33、拍摄控制部分针对不同相机命令要求，对相机设置自动对焦后拍摄、固定焦距直接拍摄多种拍摄状态，满足不同农业生产环境的客制化需求，动作执行完毕后进行相对应的反馈，包括成功执行信息或者执行失败错误代码；

34、图像传输部分包括通过编程实时获取相机的取景图像后通过服务器传送至上位机完成实时的取景图像预览、相机拍摄图像后传回至服务器，对获取到的照片进行文件属性修改操作，动作执行完毕后进行相对应的反馈，包括成功执行信息或者执行失败错误代码。

35、进一步的，所述田间小麦赤霉病图像采集装置在远程控制端口实现形式为上位机操作系统，内容包括：

36、田间小麦赤霉病分级预测上位机系统通过mqtt协议和http协议按照通信系统要求发送相对应的命令，接收命令执行反馈，查看取景框画面和下载图片；

37、操作系统首次启动后与服务器进行通信，获取逻辑层的命令编号，并获取设备所在的mqtt主题；

38、上位机操作系统根据需要实现的功能，设置相对应的用户交互界面，包括单反相机实时取景的显示窗口，参数设置功能选择框与命令执行模块，田间小麦赤霉病分级预测图像显示窗口；根据命令情况，为模块设置不同的动作函数，其中通过编程和算法，根据通信系统模块的命令和反馈格式要求设置不同的信号发送程序，使模块完成相应的功能动作，避免出现交叉控制、混合控制和空控制。

39、进一步的，所述深度学习算法模块搭建卷积神经网络深度学习算法，包括：

40、通过http协议流入实时拍摄的田间图像数据，结合预先训练好的faster rcnn模型进行田间复杂环境下的小麦目标识别，将识别出来的小麦图像剪裁分割；

41、将图像逐个输入到预先训练好的mask-rcnn模型中进行麦小穗的病害分级，通过对该区域的图片分析并且与其他单反相机阵列获取图像数据进行汇总可以得到该区域小麦赤霉病的病害分级情况，并通过上位机输出显示识别结果；

42、根据病情严重度分级方法进行分级，划分为5级：0级、无病；1级、病小穗数占全部小穗的1/4以下；2级、病小穗数占全部小穗的1/4～1/2；3级、病小穗数占全部小穗的1/2～3/4；4级、病小穗数占全部小穗的3/4以上。

43、进一步的，在linux云服务器中搭建mysql轻量级服务器，实现上位机用户注册、登录的管理，将数据库与上位机连接，实现照片组的保存与历史数据的查询，方便用户统计所监测区域的小麦赤霉病发展趋势。

44、本发明的有益效果是：本发明能够实现并行多个上位机和多个相机控制装置命令收发和操作；实现单反相机的参数设置、照片拍摄、图片的远程传输需求；单反相机远程控制装置使用移动通信技术与云服务器通信，实现对单反相机的远距离控制，同时能兼容温湿度传感器。部署云服务器搭建卷积神经网络深度学习模型，实现田间小麦赤霉病的远程识别以及病害分级预测。其与现有技术相比，具有如下优点：

45、1、本发明的等级预测系统在监测田间小麦赤霉病时，有利于大规模的田间预测，相较于化学检测方法和实验室检测环境，更加快捷高效，不破坏样本，且不需要使用化学试剂，不会对环境造成污染。

46、2、本发明结合mqtt技术，通过订阅式消息机制预留接口便于与其他生产器械协作，实现多终端和多上位进行单反相机阵列的单反相机参数设置和拍摄控制，避免了大田远距离操控的重复设置，减少农业生产环境下获取表型数据的人工成本，实现了田间小麦赤霉病分级预测的目的

47、3、本发明将部分算法转移至云上，降低了装置对于运算方面的硬件要求，从而减少成本，更为经济。

48、4、本发明基于深度学习优化小麦赤霉病的田间识别模型，能够根据田间远程回传的实时图像来监测麦田区域的赤霉病等级，实现远程田间实时的小麦赤霉病等级预测系统，通过采用传感器技术和数据处理算法，实现对田间小麦赤霉病更加精准、全面的监测，提高监测数据的准确性和实时性。