PIS2024演讲嘉宾新动态华航遥感信息工程学院罗巍讲师

北华航天工业学院遥感信息工程学院讲师，博士学位，航空宇航科学与技术学科导师，目前主要研究目标检测、目标跟踪、语义分割/融合和语义SLAM四个方向。

中国科学院大学博士

河北省兵工学会常务理事

深圳市人工智能行业协会专家委员会委员

目前主要研究目标检测、目标跟踪、语义分割/融合和语义SLAM四个方向，并在这四个方向中解决了下面一些问题：

（1）目标检测方面：

A. 由于目标具有很高的机动性，动态状态不断变化，目标不可能总被捕获在视野中，会出现假阳性或阴性问题。此外，目标的动态状态会降低三维姿态估计的稳健性。因此，需要设计一个改进的LSTM-KF模型，即姿态估计器的时间正则化模型，根据立体摄像机捕获的目标的深度数据，通过二维帧上的目标坐标对目标的三维姿态进行估计和跟踪，实现了目标精准地检测和跟踪，解决了因目标的动态位置的不断变化导致目标不可能总被捕获在视野中发生的假阳性或假阴性问题和二维帧上的目标坐标对目标的三维姿态进行估计和跟踪问题（Luo,W et al.,2023b）；

B. 从检测模型的骨干网络、特征提取网络、头部网络、注意力机制和损失函数等方面进行改进，降低模型对硬件配置的依赖和计算成本，实现模型足够轻量化，以部署在计算资源有限的平台上，在复杂多变的环境中对目标进行高精准地检测识别，解决了因目标所处的环境背景复杂（背景中存在噪声或与目标相似的物体或颜色）导致目前轻量化检测模型提取的目标信息特征较少会出现模型检测精度不高、误检和漏检问题（Zhao, Y., Luo, W.,2024;Luo,W et al., 2022）。

（2）在目标跟踪方面：

A. 将目标检测器 YOLO与光流方法相结合用于目标检测和跟踪，提出一种回溯跟踪器，并在其中添加ROI、OLOT、Keep Alive等技术对其进行改进，以达到在目标检测和跟踪过程中降低延迟，减少故障以及动态调整帧率，减少能源浪费的作用，从而实现低延迟、高帧率的跟踪效果（Luo,W et al.,2023b）；

B. 使用YOLOv7和Deep SORT算法进行目标检测和跟踪。利用光流补偿卡尔曼滤波，提高预测精度；采用低置信度轨迹滤波方法，减少不可靠检测对目标跟踪的影响。设计了用于无人机的视觉伺服，以降低运动影响，实现自动跟踪任务(Luo, W et al., 2024)；

C. 使用YOLOv7和Deep SORT，构建一种具有全局运动补偿的无人机多目标跟踪系统，实现了良好的跟踪精度。在该系统中，对基于Deep SORT算法的KF方法进行优化；基于Res2Net和群卷积对Deep SORT算法的ReID部分构建了特征提取网络（FEN），以实现持续跟踪；此外，还提出一种特征匹配方法--GMC，通过特征匹配使相邻帧对齐，并在下一帧中获得修正后的目标位置，以减少相机运动对跟踪的干扰。该系统解决了因目标频繁移动和目标遮挡导致跟踪不准确问题和无人机相机快速的水平、垂直和旋转运动导致跟踪失败问题（Zhang, G et al., 2024）；

D. 提出了一种基于深度学习的跟踪算法，遵循基于 CenterTrack 算法建立的JDT范式，满足实际应用中复杂场景中多目标跟踪的需求，解决了密集场景中目标重叠导致的漏检和跟踪失败等问题(Yuan ,Q et al., 2024)。

E. 提出一种基于Transformer 架构的可见光--红外融合的目标跟踪方法，在低光、强光、低温等复杂场景中对目标进行跟踪，解决在光照变化和严重遮挡的场景中跟踪性能降低问题。

（3）在语义分割/融合方面：

A. 语义融合方面：在真实场景中，目标图像受尺度、遮挡和外观等因素的影响而复杂多样，影响了目标检测算法的性能。这使得目标检测算法和语义融合算法存在以下问题：对不同目标特征的表征不够充分、模型通道减少导致位置信息丢失、神经元无法学习目标图像内部的复杂交互以及语义特征的获取等问题。因此，基于语义融合算法和目标检测算法提出一种多层注意力机制，包括节点注意力和语义注意力。节点注意包括学习邻居重要性和节点表征。语义注意包括学习元路径重要性和多语义融合。它们能有效解决神经元学习目标图像中复杂的交互和语义特征问题；此外，还提出一种自适应特征融合网络，它可以自适应地过滤其他层的无用信息，保留对目标识别有利的特征信息。引入了一个特征增强模块，以增强特征网络中顶层目标特征的可识别性，从而缓解目标位置丢失的问题。

（4）在语义SLAM方面：

A. 在使用SLAM进行三维重建时在很大程度上都依赖于静态环境的假设，对于动态环境下的三维建模一般都是通过结合深度学习和语义分割来实现，但是大多数语义分割SLAM在动态场景下的实时性都比较差，所以需要设计一种SLAM系统框架使得SLAM技术在动态场景下实现准确度和实时性的平衡。因此，提出了一种结合知识蒸馏和动态概率传播策略的实时语义SLAM系统，采用多层次知识提炼方法获得轻量级的分割模型，该模型仅接收关键帧的输入，并基于分割结果提出一种静态语义关键帧选择策略以减少动态对象的参与，由此通过结合分割结果和数据匹配算法实现动态概率的更新和传播，减少动态点在位姿优化中的影响，解决了动态场景下语义SLAM实时性差的问题，同时整个系统也具有较高的定位精度和准确度。

B. 在大场景下进行语义SLAM三维重建的定位精度不高和存储困难一直是一个热点问题。因此，需要设计一种策略解决大场景下准确的三维重建和存储问题。设计了一种以VINS-RGBD为基线模型的语义SLAM系统，采用轻量级的端到端L_SuperPoint特征点代替Shi-Tomasi角点，并使用KNN算法进行特征点之间的匹配由此实现准确的位姿估计。模型结合轻量级语义分割网络PP-LiteSeg-T实现高速准确的语义分割，采用半径异常值去除滤波器对点云图进行处理增加了地图构建的准确性。采用Voxblox对语义点云图进行存储，降低了存储需求，可以实现大场景三维建模下的地图存储。由此解决了大场景下语义SLAM三维重建定位精度低并难以存储的问题。

科研项目承担情况：

1. 2023.8~至今，主持河北省中央引导地方科技发展资金项目课题---“基于低延时跟踪及长期递归卷积网络的畜群监测边缘推理方法研究”，15万，在研。

2. 2022.8~至今，主持中国高校产学研创新基金项目“基于机载深度推理的智能放牧方法研究”，20万元，在研。

3. 2022.8~至今，主持农业监测预警技术重点实验室开放基金课题“基于改进Yolov5的自主放牧无人机研究”，2万元，在研。

4. 2022.7~至今，主持光谱检测重点实验室开放基金课题“面向松材线虫病自主监测的智能体研究”，2.5万元，在研。

5.2022.6~至今，主持先进运动控制福建省高校重点实验室开放基金“基于机载深度推理的智能放牧方法研究”，1.5万元，结题。

6. 2021.6~2022.4，主持先进运动控制福建省高校重点实验室开放基金项目“基于群体智能的海洋塑料垃圾监测平台研究”，2万元，结题。

7. 2021.1~至今，主持北华航天工业学院博士科研启动基金项目“基于人工智能的海洋漂浮物监测方法研究-以三沙市为例”，20万元，在研。

8. 2020.9~2021.8，主持国家对地观测科学数据中心开放基金项目“树种识别深度学习模型实验数据集”，3万元，结题。

9. 2020.5~2021.12,主持自然资源部测绘科学与地球空间信息技术重点实验室开放研究基金课题”知识图谱与深度学习驱动的水环境遥感影像智能解译”,2万元,结题。

10. 2019.6~ 2021.9，主持十三五专项“重大生态工程生态效益监测与评估”子课题“生态工程信息识别方法研究”，10万元，结题。

11. 2018.7~2019.11，参与中科院与军委装备发展部联合基金“多域作战环境认知与语义分析技术”，3000万元，结题。子课题副组长，主要负责利用深度学习框架对海量无人机影像进行语义分割,实现对道路、建筑物、装备等地物目标的自动识别和检测。

12. 2015.8~2017.7，参与科技部重大科技专项“三江源智慧生态畜牧业技术平台研发（2015-SF-A4-1）”，1200万元，已结题。博士后，主要负责野生动物无人航片的获取和野生动物目标自动识别和检测。

13. 2012.9~2015.7，参与国家重大专项“高分在电子政务地理空间基础信息库建设与服务中的应用示范系统先期公关（Y2D0060038）”，50万元，已结题。主要负责实现高分辨率卫星遥感影像中的道路目标自动识别和检测。

著作及论文发表情况：

1. 负责编写新时代中国研究丛书《数字中国》，获列2018年度国家重点出版图书，ISBN 978-7-5599-0526-0,云南教育出版社出版。

2. Zhao, Y., Luo, W., Wang, Z., Zhang, G., Liu, J., Li, X., Wang, Q. (2024). An oil and gas pipeline inspection UAV based on improved YOLOv7. Measurement and Control, 00202940241230426(SCI 4区, 影响因子2.1).

3. Luo, W., Zhao, Y., Shao, Q., Li, X., Wang, D., Zhang, T., ... Yu, Z. (2023b). Procapra Przewalskii Tracking Autonomous Unmanned Aerial Vehicle based on Improved Long and Short-Term Memory Kalman Filters. Sensors, 23(8), 3948( SCI 3区, 影响因子3.9).

4. Luo,W.; Li, X.; Zhang, G.; Shao, Q.; Zhao, Y.; Li, D.; Zhao, Y.; Li, X.; Zhao, Z.; Liu, Y.; et al. High-Accuracy and Low-Latency Tracker for UAVs Monitoring Tibetan Antelopes. Remote Sens. 2023a, 15, 417(SCI 2区top, 影响因子5.0).

5. Luo,W.; Zhang, Z.; Fu, P.; Wei, G.;Wang, D.; Li, X.; Shao, Q.; He, Y.; Wang, H.; Zhao, Z.; et al. Intelligent Grazing UAV based on Airborne Depth Reasoning. Remote Sens. 2022, 14, 4188. https://doi.org/10.3390/rs14174188, SCI 2区top, 影响因子5.0.

6. Zhang, G.; Zhao, Y.; Fu,P.; Luo, W.; Shao, Q.; Zhang, T.; Yu ,Z. A reliable unmanned aerial vehicle multi-target tracking system with global motion compensation for monitoring Procapra przewalskii. Ecological Informatics. 2024(Accepted, SCI 2区,影响因子5.1).

7. Luo, W.; Zhang, G.; Shao,Q.; Zhao, Y.; Wang, D.; Zhang, X.; Liu, K.;Li, X.;Liu, J.; Wang, P.;et al. An efficient visual servo tracker for herd monitoring by UAV. Scientific Reports. 2024(Accepted, SCI2区,影响因子4.6).

8. Yuan, Q.; Luo ,W.; Zhang, G.; Zhao, Y.;et al. High-precision tracking and positioning for monitoring Holstein cattle . Plos One. 2024(Accepted, SCI3区, 影响因子3.7).

9. Yuan, Q.; Wang, P.; Luo, W.; Zhou, Y.; Chen, H.; Meng, Z.;et al. SLAM System for Agricultural Yield Estimation based on Improved VINS-RGBD: A Case Study of Strawberry Field. Agriculture. 2024(Accepted, SCI2区，影响因子3.6)

10. Luo,W.; Han,W.; Fu, P.; Wang, H.; Zhao, Y.; Liu, K.; Liu, Y.; Zhao, Z.; Zhu, M.; Xu, R.; et al. A Water Surface Contaminants Monitoring Method based on Airborne Depth Reasoning. Processes 2022, 10, 131. https://doi.org/10.3390/pr10010131(SCI 4区，影响因子3.5).

11. Wei Luo; Yongtao Jin; Xuqing Li; Ke Liu*. Application of Deep Learning in Remote Sensing Monitoring of Large Herbivores- A Case Study in Qinghai Tibet Plateau, Pakistan J. Zool., pp 1-9, 2021(SCI 4区, 影响因子0.6).

12. Bing Guo, Wenqian Zang, Wei Luo⁎.Spatial-temporal shifts of ecological vulnerability of Karst Mountain ecosystem-impacts of global change and anthropogenic interference. Science of the Total Environment 741 (2020) 140256(SCI 1区 top, 影响因子9.8).

13. Guo Bing; Wei Luo*; Baomin Han; Yue Liu; Multiple spatial–temporal scale change patterns of rainfall erosivity in China over past 58 years based on gravity centre model, Geomatics, Natural Hazards and Risk, 2019, 10(1):2200-2219(SCI 3区, 影响因子4.2).

14. Wang D L, Luo W. Bayberry Tree Recognition Dataset based on the Aerial Photos and Deep Learning Model. Journal of Global Change Data Discovery. Volume 3 Issue 3,290-296(SCI 4区, 影响因子0.5).

15. GUO Bing; LUO Wei*; WANG Dong-liang; JIANG Lin; Spatial and temporal change patterns of freeze-thaw erosion in the three-river source region under the stress of climate warming, Journal of Mountain Science, 2017, 14(6):1086-1099( SCI 3区, 影响因子2.5).

16. 罗巍，邵全琴，王东亮，汪阳春，《基于面向对象分类的大型野生食草动物识别方法-以青海三江源地区为例》，野生动物学报2017年第4期，中文核心。

17.罗巍，王东亮，《一种利用角度纹理特征提取高分辨率遥感影像中城市主干道路的方法》，中国图像图形学报，DOI: 10.11834/jig.160658，2017 Volume 22 Number 11,中文核心。

1. 李晓亮，周慧文，罗巍，魏昕，周云英，孙贺。一种基于AI物体检测算法的建筑施工监理系统及方法。专利号：ZL 2021 1 1050669.8

2. 王东亮，辛晓平，罗巍。一种无人机Lidar反演草原植被参数的精度改进方法，专利申请号：201610827579.8，发文序号：2018052200704040（发明专利）

为推动技术创新与产业融合相结合，PIS 2024 第十届中国国际智慧农业与信息化高峰论于2024 年8月15-16日在杭州隆重召开！本次大会将以“乘‘数 ’而上·构建农业新图景”为主题，现场汇聚300+智慧农业行业先锋、全球农机巨头、政府领导及有关的管理部门、科研工作者、企业家及行业相关人员共探讨智慧农业数智技术和创新，共寻科技助力农业高质量发展的新路径。

扫码即可报名

中国·杭州

范女士18158866162

PIS 2024 第十届中国国际

智慧农业与信息化高峰论坛

邀您参会！