本网讯 近日，信息与人工智能学院智能科学与技术系饶元教授团队在《Computers and Electronics in Agriculture》期刊（中科院一区Top期刊，IF: 8.3）在线发表了题为《MLP-based multimodal tomato detection in complex scenarios: Insights from task-specific analysis of feature fusion architectures》的研究论文。研究提出了一个多模态融合编码器，使用可见光、深度、近红外三模态融合缓解复杂真实场景下果实检测性能不稳定问题。
准确高效的番茄检测和分类对于采摘机器人的实际部署至关重要，但在光照变化、果实重叠、枝叶遮挡等复杂场景中，仅使用 RGB 图像进行检测仍具有很大的挑战性。论文提出了一种多模态融合编码器，利用深度和近红外模态辅助可见光模态进行检测，并设计了一个即插即用的融合架构，对比分析了MLP、ViT、CNN三种不同的架构对于特征融合性能和总体检测性能的影响。最后，提出了基于MLP架构的YOLO-DNA模型。该研究可为复杂实际应用场景下的多模态轻量级果实检测相关研究提供参考，对促进农机装备视觉智能系统研究具有重要价值。
腾博tengbo168官网信息与人工智能学院2021级计算机科学与技术专业本科生陈文骏为第一作者，智能科学与技术系教授饶元为通讯作者。该研究得到了国家自然科学基金、安徽省重点研究和开发计划项目、国家级大学生创新创业训练计划项目的资助。（文/王坦 图/陈文骏 编辑/孙光旭 预审/饶元 审核/夏晓昀）
论文链接：https://doi.org/10.1016/j.compag.2024.108951
