一套完整的NPU机器人视觉伺服系统——米尔RK3576

项目背景：随着嵌入式 AI 技术的快速发展，边缘计算设备的算力不断提升，使得在低功耗、低成本的嵌入式平台上部署深度学习模型成为可能。本项目基于瑞芯微 RK3576 芯片的 NPU（神经网络处理单元）加速能力，结合 YOLOv5 目标检测模型，实现了一套完整的机器人视觉伺服控制系统。本项目是一个学习实践项目，旨在深入理解以下技术：

• YOLO 目标检测模型的训练与部署

• RKNN 模型量化与 NPU 推理优化

• 嵌入式 Linux 系统开发

• 串口通信与舵机控制

• Flask Web 应用开发

项目目标

目标类型

具体内容

核心功能

实现基于 YOLOv5 的实时目标检测，识别人脸、食物、学习用品等物体

运动控制

通过双轴舵机云台实现人脸跟踪和物品响应动作

人机交互

提供 Web 界面实时显示视频流和控制状态

 

应用场景

• 智能家居机器人的视觉交互模块

• 教育机器人的人脸跟随功能

• 嵌入式 AI 开发学习与教学演示

 

二、功能设计

2.1 系统功能概述

本系统实现了以下核心功能：

功能模块

功能描述

实现方式

视觉识别

80 类 COCO 目标检测，支持人脸、食物、学习用品识别

YOLOv5s + RKNN NPU 加速

人脸跟踪

检测到人脸时，舵机云台自动跟踪人脸位置

PID 控制 + 平滑滤波

物品响应

识别不同类别物品，执行对应动作序列

类别映射 + 动作队列

Web 界面

实时视频流、状态显示、手动控制

Flask + MJPEG 流

 

2.2...