V20260330
概括说明
V20260330 汇总 2026 年 2 月至 3 月 K3 ROS / SDK 的主要更新。本阶段重点完善机器人 AI 能力栈,覆盖语音交互、大模型推理、视觉感知和 AI Agent,同时统一封装机器人常用外设接口,降低上层应用开发和二次集成成本。
本卷面向使用 K3 平台进行 AI 能力验证、机器人应用开发和外设集成的开发者。用户可以通过本版本快速体验语音识别、语音合成、VAD、大模型对话、视觉检测识别、Agent 工具调用和常用外设访问能力。
发布版本号
- 卷标识:V20260330
- 发布或冻结日期:2026-03-30
- 推荐 Git / SDK 标签或分支:开源持续更新,GitHub / Gitee 同步发布;本卷对应最新提交日期为 2026-03-26,具体分支或标签以 manifest / repo 发布信息为准。
- 关键 target 或产品配置:K3 平台;具体 target 以产品工程配置和发布 manifest 为准。
更新内容
| 模块或领域 | 说明 |
|---|---|
| 语音交互能力 | 提供统一 C++ / Python 接口,支持 ASR 语音识别、TTS 语音合成和 VAD 语音端点检测。 |
| 大模型推理 | 提供统一应用接口,支持 OpenAI API、多轮对话和 Tool Calling;验证 Qwen2.5 / Qwen3、GLM-Edge、DeepSeek R1 等 10+ 种量化模型。 |
| 视觉感知 | 提供统一视觉应用接口,支持 YOLOv8 / YOLOv11 目标检测、ByteTrack / OC-SORT 跟踪、YOLOv8-Pose 姿态估计、ArcFace 人脸识别,并提供情绪、火灾、入侵、跌倒检测等应用场景示例。 |
| AI Agent | 提供端到端语音交互开箱示例 omni_agent,集成标准 MCP 协议客户端,支持 stdio / Socket / HTTP 传输、动态服务发现和 Function Calling。 |
| 外设驱动 | 统一封装 IMU、光传感器、激光雷达、电机、按键、NFC、音视频采集与播放等外设接口。 |
| 开发工具 | 统一 SDK 构建系统,支持一键编译生成示例应用,方便二次开发和组件集成。 |
升级建议:首次使用 K3 SDK 的用户建议先完成源码同步、环境初始化和 SDK 一键编译,再按语音、视觉、LLM、Agent 和外设能力逐项验证。已有工程用户建议同步最新 repo / manifest 后重新构建相关组件,并优先验证依赖的外设、模型文件和运行脚本。
资源链接
- 发布工件、镜像或下载:
- 校验(SHA256、签名或校验命令):以镜像或发布工件随附的校验信息为准。
- 配套文档:
下月预告
持续优化模型推理性能,完善 ROS2 中间功能包,发布 K3 平台机器人 Alpha 版本 SDK。