第三方系统适配开发指南
本文描述了第三方类Debian系统适配的开发流程
一、RK平台主要需要适配的硬件
- GPU：图像处理器（graphics processing unit），又称显示核心、视觉处理器，主要用于加速几何转换和光照处理、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，目前RK平台GPU硬件已集成到SOC中。
- RGA：2D图形加速器，用于加速2D图形的旋转，裁剪，缩放等操作。目前RK平台RGA硬件已经集成到SOC中。
- VPU：视频编解码模块，用于加速视频编解码，支持多种格式。目前RK平台VPU硬件已经集成到SOC中。
- ISP：ISP主要作用是对前端图像传感器输出的信号做后期处理等。目前RK平台ISP硬件已经集成到SOC中。
- NPU：嵌入式神经网络处理器（NPU）采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。NPU处理器专⻔为物联网人工智能而设计，用于加速神经网络的运算，解决传统芯片在神经�网络运算时效率低下的问题。目前RK平台NPU硬件已经集成到SOC中。
- Wi-Fi/BT：开发板上适配的短距离通信模块。
二、RK平台主要适配软件介绍
| 源码位置 | 说明 |
|---|---|
| SDK/external/libmali | RK平台目前提供的针对硬件gpu的用户态函数接口,主要是opengles通用接口，目前主流的类Debian的显示框架有xserver和wayland,对于适配系统的APP使用的软件接口也要做相应的修改。 |
| SDK/external/xserver | RK平台目前对xserver硬件加速的补丁，如果您的第三方系统显示框架⾛的是xserver,请参考这个仓库的补丁适配。 |
| SDK/external/linux-rga | 针对硬件RGA的用户态函数接口。 |
| SDK/external/mpp | 针对硬件VPU用户态函数接口。 |
| SDK/external/rknpu2 | 针对硬件NPU用户态函数接口。 |
| SDK/external/camera_engine_rkaiq | 针对硬件ISP用户态函数接口。 |
| SDK/external/drm-cursor | 针对硬件鼠标层用户态函数接口。 |
三、软件开发适配特别说明
因为软件适配的时候，类debian系统可能存在许多版本依赖，如果下述的包安装失败，需要您重新部署源码到您的目标机器去编译。
编译命令：
cd 源目前录
sudo apt build-dep .
sudo DEB_BUILD_OPTIONS=nocheck dpkg-buildpackage -rfakeroot -b -d -us
四、显示服务的适配
（1） 概述
类debian系统上的显示服务可以由下面几个部分组成：
显示应用 + 图形显示框架 + 图形显示接口 + 处理图形显示的硬件
显示应目前主流的有x11, gnome,kde, xfce4,sdl2等等，图形显示框架主要包含wayland, xserver, gbm这三种, 对于rockchip来说，图形显示接目前只支持opengl，处理图形显示的硬件自然就是GPU。下面列举几种显示框架的组合情况��：
| 显示应用 | 说支持的图形显示框架 | 支持的图形显示接口 |
|---|---|---|
| x11 | xserver | opengles/gbm |
| gnome | xserver/wayland | opengles/gbm |
| kde | xserver/wayland | opengles/gbm |
| xfce4 | xserver | opengles/gbm |
| sdl2 | xserver/wayland | opengles/gbm |
根据上面的表格，在适配类debian系统的时候，要先知道前端（即显示应用是什么），然后要了解图形显示框架走的是xserver还是wayland去，做针对性的适配。
（2） GPU适配
先确定您系统上使用的显⽰框架，是xserver还是wayland，(⽬前只支持这两种框架) 然后安装
SDK/debian/packages/"ARCH"/libmali/libmali-***.deb
⽐如，系统在rk3588平台上使用x11，rk3588平台使用的gpu型号是valhall-g610-g6p0，那么，需要安装：
SDK/debian/packages/arm64/libmali/libmali-valhall-g610-g6p0-x11_1.9-1_arm64.deb
（3） RGA适配
安装包：
SDK/debian/packages/'ARCH'/rga/*.deb
（4） drm-cursor适配
安装包：
SDK/debian/packages/arm64/libdrm-cursor/*.deb
（5） xserver适配
因为xserver版本众多，您先确定您系统版本使用的xserver版本，然后基于我们的源码补丁，移植到您版本的xserver，然后再重新编译。
⽣成补丁：
cd 源码⽬录
git format-patch e4f4521ca
下面是编译好的1.20.11版本的安装包：
SDK/debian/packages/'ARCH'/xserver/xserver-common_1.20.11-1_all.deb
SDK/debian/packages/'ARCH'/xserver/xserver-xorg-core_1.20.11-1_'ARCH'.deb
SDK/debian/packages/'ARCH'/xserver/xserver-xorg-legacy_1.20.11-1_'ARCH'.deb
xserver还需要⼀个启动脚本��做⼀些初始化操作，如果是类debian系统，可以尝试复制启动脚本进系统，如果不是, 请参考脚本自行配置：
SDK/debian/overlay/etc/X11
（6） 如何验证是否适配成功
显⽰服务加速使用opengles的标准接口，如果你的系统使用opengl，请移植成opengles，如果适配成功，当渲染画⾯或者拖动窗口的时候，去查看平台相关的gpu节点，会有gpu利用的变化，⽐如RK3588平台：
cat /sys/devices/platform/fb000000.gpu/utilisation
注意：不同平台的gpu节点是不一样的。
五、编解码服务的适配
（1） 概述
编解码服务，由下面几个部分组成：
上层的多媒体框架软件 + 中间层mpp + 硬件编解码器
上层编解码框架在开源社区常用的有gstreamer等，下文中都是以gstreamer作为例子演⽰的, 中间层mpp库，是作为通用第三方软件（如gstreamer）和硬件编解码器的中间层。
（2） mpp适配
安装包：
SDK/debian/packages/'ARCH'/mpp/*.deb
注意：⼀些节点的权限设置，需要参考
SDK/debian/overlay/etc/udev/rules.d/99-rockchip-permissions.rules
验证mpp是否配置成功：
# mpi_enc_test -w 1920 -h 1080 -t 7 -o /tmp/test.h264
# mpi_dec_test -w 1920 -h 1080 -t 7 -i /tmp/test.h264
（3） 多媒体软件适配
用⼾的多媒体框架有许多，这⾥⽐较推荐的是用⼾的播放器直接调用mpp的接⼝去进⾏视频编解码的适配，具体请查看mpp的接⼝文档《Rockchip_Developer_Guide_MPP_CN.pdf》
（4） gstreamer适配
RK平台目前有有适配一个gst-base的预编译包：
SDK/debian/packages/'ARCH'/gst-plugins-base1.0/*.deb
SDK/debian/packages/'ARCH'/gst-plugins-bad1.0/*.deb
SDK/debian/packages/'ARCH'/gst-plugins-good1.0/*.deb
RK平台还支持gstreamer通用多媒体框架，需要您提前安装官方gstreamer组件（也可以安装上述的gstbase的预编译包，如果您的系统版本相兼容），然后再安装gst-rockchip插件：
SDK/debian/packages/'ARCH'/gst-rkmpp/*.deb
（5） 如何验证是否适配成功
sudo GST_DEBUG=2 gst-launch-1.0 playbin uri=file视频绝对路径 video-sink="显⽰sink" audio-sink=fakesink
如果有mpp调用的字样，说明硬件解码成功适配。
六、camera服务适配
（1） camera_engine_rkaiq适配
安装包：
SDK/debian/packages/'ARCH'/rkaiq/camera_engine_rkaiq_'ARCH'.deb
（2） 如何验证是否适配成功
可以使用v4l2命令查看是否抓图成功，并且查看抓出来的图是否正确：（注意：不同平台不同camera的节点，格式，分辨率等可能有所不同，请根据具体情况更换命令）
v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat=NV12 --stream-mmap=4 --stream-skip=3 --stream-to=/tmp/0.yuv --stream-count=1 --stream-poll
七、NPU适配服务
（1） rknn_runtime适配
rknn_runtime主要是用⼾态的库，只要拷贝它到客⼾的文件系统中即可。
SDK/external/rknpu2/Linux/librknn_api/'ARCH'/librknn_api.so
SDK/external/rknpu2/Linux/librknn_api/'ARCH'/librknnrt.so
（2） rknn_server适配
rknn_server主要是pc上使用rknntool2工具时候，要求板上通信所用的服务，如果在pc上训练好模型，转化为rknn后在导入板子上，是不需要这个服务的。
SDK/external/rknpu2/Linux/rknn_server/'ARCH'/usr/bin/*
（3） rknn demo
请参考:
SDK/external/rknpu2/examples
八、Wi-Fi/BT服务适配
参考《Rockchip_Developer_Guide_Linux_WIFI_BT_CN.pdf》
在SDK中预编译包：
SDK\debian\packages\'ARCH'\rkwifibt\*.deb