OpenNCC DK丨可编程的AI相机解决方案，让开发嵌入式AI相机不再困难

随着人工智能和IoT技术的成熟和普及，人们对硬件设备的视觉智能化需求也越来越多，云端AI平台也越来越多。但在某些场景中，人们对人工智能设备的快速响应要求比较高，这个时候，嵌入式AI设备就会是比较理想的一个解决方案，它通过在设备本地运行AI算法，能够省去数据在云端和设备端来回传输的时间，达到快速响应的效果。

嵌入式AI相机的原理是什么呢？

从硬件层面来看，主要构成是一个摄像头加一个可以进行人工智能算法运算的芯片，如下图所示，右边摄像头做数据采集，左边算法芯片做数据运算。

  

软件层面来看，嵌入式AI相机跟其他无AI或者云端AI相机最大的区别，就是它把AI算法模型内置在设备芯片里面，也就是上图中左边部分的芯片里面。其实这部分也正是做嵌入式AI硬件产品开发难度最大的部分，即所谓的“算法移植”。

我们知道，现在有很多云端的AI开放平台，也有很多开放的算法框架，如果我们把AI算法推理直接在这些平台上做，那设备端所要做的工作就是把数据采集好往云端推送，然后等结果回传就好了。但是如果我们要把算法放在设备本地，由于芯片的运算能力和云服务器的运算能力不能比，因此一般的算法框架没办法直接用，我们需要对算法做裁剪，然后做模型优化，最后再部署到设备芯片里面。这个工作量比较大，难度也比较高。

那有没有好的方案来简化这个“算法移植”过程呢？这正是OpenNCC所竭力提供的方案，即通过提供模块化的硬件和容器化的算法方案，让嵌入式的AI相机开发过程变得像挑选菜谱一样简单高效。

我们以一个实际的应用案例来看一下用OpenNCC开发一款嵌入式的人脸检测AI相机的过程。

1.选择算法模型
在OpenNCC的开发包中提供了一个"OpenNCC View"工具软件，它里面内置了10种不同的模型检测算法，只要挑选即可，我们选择其中一个face-detection-retail-0004，如下图所示。 

  

2.连接相机和View软件
把OpenNCC相机通过usb数据线插到电脑上，点击view 软件第一个按钮”Get device info”，软件就会找到对应的相机，如下图所示：

  

3.在相机端加载算法模型
上一步中我们已经选择好了要加载的face-detection-retail-0004模型，这里就点击下面的“Start running model”按钮，软件就会把对应的算法模型加载到相机里面。检测最低分数为默认的50%，满分100%。其他参数我们就按默认值就行了。

  

4.效果测试

a.正常人脸，出现在镜头中

在正常人脸出现在镜头中，检测很稳定，能很准确的捕捉到人脸信息，得分基本在100%

b.人脸被遮挡

  

我戴着口罩测试下来，人脸检测也很稳定，能很准确的捕捉到人脸信息，基本和不戴口罩检测结果保持一致。

c.侧脸/背对镜头

  

这张图片中右边同事其实也不算侧脸了，只露出了小部分面部信息，而且还戴了口罩，这对算法的考验还是挺大的，可以看出，算法还是能够识别出来的，只不过分数有所下降，到了70%，而对于左边完全背对着镜头的同事，就无法检测到人脸信息了，无法识别，毕竟是人脸检测嘛，咱不能对算法过于苛刻，也合理。

d.暗光环境下
在实验室暗光下，照度只有10lux，下图中的人脸肉眼都已经很难看清，但算法还是识别出来了人脸，暗光环境下表现有点厉害。

  

e.远距离测试

  

这张图片是在距离镜头6m左右的位置，人脸图像已经有点模糊，算法检测分数在60%左右，再远的位置就很难检测到人脸了。

 f. 多人脸测试

  

我们从网上找到一张图片，40张人脸，在显示器上展示图片，用OpenNCC相机对着显示器看一下识别结果：

  

5.组装整机

从上步测试效果来看，人脸检测准确率还很高。验证通过后，就可以找个标准的38x38的工业相机壳把相机组装起来，这样一款嵌入式人脸抓拍相机就开发完成了！

  

这里我们用到的OpenNCC DK技术参数如下：

硬件技术规格
尺寸	38mmx38mmx45mm
重量	31克
VPU	Intel Movidius Myriad X MV2085
内存	4Gb
数据接口	USB Type-C 2.0/3.0
电源	5V / 2A
相机模组	200万像素可见光相机模组（其他像素可见光模组、红外模组、3D模组可选配）
分辨率	1920 x 1080
帧率	30Hz
水平视场角	70°
软件功能
操作系统	Linux
SDK	1. 获取视频流
	2. AI模型下载和更换
	3. 获取模型运算结果
	4. 相机拍照、重置等
OpenView	开源软件，能够配置相机模型
图像信号处理	√
人工智能
算力	最高4TFlops
支持模型	支持所有OpenVINO的模型，支持TensorFlow和Caffe等框架

 

产品特点：
1.集成嵌入式人工智能技术
2.算法容器化，可通过软件在自带的10款模型库里面选，也可自己训练算法模型后通过SDK导入相机
3.支持摄像头模组更换

适应行业：

物联网，智慧医疗，智慧农植，智慧城市等。

>>推荐OPENNCC产品