基于深度学习的手势识别数据算法设计

人机交互即HCI，是指人们通过相应方式与机器沟通，并获取机器反馈信息的过程。

深度学习相比传统的机器学习算法往往在图像处理方面能获得更好的效果。其中常用的算法如Faster R-CNN、YOLO、SSD等均有其独特魅力，在目标检测领域具有举足轻重的作用。

本文基于深度学习理论，采用卷积神经网络中的轻量级分类网络MobileNet和目标检测网络SSD相结合;基于输入图片的尺寸不同对模型的影响、带孔卷积的引入，对改进后的SSD算法进行微调。为了进一步提升识别速度，使用Deepwise卷积以进一步降低网络参数和计算量。

1、卷积计算

对于输入的图片，CNN无法准确获悉这些特征与原图哪些部分相匹配，因此需要用不同尺寸的过滤器提取图像特征。实际计算过程是将过滤器和原图对应尺寸匹配，相同位置的值相乘，再将所有的乘积结果相加。

2、手势识别数据算法模型设计

（1） 算法主干网络

本文网络模型是将MobileNet和SSD网络相结合，然后对网络进行微调。其中MobileNet使用了MobileNet-v1网络。截取MobileNet-v1网络前12层卷积层作为网络的基础特征提取层，再加上6层辅助特征提取网络，组成算法的主干网络。标签边框和默认框之间存在偏移值，因此将偏移值作为网络学习的内容。结合分类误差，计算端对端损失函数，进行反向传播的计算和更新。

（2）模型微调

1）将辅助特征提取网络中的3×3标准卷积使用Deep-wise卷积进行替换，进一步减少网络参数和计算量。

2）本文卷积均使用Atrous卷积（带孔卷积），在减少padding带来的噪声的同时，也能减少冗余特征的提取。

3）对部分辅助特征提取卷积网络卷积步长或者特征维度进行调整，使辅助特征网络的尺寸在不断减小的同时，维度数量也随之减小，减少冗余特征对训练和识别结果的影响。

3、手势识别数据算法设计

（1） 算法流程

首先准备好收集的且已人工标记的训练集图片，然后经图中所示的图片预处理过程，将训练集送入上文设计的MobileNet-SSD网络进行迭代学习训练，直至模型训练完成。重复上述步骤，多次实验，获得模型。最终选择在验证集上表现效果最好的模型，在测试集上进行测试，得到相关数据，作为本文最终的数据，分析本文設计的算法模型的优劣。

（2）手势数据集

本文共采集了15种手势的数据图片。平均每种约为2 300张。数据集的组成包含石头，布，ok，比心等。从每种手势中抽出300张加入验证集，抽取100张加入测试集。最终，训练集中有32 327张图片，验证集中有4 500张图片，测试集中有1 500张图片，数据集共有38 327张图片。数据集中部分图片如图3所示。

（3） 图片标注

数据集采用LabelImg标定工具进行人工标记得到真实标签和类别信息。图4和图5所示分别为在标注工具中、标注图片和标注完成将目标信息进行存储的xml文件信息展示。

（4）算法环境

通过对比可以发现改进后的三种网络在手势识别精度方面与SSD-300相比未降低，但在识别速度方面却有很大提高，其中MN-SSD-416和MNS-SSD-416可以实现实时手势识别。

1）MNS-SSD-416网络减少了参数和计算量，使得每秒能够识别的图片数提高至43.5帧，mAP仅降低0.3个百分点。由此可得，使用Deepwise卷积替换辅助特征层的标准卷积是成功的，识别速度实现了大幅提高，付出的识别准确率代价较小。

2）MN-SSD-600和MN-SSD-416具有相同的网络结构，增大了输入图片的尺寸。虽然在识别精度方面表现出了略微优势，能够使得较难识别的几类手势有较好的识别精度，但是大大降低了网络识别速度，使得识别速度仅为22.6帧/s。说明增大图片输入尺寸确实能够使特征更丰富，识别率也有所提高，但却大大降低了识别速度。

结语

本文设计的算法能够满足多种嵌入式平台的使用需求，在保证较好的手势识别精度的前提下，识别速度也有着很大优势，为实时手势识别提供了一种可行的算法。

（内容转载自网络，如有侵权，请联系删除。）