2.32.5.1技术路线及研究方法
基于以上提出地待解决问题,该部分将给出相应的技术路线,如图3所示,这对该项目具有遮挡的虹膜分割、具有干扰和噪声的虹膜识别以及嵌入虹膜身份认证的智能更衣柜管理系统构建问题,该项目研究分割建模方法、识别建模方法和更衣柜管理系统建模方法,分别提出空间-频率域交叉注意力的虹膜图像分割、多特征融合的图Transformer虹膜识别以及虹膜身份认证的智能更衣柜管理系统构建方法。
图3 基于视觉Transformer虹膜识别的智能衣柜管理系统研究方案
(1)跨空间-频率域交叉注意力的虹膜图像分割方法
现有目标分割模型由于无法捕获有效的上下文语义信息,导致模型对复杂场景中物体的分割精度低;同时,这些分割模型只关注图像的空间域特征,忽略了空间域特征和频率域特征的结合,丢失了大量边缘细节信息;而且现有分割模型泛化性能较差,导致虹膜图像的分割效果下降。针对上述问题,该项目研究基于频率感知的语义分割模型。该模型的框架如图4所示,首先输入一张虹膜图像,应用卷积层获取浅层特征 ,接着使用三个连续的残差层[31]依次对浅层特征降低分辨率得到特征 , 通过输入到动态频率捕获核和线性注意力算子模块分别生成图像的频率域特征 和空间域特征 ;其次将 输入跨空间-频率域交叉注意力模块,生成不同域交互后的混合特征 输入到并行门控前馈网络模块,生成不同域混合后的增强特征 后通过分割头得到分割图像。在分割好的图像上进行边缘检测、模拟内外轮廓、二值化以及归一化得到归一化图像,为后续的识别奠定基础。该部分重点研究虹膜图像分割,研究内容包括基于权值共享的分解注意力频率语义信息提取、空间域特征与频率域特征的交互方法和空间域与频率域融合的前馈网络建模方法。
图4基于复杂环境的虹膜图像分割方法架构
(1) 基于权值共享的分解注意力频率语义信息提取
该部分的特点是利用动态频率捕获思想有效提取图像的重要频率特征。动态频率捕获核的输入为特征 , ;其次使用自适应低频滤波和自适应高频滤波获取高低频特征;然后对高低频特征使用可分离卷积进行位置嵌入,接着应用线性层将输入的高低频特征转换为频率分量—键向量K,值向量V和查询向量Q;最后通过频率分量Q,K,V在频率捕获核上交互选取重要的频率特征,通过升维得到输出的频率域特征 。公式定义为:
(5)
(6)
(7)
(8)
其中,公式(5)中 公式(6)中 ( )表示拼接操作, 代表自适应低频滤波动态捕获的低频特征, 动态捕获的高频特征,公式(7)中 ( )为可学习的线性层, ,公式(8)中 为频率捕获核选取的重要频率特征。
(2) 跨空间-频率域交叉注意力
现有的虹膜分割模型只从图像的空间域角度提取特征,忽略了频率域和空间域特征的结合,从而导致图像边缘细节信息的丢失。因此本文提出跨空间-频率域交叉注意力,通过空间域与频率域特征的交互,从而获取有效的分割边缘细节信息。
空间域特征 线性注意力算子(来自外部注意力[34]的启发)模块生成,该模块的输入为降低分辨率后的特征向量 ,输出为空间域特征 ,公式如下:
(9)
其中, 是可学习的权重参数,M为特征的分辨率大小,DN为双归一化操作。该项目为了降低模型的计算复杂度,取消了外部注意力的多头机制,提升了模型的计算速度。
跨空间-频率域交叉注意力模块的输入为空间域特征 和频率域特征 。首先把输入的频率域特征 ,公式表示为:
(10)
其次把空间域特征 进行经过归一化、池化、卷积、沿通道维度分裂、维度转换一系列矩阵操作后生成两个交叉特征向量 ,公式如下:
(11)
分别代表矩阵分裂, , 代表池化操作, 代表归一化操作。
则跨空间-频率域交叉注意力最后来自空间域的交叉特征 与频率域特征 进行交叉注意力操作生成特征 ,再对 进行维度反变换得到输出 定义为,公式如下所示:
(12)
(13)
其中, 表示 的通道维数。值得说明的是,当交叉特征的空间大小为 12 × 12时,模型的分割效果最好。因此,跨空间-频率域交叉注意力通过空间域与频率域特征的交互,获取图像中有效的边缘细节信息。
(3) 并行门控前馈网络
现有的分割模型只在简单场景下目标的分割效果较好,同时因为模型泛化性能较差,所以导致虹膜分割效果下降。该项目提出的并行门控前馈网络架构。在这项工作中,并行指把上一层级的特征信息流进行分组归一化,两组并行计算。并行机制一方面在一定程度上保持了Transformer模型中多头机制的优越性;另一方面通过生成2条不同的路径进行特征映射捕捉不同位置像素之间的关系。给定一个输入特征向量 ,公式如下:
(14)
借鉴Restormer[29]的思想,门控被设计为深度卷积和两条平行分支的元素积。其中两条平行分支的元素积由GELU[35]非线性函数分别进行激活。门控机制通过编码空间相邻像素的位置信息学习图像的局部结构。公式如下所示:
(15)
(16)
其中 为GeLu激活函数,BN为批量归一化[36] , 为逐元素乘法。
最后,再将两个并行分支的特征映射拼接起来,输出特征为 ,如公式所示:
(17)
(18)
1)基于权值共享的分解注意力频率语义信息提取
该部分的特点是利用动态频率捕获思想有效提取图像的重要频率特征。动态频率捕获核的输入为特征 , ;其次使用自适应低频滤波和自适应高频滤波获取高低频特征;然后对高低频特征使用可分离卷积进行位置嵌入,接着应用线性层将输入的高低频特征转换为频率分量—键向量K,值向量V和查询向量Q;最后通过频率分量Q,K,V在频率捕获核上交互选取重要的频率特征,通过升维得到输出的频率域特征 。公式定义为:
(1)
(2)
(3)
(4)
其中,公式(1)中 公式(6)中 ( )表示拼接操作, 代表自适应低频滤波动态捕获的低频特征, 动态捕获的高频特征,公式(7)中 ( )为可学习的线性层, ,公式(8)中 为频率捕获核选取的重要频率特征。
2)跨空间-频率域交叉注意力
现有的虹膜分割模型只从图像的空间域角度提取特征,忽略了频率域和空间域特征的结合,从而导致图像边缘细节信息的丢失。因此本文提出跨空间-频率域交叉注意力,通过空间域与频率域特征的交互,从而获取有效的分割边缘细节信息。
跨空间-频率域交叉注意力模块的输入为空间域特征 和频率域特征 。首先把输入的频率域特征 ,公式表示为:
(5)
其次把空间域特征 进行经过归一化、池化、卷积、沿通道维度分裂、维度转换一系列矩阵操作后生成两个交叉特征向量 ,公式如下:
(6)
分别代表矩阵分裂, , 代表池化操作, 代表归一化操作。
最后来自空间域的交叉特征 与频率域特征 进行交叉注意力操作生成特征 ,再对 进行维度反变换得到输出 ,公式如下所示:
(7)
(8)
其中, 表示 的通道维数。值得说明的是,当交叉特征的空间大小为 12 × 12时,模型的分割效果最好。因此,跨空间-频率域交叉注意力通过空间域与频率域特征的交互,获取图像中有效的边缘细节信息。
3)并行门控前馈网络
现有的分割模型只在简单场景下目标的分割效果较好,同时因为模型泛化性能较差,所以导致虹膜分割效果下降。该项目提出的并行门控前馈网络架构。在这项工作中,并行指把上一层级的特征信息流进行分组归一化,两组并行计算。并行机制一方面在一定程度上保持了Transformer模型中多头机制的优越性;另一方面通过生成2条不同的路径进行特征映射捕捉不同位置像素之间的关系。给定一个输入特征向量 ,公式如下:
(9)
门控机制通过编码空间相邻像素的位置信息学习图像的局部结构。公式如下所示:
(10)
(11)
其中 为GeLu激活函数,BN为批量归一化[36] , 为逐元素乘法。
最后,再将两个并行分支的特征映射拼接起来,输出特征为 ,如公式所示:
(12)
(13)
其中 。总体而言,并行门控前馈网络控制着整个网络架构中各个层次的信息流,通过增强空间信息和频率信息的互补特征,提高模型泛化能力。
(2) 多特征融合的图Transfomer虹膜识别建模方法
复杂环境下的虹膜识别任务中两幅图像具有较大差异问题,经过国内外研究现状分析后,对具有较大差异的两幅图像进行目标识别发现,图像中某些局部区域具有更好的可区分性和可匹配性,基于局部区域信息匹配的识别方法能够更好解决差异问题。因此,这部分将围绕基于视觉Transformer网络的目标匹配方法进行研究,如图5所示,研究内容包括:局部图结构嵌入、多属性编码-解码网络和特殊核矩阵嵌入最优传输三个部分。
图5多特征融合的图Transfomer虹膜识别建模方法架构
1)局部图结构嵌入网络建模
构建局部的图结构使得点的局部特征具有更好的紧致性,有效的体现了局部区域内像素信息的上下文关系,具有更好的区分性和可匹配性。局部信息的分析可以使用多种表达方式和量化属性,该部分将研究图像的邻接矩阵,通过研究矩阵的不同属性,有效的创建多种上下文相关矩阵,将其作为特征数据用于Transformer的输入。因此,该部分研究拉普拉斯图等的构建。
图的拉普拉斯是最通用的图矩阵的表达,通过邻接矩阵和节点度矩阵计算,定义如下:
=D-A (14)
其中,D是图的节点度的对角线矩阵,A是它的邻接矩阵。
为了更好的描述点的局部特征,标准化图拉普拉斯定义如下:
(15)
则标准化的图拉普拉斯方法用于图嵌入的输入图描述。
针对以上构建图的方法,本项目将图嵌入点位置信息构建了Transformer网络的输入数据。
2)多属性编码-解码注意力机制建模
该部分将原有的视觉Transformer网络的损失函数进行修改,将自注意力网络看成编码过程,而交叉注意力网络看成解码过程,使用两个注意力网络实现 和 ,每一个编码器对应于两个图像域 和 ,该框架由两对注意力网络的编码器和解码器构成,编码器 和解码器 ;编码器 和解码器 。其中, 和 表示网络的代码层或隐藏层。若没有任何约束, 和 不具有可比性,当引入损失项,将迫使投影数据对齐,如果在 和 上的数据分布对齐,则编码器联合解码器可将隐含域代码投影到原始图像域,或者使用相反的编码器在整个域中进行数据投影,则有搜索变换方程为:
(16)
(17)
通过网络参数 对以上公式进行最小化,并训练两个编码器所需的 和 。给定 和 是两个编码器的输出,则平方二范式定义如下:
(18)
其中, 为特征个数。
使用以上定义,该部分研究了5种损失函数:重构损失函数、循环一致性损失函数、加权变换损失函数、代码相关性损失函数和综合性损失函数。
3)基于特殊核矩阵的优化传输建模
Wasserstein矩阵是广泛用于优化传输的一种方法,Sinkhorn算法通过最小熵正则化方法估计Wasserstein矩阵,是一种比较流行的方法,其缺点是该方法的计算复杂度较高,为O(n2)。本项目研究了传统的Wasserstein矩阵计算方法,为了提高运行效率,进而研究了两种特殊的核矩阵估计Wasserstein矩阵,该方法的时间复杂度低于原始方法,复杂度为O(n)。过特殊矩阵进行向量的乘积,可以使用O(n)复杂度,因此可以有效提高算法效率,于是可以得到近似矩阵 :
(19)
其中, 为下三角矩阵, 为上三角矩阵。
通过以上方法可有效提高算法计算复杂度,本项目拟通过随机采样等量的点集构建一致关系,通过优化传输获得识别结果。
(3) .4虹膜身份认证的智能更衣柜管理系统建模
各煤矿为提升矿井现代化管理,智慧矿山概念付诸于实施,建设虹膜智能存衣柜系统。智能衣柜配合管理系统,利用最先进的虹膜识别技术精准的开起衣柜门,实现智能化操控;数据处理中心实时显示,实现了衣柜智能化管理,。该项目拟构建虹膜身份认证的智能更衣柜管理系统,主要包括搭建硬件模型、嵌入虹膜身份认证和构建虹膜身份认证的智能更衣柜管理系统,其基本形式如图7所示。
图6 衣柜智能化管理实例
该项目拟构建虹膜身份认证的智能更衣柜管理系统,主要包括搭建硬件模型、嵌入虹膜身份认证和构建虹膜身份认证的智能更衣柜管理系统。
(1) 搭建硬件模型
1)智能更衣柜
a)采用UVC紫外线灯杀菌消毒、净化柜内空气;
b)柜内配置PTC加热通风模块,确保衣服干爽、温暖,穿戴舒适;
c)实时检测柜内气体异味浓度,超标自动开启除臭、通风功能;
d)可根据用户现场实际环境需求设置自动运行模式,实时检测柜体内部温、湿度指标和异味指标。达到设定值时,自动开启紫外消毒灯、除臭模块并自动通风;异味消除或温、湿度恢复后,紫外消毒灯、除臭模块和排风扇自动关闭;
e)可通过主柜的LCD触控屏开启、关闭各个功能模块。
表1 虹膜开锁智能更衣柜参数表
额定交流输入
AC 220V
工作电压
开关电压12v 200w
开锁方式
虹膜识别
识别时间
<0.2s
工作距离(mm)
50-100
控制方式
计算机控制、网络型
2)虹膜开锁更衣柜
a)基础配置:虹膜密码ID开锁,不用携带钥匙,方便便捷;
b)实用配置:智能识别开锁,包含消毒加热除臭功能,实现舒适;
c)高端配置:增添自动开启智能镜,配备3.5吋柜门屏幕。
(2) 嵌入虹膜身份认证
虹膜识别仪是守护星公司自主研发的一款虹膜识别设备,该产品选用高速、超清摄像头,能快速准确的抓取高质量的虹膜特征,支持虹膜身份识别,因此,本项目将该虹膜识别仪用于虹膜采集,将其嵌入系统完成工人身份认证,智能控制衣柜的各项功能,如图8所示。
设备具有以下功能特点:
1)识别距离可达50cm-100cm,能为使用者带来更好的体验感;
2)采用全新光学转轴设计方案,结合虹膜自动追踪技术,让设备主动适应使用者身高,避免传统设备识别时需要踮脚、低头、弯腰的不友好体验;
3)支持虹膜特征本地容量高达10000组,从而实现快速识别(<0.2s);
4)全新工业设计,全金属机身,造型大气简约,界面结构清晰,高保真音效,多类型灯光效果提示。
图8 虹膜采集仪
(3)虹膜身份认证的智能更衣柜管理系统
基于煤矿企业对更衣室的改造升级的任务,该项目在虹膜识别技术研究的基础上,设计了虹膜识别的智能更衣柜管理系统,如图9所示。该系统的研究主要包括更衣柜管理、信息查询、基础信息管理、角色管理、用户管理以及虹膜认证管理六大模块。更衣柜管理模块主要包括更衣柜基本信息的录入、查询以及远程控制任务;信息查询包括衣柜使用记录、管理员使用记录、管理员远程开门和更衣柜绑定记录查询等;基础信息主要包括部门管理、恩怨管理、更衣柜管理、职务管理等基本信息的维护;角色管理主要指管理员,每个管理员管理一组更衣柜,这一模块主要包括新增角色、管辖设备、虹膜采集和虹膜认证测试等模块;用户管理主要指更衣柜的使用者,每人一柜,这一模块主要包括新增用户、设置管辖柜子、虹膜采集和虹膜认证测试等模块;最后一部分为虹膜认证管理模块,该模块包括管理员虹膜采集、用户虹膜采集、前端虹膜认证以及远程开门等功能模块。基于以上功能模块的设计,该项目进行了充分的前期调研,完全具有能力搭建起虹膜识别的智能衣柜管理系统。
图9 虹膜识别的智能更衣柜管理系统原型示意图
2.6 拟解决的问题
(1) 具有遮挡的虹膜分割问题
通过虹膜检测过程找到虹膜的大致区域,在该区域进行分割将具有更好的分割准确性。
然而,在实际应用中,人们的虹膜通常会受到头发遮挡、眼镜遮挡以及眼睑遮挡等,这为分割带来了挑战,因此具有遮挡的虹膜分割问题是该项目研究的一部分。
(2) 具有干扰和噪声的虹膜识别问题
通过虹膜分割过程将虹膜的有效区域提取出来,接下来可提取虹膜的特征信息,原有
的虹膜识别方法通常都是在理想状态下完成,虹膜图像没有光照和阴影等变化,然而当虹膜图像具有大量的干扰和噪声时,使得虹膜的灰度信息发生变化,因此具有干扰和噪声的虹膜识别问题提是该项目研究的一部分。
(3) 嵌入虹膜身份认证的智能更衣柜管理系统构建问题
传统的更衣柜的管理通常为人工管理或者持卡管理,然而这些方法操作起来比较复杂,
代表身份的卡片容易丢失,给人们带来更多的麻烦。将虹膜身份认证技术用于管理更衣柜可以简化操作过程,将避免这些麻烦。因此解决嵌入虹膜身份认证的智能更衣柜管理系统的构建问题是该项目研究的一部分。
2.7 预期成果
①建立虹膜图像识别模型(包括分割和识别两个部分);
②建立基于虹膜识别的智能衣柜管理系统;
③撰写研究报告1份;
④发表期刊学术论文1篇(项目负责人为第一完成人)或申请软件著作权2项。
⑤参加省级校级竞赛各一次
⑥研究报告:基于虹膜识别的智能衣柜管理系统研究
⑦毕业论文(设计)改革:支撑1-2名计算机专业本科生毕业论文