基于虹膜识别的煤矿智能更衣柜系统关键技术研究

申报人:刘卓 申报日期:2024-06-24

基本情况

2024
基于虹膜识别的煤矿智能更衣柜系统关键技术研究 盲选
创新训练项目
工学
电子信息类
学生来源于教师科研项目选题
一年期
在煤矿企业中,下井工人需要携带钥匙、IC卡等介质完成更衣柜的管理,这给工人带来不便,针对这一问题,该项目拟研究基于虹膜识别的煤矿智能更衣柜系统关键技术。使用跨空间-频率域交叉注意力的虹膜分割方法提取虹膜的有效区域,为后续虹膜识别奠定基础;构建多特征融合的图Transfomer虹膜识别模型,保证虹膜识别的准确性。最后基于煤矿更衣柜设计需求,构建基于虹膜识别的煤矿智能更衣柜管理系统,为企业推广奠定基础

在前期工作中,负责人在老师的帮助下提出了基于投影约束和随机采样Hough变换的虹膜分割方法,发表学术论文1篇,该方法的提出为后期的虹膜识别研究奠定了基础。首先将虹膜图像进行二值化操作,然后在横坐标和纵坐标两个方向进行灰度投影,根据投影值得大小确定虹膜内外圆心的位置,然后利用Hough变换确定虹膜内外圆的拟合参数,通过该参数提取虹膜的有效区域。前期工作完成了虹膜分割方法的构建、程序设计、程序调试、实验结果分析等全过程。这为虹膜识别方法的研究奠定了基础。

指导教师近五年主持国家重点研发计划子课题、黑龙江省自然科学基金等科研项目10,目前在研项目如下:

[1] 黑龙江省重点研发项目子课题, 2023ZX02B04-03, 厌氧发酵液理化指标同步在线检测装备研制, 2023.12-2026.12, 主持

黑龙江省自然科学基金联合引导项目, LH2022E099, 厌氧发酵关键信息近红外光谱快速检测方法研究, 2022.07-2025.07, 主持

指导教师作为黑龙江省农业废弃物综合利用体系岗位专家,现主要从事多源农业数据智能分析与处理方面的研究。在本项目相关领域正在从事基于图像的掺假大米鉴别与水稻种子鉴别技术方面的研究,开展了图像分割、特征提取、机器学习、深度学习等方面的系统研究,这为本项目提供了研究基础方面的支持。

省级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
刘卓 信息与电气工程学院 计算机科学与技术(合作办学) 2022 项目组织实施
杨易霖 信息与电气工程学院 电气工程及其自动化(电力系统及其自动化方向) 2022 算法设计实现
王泽群 信息与电气工程学院 计算机科学与技术(合作办学) 2022 模型构建评测
林敬茹 信息与电气工程学院 计算机科学与技术(合作办学) 2022 系统分析、系统分析和原型
曲浩杨 信息与电气工程学院 计算机科学与技术(合作办学) 2021 框架设计、算法分析。

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
刘金明 信息与电气工程学院

立项依据

随着嵌入式计算机的快速发展,传统的更衣柜设备不断向电子更衣柜转型。电子更衣柜能够更方便存放人们的衣物和重要的物品,逐渐应用于浴场和特殊工作单位等领域。由于煤矿企业中工人下矿不方便携带任何东西的特殊性,使得衣柜的使用不具有方便性。现有煤矿企业更衣室的更衣柜开锁往往依赖钥匙、IC卡等介质,在员工下井工作过程中容易出现钥匙、IC卡的遗失。同时,煤矿工人每天下井作业,人脸、指纹和掌纹等都会受到煤尘污染,甚至会因受伤发生破损现象,这使得生物技术无法保证识别的准确性。人脸识别通常需要全景采集,因此会造成隐私图像泄漏的问题。虹膜是人体中最独特的结构之一,图1 描述了虹膜的结构,眼球外侧的巩膜为白色;眼睛中心瞳孔为黑色;虹膜是巩膜和瞳孔之间环形区域,这个区域具有丰富的纹理信息。直观上看,虹膜具有多腺窝、皱褶、色素斑等多种结构。这种丰富的结构使得它具有更适合用于生物特征识别的特性,首先,人类的虹膜具有唯一性,几乎没有两个不同人的虹膜纹理是完全相同的;其次,虹膜具有很强的稳定性,虹膜的生理结构和细节基本不会随着年龄增长改变;接着,虹膜具有天然的防伪性,由于瞳孔具有随着光线变化收缩或舒张的特点,很容易进行活体检测,因此虹膜不易被伪造;最后,虹膜识别具有非侵犯性,识别过程中无须物理接触。由于以上这些优点,在众多的生物认证技术中,虹膜识别成为各个国家的科研机构以及公司等竞相研发的一种重要的身份认证技术。虹膜识别已经广泛应用到信息安全、教育考试和门禁考勤等重要领域[1][2]。本项目将虹膜识别技术用于煤矿企业更衣柜的管理,构建基于虹膜识别的煤矿企业更衣柜管理系统具有重要意义。

基于虹膜的生物特征识别技术在计算机系统和互联网身份认证、重要区域的门禁系统、金融、社会福利以及社会安全等许多领域中具有广泛的应用前景。最早,美国在机场开发设计了“虹膜通行证”系统,接着英国也将JetStream虹膜识别技术用于航空公司,这缩短了护照检查时间。2010年,为解决灾区重建工作中伤亡、发放救济物资和补助金等统计问题,中科虹霸和青海省科技厅联合开通了“虹膜识别综合信息管理系统”,通过该系统对玉树灾区群众进行身份认证。国际生物认证组织(IBG)在2008年12月份发布的最新研究报告表明[3]:全球生物认证技术的市场将从2009年的34.2亿美元达到2014年的93.7亿美元。在2012年,虹膜识别市场份额将达到5亿美元。这些应用证明虹膜认证方法和其它认证方法相比具有更高的应用市场,进行推广具有可行性。

 
 
  
图 1 人眼结构示意图
最早,自动虹膜识别技术的概念是在1987年提出[4]。随后Johnston设计并实现了一个自动虹膜识别系统[5]。接着,剑桥大学的Daugman实现了一个完善的自动虹膜识别原型系统[6]。同时,Wildes进一步改进了基于虹膜的身份认证系统[7]。他们成为近代虹膜识别技术的基础。近年来由于整个世界对于网络安全、金融安全和国防安全的迫切需要,生物特征识别特别是虹膜识别成为各个国家的大学、科研机构以及高技术公司竞相研发的课题。Bowyer等在文献[8]中对虹膜识别的现状及发展趋势进行了总结,证明虹膜识别技术的研究无论是在技术方面还是应用方面都具有重要意义,将其用于煤矿衣柜管理系统具有重要的应用价值。

基于视觉Transformer虹膜识别煤矿企业智能衣柜管理系统的研究如图2所示,包括虹膜身份认证和智能衣柜管理系统两个部分。首先,采集虹膜原始图像(a);然后确定虹膜内外轮廓,分割出虹膜的有效区域,如图2(c)所示;最后提取虹膜的特征,如图2(d)所示,将该特征与虹膜特征数据集中特征进行匹配,从而得到识别用户的身份信息,依据该身份信息完成智能更衣柜的管理。如图2所示,智能更衣柜管理系统要求用户通过虹膜采集仪采集图像并进行身份识别,通过身份确定指定衣柜,从而完成对个人衣柜的控制。因此,该项目主要研究2个方面,包括虹膜识别关键技术和基于视觉Transformer虹膜识别的智能更衣柜管理系统的构建。

 
图2 基于视觉Transformer虹膜识别的智能衣柜管理系统
 

 

(1)研究虹膜识别关键技术,该技术包括虹膜图像分割和虹膜图像识别两个部分,同时使用了视觉Transformer技术,有效解决复杂环境下的虹膜图像分割和虹膜图像识别不准确问题;

(2)将虹膜识别技术应用于智能更衣柜管理系统中,搭建软硬件平台,构建完整的基于视觉Transformer虹膜识别的智能更衣柜管理系统;。

(3)目标是与龙煤双鸭山矿业有限责任公司集贤煤矿集团公司合作研究智能更衣柜管理系统,将智能更衣柜在该公司进行应用,并在此基础上进行推广,完成该系统的成果转化过程。

该项目研究的虹膜识别更衣柜管理系统的研究包括虹膜图像采集、虹膜分割、虹膜识别以及更衣柜管理系统设计四个方面。并对虹膜分割、虹膜识别以及更衣柜管理系统进行深入的国内外研究现状分析。

(1) 虹膜分割

最经典的虹膜分割方法是Daugman提出的微分积分算子,该方法通过使用圆形参数拟合瞳孔和虹膜边缘,进而提取虹膜区域[6];He 等人构建了Adaboost级联的虹膜检测模型,虹膜内外轮廓进行拟合使用了不规则的弹性模型,有效完成了虹膜分割[9];虹膜分割的传统算法还包括霍夫变换方法,这种方法只能用于高质量的虹膜图像[7]。然而,该项目使用的虹膜图像通常是在非理想环境中采集,图像通常具有模糊性、旋转性和噪声遮挡等性质,经分析发现,在这种情况下,构建基于学习的分割模型具有更好的性能。Gangwar和Haindl等人使用自适应滤波和阈值的方法构建分割框架,在非理想虹膜数据集中使用得到良好的性能[10] [11]。最近, Jalilian 等 人[12] 在 Badrinarayanan 等人[13]的基础上提出全卷积编码-解码网络, 输出类别设置为两类,分别为虹膜和非虹膜,能够有效处理在不同距离、不同遮挡类型 (包括眼镜)下的非理想角度的虹膜图像。Wang等人通过引入多注意力机制对虹膜有效区域进行分割,提高了非复杂环境下虹膜分割的准确性[14]。Muhammad等人提出引导卷积神经网络的虹膜分割方法,该网络引入正则化项并给出融合损失函数,有效提高了分割的准确性[15]。Chen等人在MADNet和DSANet基础上实现了准确的虹膜分割以及识别过程[16]。Ugochi等人还提出了基于实时虹膜分割的质量评价方法,该方法推动了移动设备虹膜识别的发展[17]。史雪玉等人提出先检测后分割的虹膜识别方法,实验证明具有更好的识别效果[18]。

基于以上分析可以看出,随着卷积神经网络的发展,深度学习方法已经得到了快速发展,并且展现出强大的优势,因此研究基于深度学习的虹膜分割方法具有重要意义。

(2) 虹膜识别

Daugman 的虹膜识别算法基于对经过正交小波编码的虹膜相位结构进行统计独立性测试失败的原理进行识别,该算法认为两种不同的虹膜编码的一致的比特数不应超过其总比特位数的一半,从而通过比较虹膜编码是否高度相似来判断该图像对是否属于同一类[6]。Sun 等人采用带有灵活的叶内叶间参数的多叶的高斯滤波器对图像滤波,然后利用序度量的方式聚合图像特征,对于提取光照影响下的虹膜纹理有较好的鲁棒性[19]。Boles 和Boashash计算了虹膜图像上虚拟圆在不同分辨率下的一维小波变换的过零点表征,以表征虹膜的纹理[20]。最近,Marra 等人提出了基于卷积神经网络的虹膜识别方法解决不同传感器的采集导致虹膜识别不准确问题。设计了简单的网络结构并使用迁移学习来保持较低的模型复杂度并解决训练集有限的问题[21]。Al-Waisy 等人提出了一种高效、实时的多模态生物识别系统,该系统基于对同一个人的左右眼虹膜图像构建特征表达,然后将结果进行融合[22]。Zhao 和Kumar基于Mask R-CNN 设计网络,生成原始图像的掩模,利用掩模信息去掉不属于虹膜像素的干扰像素,设计了一种扩展的三元组损失函数,对去掉干扰后留下的虹膜信息计算三元组损失,从而实现对网络的优化[23]。Liu 等人设计了一个9 层的卷积网络DeepIris,该网络接收一对展开后的虹膜图像作为其输入,网络末端分类层的输出表示输入网络的一对图像是否属于同一个类别的概率[24]。Uninet由特征提取网络FeatNet和处理掩模的网络MaskNet 组成,在网络训练过程中加入掩模来减少非虹膜部分的干扰,进一步提高训练效果[25]。Wang 等人提出了一种基于深度卷积神经网络的跨光谱虹膜识别框架,研究了有监督离散哈希算法在提高虹膜交叉谱匹配精度和减小模板尺寸方面的有效性,除了虹膜区域的信息外,眼周信息也用于虹膜分割,这进一步提高了来自不同光谱的虹膜特征匹配性能[26]。

随着卷积神经网络的发展,卷积神经网络广泛用于虹膜识别任务,并且展现出较好的识别性能,但是这些方法很难获得全局特征之间的依赖关系,丢失了全局信息。为了克服这些限制,学者门开始将自然语言处理领域中的Transformer 模型[34]用于计算机视觉领域[27]。ViT 模型已经广泛用于图像目标分割、目标检测、目标识别等任务,该模型将图像进行线性变换得到类似语言处理中的单词特征,然后使用全局自注意力机制构建特征之间的依赖关系[28]。但是,ViT 模型依赖超大型图像数据集,这使得模型的训练非常困难。于是,DeiT 模型引入数据增强策略以及蒸馏方法来缓解训练时存在的灾难[29]。Swin-Transformer研究了窗格自注意力机制,进而缓解ViT模型结构以及计算复杂的问题,并构建卷积神经网络和Transformer融合的模型,在图像中提取更丰富的特征信息。实验证明,在图像识别、目标检测、语义分割任务中,Swin-Transformer模型在下游工作中都具有叫高性能[30]。

基于以上分析可以看出,基于深度学习的方法已经成为虹膜识别的重要技术之一,然而,Transformer模型具有丰富的全局上下文信息,对于提高虹膜识别的性能更具有优势。因此,研究将视觉Transfomer用于虹膜识别具有重要意义。

(3) 智能化更衣柜

煤矿企业使用的传统衣柜通常功能单一,不能满足煤矿工人的复杂需求。智能更衣柜在传统衣柜的基础上,增加了更多功能并使用身份识别技术对衣柜进行智能化控制。现有的智能衣柜的研究涉及到多种专业技术领域,例如控制系统、身份识别和管理系统等领域,具有广阔的行业前景[31]。国内智能衣柜和国外只能衣柜设计相比具有较大差距。近年来,国内智能化家居也取得了一定的成果,例如:辽宁工业大学的人机交互智能衣柜[32],太原工业学院的单片机的智能衣柜设计[33]等。目前,出现了大量使用身份认证管理更衣柜的方法,简单并有效地管理了衣柜的存取。因此,使用虹膜识别技术进行身份认证也成为智能化衣柜的一个重要技术。

(1)提出跨空间-频率域交叉注意力的虹膜图像分割方法,该方法的主要技术特点是将频率感知信息引入虹膜图像的分割中,考虑了图像的重要的频率信息,有效提高了虹膜分割性能。创新在于融合频域和空域特征,生成不同域混合后的增强特征。提高虹膜分割模型的泛化能力,为后续虹膜识别奠定基础。

(2)提出多特征融合的图Transfomer虹膜识别建模方法,该方法的主要技术特点是将图Transformer用于虹膜识别,考虑了图像全局形态变化,有效提高了虹膜识别性能。创新在于引入图像的局部图特征,融合多特征Transformer模型构建虹膜识别方法,为后续控制更衣柜门锁奠定基础。

(3)构建了虹膜识别的智能更衣柜管理系统,基于虹膜识别技术的研究,该方法的主要技术特点是将虹膜识别技术用于用户的身份认证,并有效控制更衣柜的各项功能。该系统创新在于将虹膜认证技术有效地与智能更衣柜管理系统进行结合,实现了更衣柜的智能管理,方便快捷的提高了对用户的服务,也减轻了管理人员的负担。

 

2.32.5.1技术路线及研究方法

     基于以上提出地待解决问题,该部分将给出相应的技术路线,如图3所示,这对该项目具有遮挡的虹膜分割、具有干扰和噪声的虹膜识别以及嵌入虹膜身份认证的智能更衣柜管理系统构建问题,该项目研究分割建模方法、识别建模方法和更衣柜管理系统建模方法,分别提出空间-频率域交叉注意力的虹膜图像分割、多特征融合的图Transformer虹膜识别以及虹膜身份认证的智能更衣柜管理系统构建方法。

 
 图3 基于视觉Transformer虹膜识别的智能衣柜管理系统研究方案
(1)跨空间-频率域交叉注意力的虹膜图像分割方法

现有目标分割模型由于无法捕获有效的上下文语义信息,导致模型对复杂场景中物体的分割精度低;同时,这些分割模型只关注图像的空间域特征,忽略了空间域特征和频率域特征的结合,丢失了大量边缘细节信息;而且现有分割模型泛化性能较差,导致虹膜图像的分割效果下降。针对上述问题,该项目研究基于频率感知的语义分割模型。该模型的框架如图4所示,首先输入一张虹膜图像,应用卷积层获取浅层特征 ,接着使用三个连续的残差层[31]依次对浅层特征降低分辨率得到特征 ,  通过输入到动态频率捕获核和线性注意力算子模块分别生成图像的频率域特征 和空间域特征  ;其次将 输入跨空间-频率域交叉注意力模块,生成不同域交互后的混合特征 输入到并行门控前馈网络模块,生成不同域混合后的增强特征 后通过分割头得到分割图像。在分割好的图像上进行边缘检测、模拟内外轮廓、二值化以及归一化得到归一化图像,为后续的识别奠定基础。该部分重点研究虹膜图像分割,研究内容包括基于权值共享的分解注意力频率语义信息提取、空间域特征与频率域特征的交互方法和空间域与频率域融合的前馈网络建模方法。

 
图4基于复杂环境的虹膜图像分割方法架构
(1) 基于权值共享的分解注意力频率语义信息提取
该部分的特点是利用动态频率捕获思想有效提取图像的重要频率特征。动态频率捕获核的输入为特征 ,    ;其次使用自适应低频滤波和自适应高频滤波获取高低频特征;然后对高低频特征使用可分离卷积进行位置嵌入,接着应用线性层将输入的高低频特征转换为频率分量—键向量K,值向量V和查询向量Q;最后通过频率分量Q,K,V在频率捕获核上交互选取重要的频率特征,通过升维得到输出的频率域特征 。公式定义为:

 
  
(5)
 
 
  
(6)
 
 
  
 (7)
 
 
  
(8)
其中,公式(5)中 公式(6)中  ( )表示拼接操作, 代表自适应低频滤波动态捕获的低频特征,  动态捕获的高频特征,公式(7)中 ( )为可学习的线性层, ,公式(8)中  为频率捕获核选取的重要频率特征。

(2) 跨空间-频率域交叉注意力
现有的虹膜分割模型只从图像的空间域角度提取特征,忽略了频率域和空间域特征的结合,从而导致图像边缘细节信息的丢失。因此本文提出跨空间-频率域交叉注意力,通过空间域与频率域特征的交互,从而获取有效的分割边缘细节信息。

空间域特征 线性注意力算子(来自外部注意力[34]的启发)模块生成,该模块的输入为降低分辨率后的特征向量 ,输出为空间域特征 ,公式如下:

 
  
 
(9)
其中, 是可学习的权重参数,M为特征的分辨率大小,DN为双归一化操作。该项目为了降低模型的计算复杂度,取消了外部注意力的多头机制,提升了模型的计算速度。

跨空间-频率域交叉注意力模块的输入为空间域特征 和频率域特征  。首先把输入的频率域特征 ,公式表示为:

 
  
(10)
其次把空间域特征 进行经过归一化、池化、卷积、沿通道维度分裂、维度转换一系列矩阵操作后生成两个交叉特征向量 ,公式如下:

 
  
(11)
 分别代表矩阵分裂, , 代表池化操作, 代表归一化操作。

则跨空间-频率域交叉注意力最后来自空间域的交叉特征 与频率域特征 进行交叉注意力操作生成特征 ,再对 进行维度反变换得到输出 定义为,公式如下所示:

 
  
(12)
 

 
  
(13)
其中, 表示 的通道维数。值得说明的是,当交叉特征的空间大小为 12 × 12时,模型的分割效果最好。因此,跨空间-频率域交叉注意力通过空间域与频率域特征的交互,获取图像中有效的边缘细节信息。

(3) 并行门控前馈网络
现有的分割模型只在简单场景下目标的分割效果较好,同时因为模型泛化性能较差,所以导致虹膜分割效果下降。该项目提出的并行门控前馈网络架构。在这项工作中,并行指把上一层级的特征信息流进行分组归一化,两组并行计算。并行机制一方面在一定程度上保持了Transformer模型中多头机制的优越性;另一方面通过生成2条不同的路径进行特征映射捕捉不同位置像素之间的关系。给定一个输入特征向量 ,公式如下:

 
  
(14)
借鉴Restormer[29]的思想,门控被设计为深度卷积和两条平行分支的元素积。其中两条平行分支的元素积由GELU[35]非线性函数分别进行激活。门控机制通过编码空间相邻像素的位置信息学习图像的局部结构。公式如下所示:

 
  
(15)
 
  
(16)
其中 为GeLu激活函数,BN为批量归一化[36] ,  为逐元素乘法。

最后,再将两个并行分支的特征映射拼接起来,输出特征为 ,如公式所示:

 
  
(17)
 
 
  
(18)
 
1)基于权值共享的分解注意力频率语义信息提取
该部分的特点是利用动态频率捕获思想有效提取图像的重要频率特征。动态频率捕获核的输入为特征 ,    ;其次使用自适应低频滤波和自适应高频滤波获取高低频特征;然后对高低频特征使用可分离卷积进行位置嵌入,接着应用线性层将输入的高低频特征转换为频率分量—键向量K,值向量V和查询向量Q;最后通过频率分量Q,K,V在频率捕获核上交互选取重要的频率特征,通过升维得到输出的频率域特征 。公式定义为:

 
  
(1)
 
 
  
(2)
 
 
  
 (3)
 
 
  
(4)
其中,公式(1)中 公式(6)中  ( )表示拼接操作, 代表自适应低频滤波动态捕获的低频特征,  动态捕获的高频特征,公式(7)中 ( )为可学习的线性层, ,公式(8)中  为频率捕获核选取的重要频率特征。

 

2)跨空间-频率域交叉注意力
现有的虹膜分割模型只从图像的空间域角度提取特征,忽略了频率域和空间域特征的结合,从而导致图像边缘细节信息的丢失。因此本文提出跨空间-频率域交叉注意力,通过空间域与频率域特征的交互,从而获取有效的分割边缘细节信息。

跨空间-频率域交叉注意力模块的输入为空间域特征 和频率域特征  。首先把输入的频率域特征 ,公式表示为:

 
  
(5)
其次把空间域特征 进行经过归一化、池化、卷积、沿通道维度分裂、维度转换一系列矩阵操作后生成两个交叉特征向量 ,公式如下:

 
  
(6)
 分别代表矩阵分裂, , 代表池化操作, 代表归一化操作。

最后来自空间域的交叉特征 与频率域特征 进行交叉注意力操作生成特征 ,再对 进行维度反变换得到输出 ,公式如下所示:

 
  
(7)
 

 
  
(8)
其中, 表示 的通道维数。值得说明的是,当交叉特征的空间大小为 12 × 12时,模型的分割效果最好。因此,跨空间-频率域交叉注意力通过空间域与频率域特征的交互,获取图像中有效的边缘细节信息。

3)并行门控前馈网络
现有的分割模型只在简单场景下目标的分割效果较好,同时因为模型泛化性能较差,所以导致虹膜分割效果下降。该项目提出的并行门控前馈网络架构。在这项工作中,并行指把上一层级的特征信息流进行分组归一化,两组并行计算。并行机制一方面在一定程度上保持了Transformer模型中多头机制的优越性;另一方面通过生成2条不同的路径进行特征映射捕捉不同位置像素之间的关系。给定一个输入特征向量 ,公式如下:

 
  
(9)
门控机制通过编码空间相邻像素的位置信息学习图像的局部结构。公式如下所示:

 
  
(10)
 
  
(11)
其中 为GeLu激活函数,BN为批量归一化[36] ,  为逐元素乘法。

最后,再将两个并行分支的特征映射拼接起来,输出特征为 ,如公式所示:

 
  
(12)
 
 
  
(13)
其中 。总体而言,并行门控前馈网络控制着整个网络架构中各个层次的信息流,通过增强空间信息和频率信息的互补特征,提高模型泛化能力。

(2) 多特征融合的图Transfomer虹膜识别建模方法

复杂环境下的虹膜识别任务中两幅图像具有较大差异问题,经过国内外研究现状分析后,对具有较大差异的两幅图像进行目标识别发现,图像中某些局部区域具有更好的可区分性和可匹配性,基于局部区域信息匹配的识别方法能够更好解决差异问题。因此,这部分将围绕基于视觉Transformer网络的目标匹配方法进行研究,如图5所示,研究内容包括:局部图结构嵌入、多属性编码-解码网络和特殊核矩阵嵌入最优传输三个部分。

 
图5多特征融合的图Transfomer虹膜识别建模方法架构
1)局部图结构嵌入网络建模

构建局部的图结构使得点的局部特征具有更好的紧致性,有效的体现了局部区域内像素信息的上下文关系,具有更好的区分性和可匹配性。局部信息的分析可以使用多种表达方式和量化属性,该部分将研究图像的邻接矩阵,通过研究矩阵的不同属性,有效的创建多种上下文相关矩阵,将其作为特征数据用于Transformer的输入。因此,该部分研究拉普拉斯图等的构建。

图的拉普拉斯是最通用的图矩阵的表达,通过邻接矩阵和节点度矩阵计算,定义如下:

 =D-A                             (14)

其中,D是图的节点度的对角线矩阵,A是它的邻接矩阵。

为了更好的描述点的局部特征,标准化图拉普拉斯定义如下:

                         (15)

则标准化的图拉普拉斯方法用于图嵌入的输入图描述。

针对以上构建图的方法,本项目将图嵌入点位置信息构建了Transformer网络的输入数据。

2)多属性编码-解码注意力机制建模

该部分将原有的视觉Transformer网络的损失函数进行修改,将自注意力网络看成编码过程,而交叉注意力网络看成解码过程,使用两个注意力网络实现 和 ,每一个编码器对应于两个图像域 和 ,该框架由两对注意力网络的编码器和解码器构成,编码器 和解码器 ;编码器 和解码器 。其中, 和 表示网络的代码层或隐藏层。若没有任何约束, 和 不具有可比性,当引入损失项,将迫使投影数据对齐,如果在 和 上的数据分布对齐,则编码器联合解码器可将隐含域代码投影到原始图像域,或者使用相反的编码器在整个域中进行数据投影,则有搜索变换方程为:

                      (16)

                      (17)

通过网络参数 对以上公式进行最小化,并训练两个编码器所需的 和 。给定 和 是两个编码器的输出,则平方二范式定义如下:

                       (18)

其中, 为特征个数。

使用以上定义,该部分研究了5种损失函数:重构损失函数、循环一致性损失函数、加权变换损失函数、代码相关性损失函数和综合性损失函数。

3)基于特殊核矩阵的优化传输建模

Wasserstein矩阵是广泛用于优化传输的一种方法,Sinkhorn算法通过最小熵正则化方法估计Wasserstein矩阵,是一种比较流行的方法,其缺点是该方法的计算复杂度较高,为O(n2)。本项目研究了传统的Wasserstein矩阵计算方法,为了提高运行效率,进而研究了两种特殊的核矩阵估计Wasserstein矩阵,该方法的时间复杂度低于原始方法,复杂度为O(n)。过特殊矩阵进行向量的乘积,可以使用O(n)复杂度,因此可以有效提高算法效率,于是可以得到近似矩阵 :

              (19)

其中, 为下三角矩阵, 为上三角矩阵。

通过以上方法可有效提高算法计算复杂度,本项目拟通过随机采样等量的点集构建一致关系,通过优化传输获得识别结果。

(3) .4虹膜身份认证的智能更衣柜管理系统建模

各煤矿为提升矿井现代化管理,智慧矿山概念付诸于实施,建设虹膜智能存衣柜系统。智能衣柜配合管理系统,利用最先进的虹膜识别技术精准的开起衣柜门,实现智能化操控;数据处理中心实时显示,实现了衣柜智能化管理,。该项目拟构建虹膜身份认证的智能更衣柜管理系统,主要包括搭建硬件模型、嵌入虹膜身份认证和构建虹膜身份认证的智能更衣柜管理系统,其基本形式如图7所示。

  
  
图6 衣柜智能化管理实例
该项目拟构建虹膜身份认证的智能更衣柜管理系统,主要包括搭建硬件模型、嵌入虹膜身份认证和构建虹膜身份认证的智能更衣柜管理系统。

(1) 搭建硬件模型

1)智能更衣柜

a)采用UVC紫外线灯杀菌消毒、净化柜内空气;

b)柜内配置PTC加热通风模块,确保衣服干爽、温暖,穿戴舒适;

c)实时检测柜内气体异味浓度,超标自动开启除臭、通风功能;

d)可根据用户现场实际环境需求设置自动运行模式,实时检测柜体内部温、湿度指标和异味指标。达到设定值时,自动开启紫外消毒灯、除臭模块并自动通风;异味消除或温、湿度恢复后,紫外消毒灯、除臭模块和排风扇自动关闭;

e)可通过主柜的LCD触控屏开启、关闭各个功能模块。

 

表1 虹膜开锁智能更衣柜参数表
额定交流输入
AC 220V
工作电压
开关电压12v 200w
开锁方式
虹膜识别
识别时间
<0.2s
工作距离(mm)
50-100
控制方式
计算机控制、网络型
 

2)虹膜开锁更衣柜

a)基础配置:虹膜密码ID开锁,不用携带钥匙,方便便捷;

b)实用配置:智能识别开锁,包含消毒加热除臭功能,实现舒适;

c)高端配置:增添自动开启智能镜,配备3.5吋柜门屏幕。

(2) 嵌入虹膜身份认证

虹膜识别仪是守护星公司自主研发的一款虹膜识别设备,该产品选用高速、超清摄像头,能快速准确的抓取高质量的虹膜特征,支持虹膜身份识别,因此,本项目将该虹膜识别仪用于虹膜采集,将其嵌入系统完成工人身份认证,智能控制衣柜的各项功能,如图8所示。

设备具有以下功能特点:

1)识别距离可达50cm-100cm,能为使用者带来更好的体验感;

2)采用全新光学转轴设计方案,结合虹膜自动追踪技术,让设备主动适应使用者身高,避免传统设备识别时需要踮脚、低头、弯腰的不友好体验;

3)支持虹膜特征本地容量高达10000组,从而实现快速识别(<0.2s);

4)全新工业设计,全金属机身,造型大气简约,界面结构清晰,高保真音效,多类型灯光效果提示。

 
图8 虹膜采集仪
 

(3)虹膜身份认证的智能更衣柜管理系统

基于煤矿企业对更衣室的改造升级的任务,该项目在虹膜识别技术研究的基础上,设计了虹膜识别的智能更衣柜管理系统,如图9所示。该系统的研究主要包括更衣柜管理、信息查询、基础信息管理、角色管理、用户管理以及虹膜认证管理六大模块。更衣柜管理模块主要包括更衣柜基本信息的录入、查询以及远程控制任务;信息查询包括衣柜使用记录、管理员使用记录、管理员远程开门和更衣柜绑定记录查询等;基础信息主要包括部门管理、恩怨管理、更衣柜管理、职务管理等基本信息的维护;角色管理主要指管理员,每个管理员管理一组更衣柜,这一模块主要包括新增角色、管辖设备、虹膜采集和虹膜认证测试等模块;用户管理主要指更衣柜的使用者,每人一柜,这一模块主要包括新增用户、设置管辖柜子、虹膜采集和虹膜认证测试等模块;最后一部分为虹膜认证管理模块,该模块包括管理员虹膜采集、用户虹膜采集、前端虹膜认证以及远程开门等功能模块。基于以上功能模块的设计,该项目进行了充分的前期调研,完全具有能力搭建起虹膜识别的智能衣柜管理系统。

 

  
图9 虹膜识别的智能更衣柜管理系统原型示意图
2.6 拟解决的问题

(1) 具有遮挡的虹膜分割问题

通过虹膜检测过程找到虹膜的大致区域,在该区域进行分割将具有更好的分割准确性。

然而,在实际应用中,人们的虹膜通常会受到头发遮挡、眼镜遮挡以及眼睑遮挡等,这为分割带来了挑战,因此具有遮挡的虹膜分割问题是该项目研究的一部分。

(2) 具有干扰和噪声的虹膜识别问题

通过虹膜分割过程将虹膜的有效区域提取出来,接下来可提取虹膜的特征信息,原有

的虹膜识别方法通常都是在理想状态下完成,虹膜图像没有光照和阴影等变化,然而当虹膜图像具有大量的干扰和噪声时,使得虹膜的灰度信息发生变化,因此具有干扰和噪声的虹膜识别问题提是该项目研究的一部分。

(3) 嵌入虹膜身份认证的智能更衣柜管理系统构建问题

传统的更衣柜的管理通常为人工管理或者持卡管理,然而这些方法操作起来比较复杂,

代表身份的卡片容易丢失,给人们带来更多的麻烦。将虹膜身份认证技术用于管理更衣柜可以简化操作过程,将避免这些麻烦。因此解决嵌入虹膜身份认证的智能更衣柜管理系统的构建问题是该项目研究的一部分。

2.7 预期成果

①建立虹膜图像识别模型(包括分割和识别两个部分);

②建立基于虹膜识别的智能衣柜管理系统;

③撰写研究报告1份;

④发表期刊学术论文1篇(项目负责人为第一完成人)或申请软件著作权2项。

⑤参加省级校级竞赛各一次

⑥研究报告:基于虹膜识别的智能衣柜管理系统研究

⑦毕业论文(设计)改革:支撑1-2名计算机专业本科生毕业论文

2024.09-2024.12

实验数据集的收集与整理,寻找分割和识别基础模型;进行研究内容(1),研究基于权值共享的分解注意力频率语义提取方法,构建跨空间-频率域交叉注意力机制,设计并行门控前馈网络,有效提高具有遮挡的虹膜分割性能;

2025.01-2025.06

进行研究内容(2),构建局部图结构,将局部图结构信息嵌入网络并引入多属性编码-解码注意力机制,通过使用特殊核矩阵优化传输模型,保证复杂环境下的虹膜识别具有叫高准确性。

2025.07-2025.12

进行研究内容(3),构建虹膜身份认证的智能更衣柜管系统,实现智能化操作,为该系统应用推广奠定基础。发表学术论文1篇或申请软件著作权2项。

2026.01-2026.05

整合软硬件系统,进行系统安装测试调试;整理研究资料,撰写结题报告。

项目负责人学习成绩优异,自学能力和编程开发能力强,能够保证本项目算法设计实现方面工作的顺利开展;项目组其他三位大二学生能够提供充足的时间、精力来完成数据采集以及算法分析与设计。项目指导教师多年来潜心研究光谱图分析技术,在多光谱图像识别方面积累了大量经验,可为本项目的顺利开展提供了良好的研究基础。指导教师在光谱分析相关领域主持科研项目7项,发表SCI/EI检索论文9篇,授权发明专利3项,出版学术专著1部。

指导教师所在学院拥有Bruker TANGO近红外光谱仪和相关分析测量设备和软件平台,其所在学科团队依托国家杂粮工程技术研究中心,在多光谱图像识别方面积累了大量的经验,这是本项目已具备的条件。

在尚缺少条件方面,指导教师之前主要进行了多光谱图像识别方面的研究,在视觉图像处理方面的研究较少。但其所在团队多年来一直从事NIRS分析技术在农业领域应用方面的研究工作,在基于NIRS的农产品品质检测、分类识别等方面开展了深入、细致的研究。通过团队内部以及外部交流学习、互通有无,可以有效弥补指导教师在视觉目标识别研究领域的薄弱环节。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 0.00 0.00 0.00
1. 业务费 0.00 0.00 0.00
(1)计算、分析、测试费 0.00 0.00 0.00
(2)能源动力费 0.00 0.00 0.00
(3)会议、差旅费 0.00 车票住宿 0.00 0.00
(4)文献检索费 0.00 资料查询 0.00 0.00
(5)论文出版费 0.00 发表论文 0.00 0.00
2. 仪器设备购置费 0.00 0.00 0.00
3. 实验装置试制费 0.00 0.00 0.00
4. 材料费 0.00 0.00 0.00

项目附件

  • 2024-6-25-基于虹膜识别的煤矿智能更衣柜系统关键技术研究.docx
    下载
结束