(12)发明专利申请
(10)申请公布号 CN 111985387 A(43)申请公布日 2020.11.24
(21)申请号 202010824956.9(22)申请日 2020.08.17
(71)申请人 云南电网有限责任公司电力科学研
究院
地址 650217 云南省昆明市经济技术开发
区云大西路105号(72)发明人 唐标 李博 沈映泉 于辉 李婷
黄绪勇 朱梦梦 秦雄鹏 (74)专利代理机构 北京弘权知识产权代理事务
所(普通合伙) 11363
代理人 逯长明 许伟群(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/46(2006.01)G06N 3/04(2006.01)
权利要求书2页 说明书8页 附图3页
G06N 3/08(2006.01)G08B 21/18(2006.01)G08B 21/24(2006.01)
CN 111985387 A(54)发明名称
一种基于深度学习的安全帽佩戴预警方法及系统(57)摘要
本申请提供了一种基于深度学习的安全帽佩戴预警方法及系统，该方法首先获取视频数据；抽取视频数据中任意n帧图像；基于预先构建的安全帽佩戴状态确认模型，确定图像中的特征区域信息，特征区域信息包括位置和标签，标签包括安全帽和头部；确定n帧图像中同一位置对
计算帧数m与帧应的标签是头部的图像的帧数m，
数n的比值，判断比值是否超过阈值，若超过阈值，发出预警信息。由于本申请检测的图像是任意抽取的，所以能够明显避免检测失误带来的误报；另外，本申请可以直接检测头部和安全帽，无需对人体图像进行分割，因此减少了检测步骤的繁琐性，提高了检测的及时性。综上所述，本申请可以解决过往手段检测不及时且准确率不高的问题。
CN 111985387 A
权 利 要 求 书
1/2页
1.一种基于深度学习的安全帽佩戴预警方法，其特征在于，包括：获取视频数据，所述视频数据的时长小于或等于预设获取时长；抽取所述视频数据中任意n帧图像；
基于预先构建的安全帽佩戴状态确认模型，确定所述图像中的特征区域信息，所述特征区域信息包括位置和标签，所述标签包括安全帽和头部；
确定n帧所述图像中同一位置对应的所述标签是头部的所述图像的帧数m，计算所述帧数m与所述帧数n的比值，判断所述比值是否超过阈值，若超过所述阈值，发出预警信息；
间隔预设执行时间，重复执行所述获取视频数据的步骤。
2.根据权利要求1所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述方法还包括：
存储所述标签是头部的所述图像及所述图像的拍摄时间。
3.根据权利要求1所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述构建所述安全帽佩戴状态确认模型的方法，包括：
获取样本数据；
对所述样本数据进行预处理，得到预处理数据；通过所述预处理数据训练卷积神经网络，生成安全帽佩戴状态确认模型；其中，所述样本数据是佩戴有安全帽的施工人员和未佩戴安全帽的施工人员的图像。4.根据权利要求3所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述对样本数据进行预处理，得到预处理数据的方法，包括：
对所述样本数据进行数据读取，得到读取数据；对所述读取数据进行数据增强，得到增强数据；对所述增强数据进行数据标注，得到标注数据；对所述标注数据进行数据清洗，得到清洗数据；对所述清洗数据进行数据整理，得到预处理数据。
5.根据权利要求4所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述读取数据包括所述样本数据和所述样本数据的所有像素的二维坐标；所述对读取数据进行数据增强，得到增强数据的方法，包括：
输入所述样本数据中所有像素的二维坐标至仿射矩阵M，得到所述样本数据中所有所述像素的增强坐标；
根据所述增强坐标，得到所述增强数据；其中，所述仿射矩阵M的公式为：
x是所述像素的横坐标，y是所述像素的纵坐标，u是所述像素经过数据增强后的横坐标；v是所述像素经过数据增强后的纵坐标；a00、a01、a10、a11、b00和b10是增强参数。
6.根据权利要求5所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，确定所述增强参数的方法，包括：
获取并读取实验图像，得到读取信息；
2
CN 111985387 A
权 利 要 求 书
2/2页
对所述实验图像进行变换操作，得到变换信息；根据所述读取信息和所述变换信息，确定所述增强参数；其中，所述变换操作包括缩放、旋转、错切和平移。
7.根据权利要求5所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述对增强数据进行数据标注，得到标注数据的方法，包括：
确定所述增强数据中所述安全帽和所述头部的位置；分别对所述安全帽或所述头部的位置进行标注，得到标注数据。
8.根据权利要求7所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述对标注数据进行数据清洗，得到清洗数据的方法，包括：
剔除所述标注数据中不存在所述特征区域信息的数据和清晰度不符合预设合格标准的数据，得到清洗数据。
9.根据权利要求8所述的一种基于深度学习的安全帽佩戴预警方法，其特征在于，所述卷积神经网络包括Yolov4网络结构。
10.一种安全帽佩戴预警系统，其特征在于，包括：视频获取模块和服务器，所述服务器包括依次连接的图像抽取模块、状态判断模块、结果确认模块和预警播报模块；所述视频获取模块与所述图像抽取模块连接；
其中，所述视频获取模块用于获取施工现场的所述视频数据，并传送所述视频数据至所述图像抽取模块；
所述图像抽取模块，用于从所述视频数据中抽取所述图像，并传送所述图像至所述状态判断模块；
所述状态判断模块，用于确认所述图像中的特征区域，确定所述特征区域信息，以及传送所述特征区域信息至所述结果确认模块；
所述结果确认模块，用于根据所述特征区域信息，判断所述图像中是否有未佩戴安全帽的施工人员，并得出判断结果，并传送所述判断结果至所述预警播报模块；
所述预警播报模块，用于根据所述判断结果，发出预警信息。
3
CN 111985387 A
说 明 书
一种基于深度学习的安全帽佩戴预警方法及系统
1/8页
技术领域
[0001]本申请涉及建筑监管技术领域，尤其涉及一种基于深度学习的安全帽佩戴预警方法及系统。
背景技术
[0002]安全帽能够保护施工工人的头部，使其免受坠物的伤害。所以为了防止保障安全，需要监测施工工人佩戴安全帽的情况。[0003]在现有技术中，通常会在作业现场安装云摄像头监控现场情况，并通过模型对传送回来的视频进行检测，一旦检测出未佩戴安全帽人员，系统则会发出预警信息。但因该技术方案先识别人体位置，再对人体位置进行分割，而后才对人体头部是否佩戴有安全帽进行识别，因为需要两次识别，所以处理步骤繁琐且复杂，不利于及时反馈施工人员的安全帽佩戴信息，而且其中的检测的流程是即时且一次性的，所以容易产生误报现象，造成监测的准确率不高。而一旦产生误报，不止会为作业现场带来混乱，还会影响作业的进度和效率，甚至影响工程的经济效益。[0004]因此，现在亟需解决过往手段检测不及时且准确率不高的问题。发明内容
[0005]本申请提供了一种基于深度学习的安全帽佩戴预警方法及系统，能够解决过往手段检测不及时且准确率不高的问题。[0006]第一方面，本申请提供了一种基于深度学习的安全帽佩戴预警方法，包括[0007]获取视频数据，所述视频数据的时长小于或等于预设获取时长；[0008]抽取所述视频数据中任意n帧图像；
[0009]基于预先构建的安全帽佩戴状态确认模型，确定所述图像中的特征区域信息，所述特征区域信息包括位置和标签，所述标签包括安全帽和头部；[0010]确定n帧所述图像中同一位置对应的所述标签是头部的所述图像的帧数m，计算所述帧数m与所述帧数n的比值，判断所述比值是否超过阈值，若超过所述阈值，发出预警信息；
[0011]间隔预设执行时间，重复执行所述获取视频数据的步骤。[0012]可选地，所述方法还包括：
[0013]存储所述标签是头部的所述图像及所述图像的拍摄时间。[0014]可选地，所述构建所述安全帽佩戴状态确认模型的方法，包括：[0015]获取样本数据；
[0016]对所述样本数据进行预处理，得到预处理数据；[0017]通过所述预处理数据训练卷积神经网络，生成安全帽佩戴状态确认模型；[0018]其中，所述样本数据是佩戴有安全帽的施工人员和未佩戴安全帽的施工人员的图像。
4
CN 111985387 A[0019]
说 明 书
2/8页
可选地，所述对样本数据进行预处理，得到预处理数据的方法，包括：
[0020]对所述样本数据进行数据读取，得到读取数据；[0021]对所述读取数据进行数据增强，得到增强数据；[0022]对所述增强数据进行数据标注，得到标注数据；[0023]对所述标注数据进行数据清洗，得到清洗数据；[0024]对所述清洗数据进行数据整理，得到预处理数据。[0025]可选地，所述读取数据包括所述样本数据和所述样本数据的所有像素的二维坐标；所述对读取数据进行数据增强，得到增强数据的方法，包括：[0026]输入所述样本数据中所有像素的二维坐标至仿射矩阵M，得到所述样本数据中所有所述像素的增强坐标；[0027]根据所述增强坐标，得到所述增强数据；[0028]其中，所述仿射矩阵M的公式为：
[0029][0030]
x是所述像素的横坐标，y是所述像素的纵坐标，u是所述像素经过数据增强后的横坐标；v是所述像素经过数据增强后的纵坐标；a00、a01、a10、a11、b00和b10是增强参数。[0031]可选地，确定所述增强参数的方法，包括：[0032]获取并读取实验图像，得到读取信息；[0033]对所述实验图像进行变换操作，得到变换信息；[0034]根据所述读取信息和所述变换信息，确定所述增强参数；[0035]其中，所述变换操作包括缩放、旋转、错切和平移。[0036]可选地，其特征在于，所述对增强数据进行数据标注，得到标注数据的方法，包括：[0037]确定所述增强数据中所述安全帽和所述头部的位置；[0038]分别对所述安全帽或所述头部的位置进行标注，得到标注数据。[0039]可选地，其特征在于，所述对标注数据进行数据清洗，得到清洗数据的方法，包括：[0040]剔除所述标注数据中不存在所述特征区域信息的数据和清晰度不符合预设合格标准的数据，得到清洗数据。[0041]可选地，所述卷积神经网络包括Yolov4网络结构。[0042]第二方面，本申请提供了一种安全帽佩戴预警系统，包括：视频获取模块和服务器，服务器包括依次连接的图像抽取模块、状态判断模块、结果确认模块和预警播报模块；所述视频获取模块与所述图像抽取模块连接；[0043]其中，所述视频获取模块用于获取施工现场的所述视频数据，并传送所述视频数据至所述图像抽取模块；
[0044]所述图像抽取模块，用于从所述视频数据中抽取所述图像，并传送所述图像至所述状态判断模块；
[0045]所述状态判断模块，用于确认所述图像中的特征区域，确定所述特征区域信息，以及传送所述特征区域信息至所述结果确认模块；[0046]所述结果确认模块，用于根据所述特征区域信息，判断所述图像中是否有未佩戴
5
CN 111985387 A
说 明 书
3/8页
安全帽的施工人员，并得出判断结果，并传送所述判断结果至所述预警播报模块；[0047]所述预警播报模块，用于根据所述判断结果，发出预警信息。[0048]根据以上技术方案可知，本申请提供了一种基于深度学习的安全帽佩戴预警方法，该方法首先获取视频数据，然后在视频数据内抽取任意n帧图像，而后基于预先构建的安全帽佩戴状态确认模型，确定图像中的特征区域的位置和标签，标签包括安全帽和头部，然后再确定n帧图像中同一位置对应的标签是头部的图像的帧数m，计算帧数m与帧数n的比值，判断比值是否超过阈值，若超过阈值，发出预警信息。本申请还提供了一种安全帽佩戴预警系统，能够对施工现场的施工工人是否佩戴安全帽进行监测和预警。由于本申请检测的图像是任意抽取的，所以能够明显避免检测失误带来的误报；以及，本申请是针对n帧图像进行检测，计算存在未佩戴安全帽人员的图像与n的比值，并且该比值还要与预设的比值进行比较，所以该步骤的设置可以明显降低因检测失误带来误报的可能性；另外，本申请可以直接检测图像中的头部和安全帽，无需对人体图像进行分割，因此降低了检测步骤的繁琐性，提高了检测的及时性和检测效率，节约了资源成本，还提高了施工现场的安全系数及作业效率。综上所述，本申请可以解决过往手段检测不及时且准确率不高的问题。附图说明
[0049]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0050]图1为本申请实施例中一种基于深度学习的安全帽佩戴预警方法的流程示意图；[0051]图2为本申请实施例中一种安全帽佩戴预警系统的结构示意图；
[0052]图3为本申请实施例中一种构建安全帽佩戴状态确认模型方法的流程示意图；[0053]图4为本申请实施例中另一种构建安全帽佩戴状态确认模型方法的流程示意图；[0054]图5为本申请实施例中Yolov4网络结构的结构示意图；[0055]图6为本申请实施例中骨干网络结构的结构示意图。[0056]其中：1-视频监测模块；2-服务器；21-图像抽取模块；22-状态判断模块；23-结果确认模块；24-预警播报模块。具体实施方式
[0057]下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。[0058]参见图1，图1为本申请实施例中一种基于深度学习的安全帽佩戴预警方法的流程图。由图1可知，本申请中的一种基于深度学习的安全帽佩戴预警方法，包括：[0059]S110：获取视频数据，所述视频数据的时长小于或等于预设获取时长。[0060]参见图2，图2是为本申请实施例中一种安全帽佩戴预警系统的结构示意图。安全帽佩戴预警系统包括视频获取模块1和服务器2，服务器2包括依次连接的图像抽取模块21、状态判断模块22、结果确认模块23和预警播报模块24。
6
CN 111985387 A[0061]
说 明 书
4/8页
视频获取模块1拍摄施工工人在施工现场的视频数据，并传送视频数据至图像抽
取模块21。具体地，视频获取模块1是摄像头或者是其他可以获取视频数据的设备。其中，摄像头安装的位置和数量可以根据施工现场的面积、施工现场的环境和施工人员的数量进行确定，本申请不做具体限定。另外，预设获取时长的取值范围是[至少包含2帧的时间，1秒]，其中，每帧的时间根据摄像头的清晰度确认，在某些实施例中，预设获取时长是1秒。[0062]S120：抽取所述视频数据中任意n帧图像。[0063]图像抽取模块21接收传送的视频数据，并从视频数据中抽取任意n帧图像，以及，传送n帧图像至状态判断模块22。具体地，图像帧数n的取值范围是[2帧，预设获取时长内的总帧数]，其中，预设获取时长内的总帧数根据摄像头的清晰度确认。在某些实施例中，图像帧数n的数值是5。[0064]S130：基于预先构建的安全帽佩戴状态确认模型，确定所述图像中的特征区域信息，所述特征区域信息包括位置和标签，所述标签包括安全帽和头部。[0065]状态判断模块22能确认图像中的特征区域，并能确定特征区域信息，特征区域信息包括特征区域的数量、位置和标签，以及，传送特征区域信息至结果确认模块23。具体地，状态判断模块22安装有预先构建的安全帽佩戴状态确认模型，安全帽佩戴状态确认模型能够识别图像中的目标特征，目标特征包括“安全帽”和“人头”，其中，“安全帽”代表的是佩戴有安全帽的施工人员的头部上的安全帽，“人头”代表的是未佩戴安全帽的施工人员的头部。
[0066]特征区域是安全帽佩戴状态确认模型为目标特征划定的区域。在某些实施例中，特征区域的形状是方形，特征区域的位置指的是方形四个顶点的坐标。特征区域的标签根据目标特征确定，当目标特征是“安全帽”时，特征区域的标签相应确定为安全帽，当目标特征是“人头”时，特征区域的标签相应确定为人头。[0067]S140：确定n帧所述图像中同一位置对应的所述标签是头部的所述图像的帧数m，计算所述帧数m与所述帧数n的比值，判断所述比值是否超过阈值，若超过所述阈值，发出预警信息。
[0068]结果确认模块23接收特征区域信息，并根据特征区域信息，判断图像中是否有未佩戴安全帽的施工人员，得出判断结果，并传送判断结果至预警播报模块24。具体地，结果确认模块23可根据不同的位置，先确定n帧图像中在该位置上的标签是头部的图像的帧数m，再计算帧数m与帧数n的比值，然后判断比值是否超过阈值，若超过阈值，则代表图像中至少有一个施工人员未佩戴安全帽。其中，由于预设获取时长较短，在此时间内，施工人员基本不会移动，所以针对任一特征区域而言，该特征区域的位置在n帧图像间的变化非常小，所以可近似认为该特征区域的位置在n帧图像中均是相同的。另外，阈值的取值范围是[0.5，1]，在某些实施例中，阈值是0.8。
[0069]预警播报模块24接收判断结果后，根据判断结果在施工现场发出预警信息。在一些实施例中，预警播报模块24还可通过客户端的程序或者手机短信的形式将预警信息传送至施工现场的相关工作人员处，目的是为了维持施工现场的施工秩序处于良好的情况下，对未佩戴安全帽的施工工人进行提醒。[0070]S150：间隔预设执行时间，重复执行所述获取视频数据的步骤。[0071]间隔预设执行时间，视频获取模块1重复执行步骤S110。具体地，为了保障施工工
7
CN 111985387 A
说 明 书
5/8页
人的安全和提高施工工人的安全意识，需要持续且稳定地对施工现场施工工人是否佩戴安全帽进行监测，所以需要重复执行S110至S140。[0072]其中，预设执行时间根据需求设定，本申请不作具体限定。[0073]在一些实施例中，一种基于深度学习的安全帽佩戴预警方法，还包括：存储所述标签是头部的所述图像及所述图像的拍摄时间。具体地，存储特征区域的标签是头部的图像及图像的拍摄时间，目的是为了后续的复查和责任追究，提高检测的准确性。[0074]在一些实施例中，参见图3，图3为本申请实施例中一种构建安全帽佩戴状态确认模型方法的流程示意图，其中，构建安全帽佩戴状态确认模型的方法包括：[0075]S210：获取样本数据。
[0076]样本数据是佩戴有安全帽的施工人员和未佩戴安全帽的施工人员的图像。具体地，样本数据可以是在不同施工现场或者工业场景下，佩戴有安全帽的施工人员和未佩戴安全帽的施工人员的图像。[0077]S220：对所述样本数据进行预处理，得到预处理数据。[0078]获取样本数据后，需要对样本数据进行预处理。具体地，预处理的目的是将样本数据处理成可以训练卷积神经网络的数据。[0079]S230：通过所述预处理数据训练卷积神经网络，生成安全帽佩戴状态确认模型。[0080]通过预处理数据训练卷积神经网络，当卷积神经网络的损失函数逐渐收敛时停止训练，并保存当前时刻对应的最优参数组合。[0081]具体地，卷积神经网络被训练的过程中只需少量的人工参与，并且卷积神经网络可以有效的从大量样本数据中学习到相应的目标特征，避免了复杂的目标特征提取过程，所以提高了模型构建的效率。[0082]在一些实施例中，构建安全帽佩戴状态确认模型方法中的预处理可以更精准的模拟摄像头收集施工现场图像的情景，更精准地还原摄像头的拍摄情况，增强了检测的准确行。参见图4，图4为本申请实施例中另一种构建安全帽佩戴状态确认模型方法的流程示意图，方法包括：[0083]S310：获取样本数据。
[0084]样本数据是佩戴有安全帽的施工人员和未佩戴安全帽的施工人员的图像。具体地，样本数据可以是在不同施工现场或者工业场景下，佩戴有安全帽的施工人员和未佩戴安全帽的施工人员的图像。[0085]S320：对所述样本数据进行数据读取，得到读取数据。[0086]在预处理的过程中，首先要对样本数据进行数据读取，得到读取数据。具体地，通过算法对样本数据中的每张图像进行读取，遍历每张图像的像素位置和图像信息，得到读取数据。其中，读取数据包括样本数据和样本数据的所有像素的二维坐标。[0087]S330：对所述读取数据进行数据增强，得到增强数据。[0088]在得到读取数据后，需要对读取数据进行数据增强，得到增强数据。具体地，数据增强能够使图像模拟摄像头的拍摄仰角进行缩放、旋转、错切和平移等变换。[0089]在一些实施例中，数据增强的方法是仿射变换。具体地，输入样本数据中所有像素的二维坐标至仿射矩阵M，得到样本数据中所有像素的增强坐标。根据增强坐标，得到增强数据，增强数据是经过缩放、旋转、错切和平移等变换的样本数据。
8
CN 111985387 A[0090]
说 明 书
6/8页
仿射矩阵M的公式如下所示，x是所述像素的横坐标，y是所述像素的纵坐标，u是所
述像素经过数据增强后的横坐标；v是所述像素经过数据增强后的纵坐标；a00、a01、a10、a11、b00和b10是增强参数。
[0091][0092]
其中，仿射矩阵M的公式推导过程如下：
[0093]1)将控制缩放、旋转和错切等操作的矩阵A与控制平移操作的矩阵B进行合并，得到矩阵M0，其中矩阵A、矩阵B和矩阵M0的的公式如下所示：
[0094][0095]
2)为M0扩充一个维度变化，得到M1。具体地，扩充的目的是使特征图像在经过矩阵乘法后仍保持原来的尺寸，其中矩阵M1的公式如下所示：
[0096][0097][0098]
因此，由二维坐标(x,y)仿射变换到(u,v)的数学表达式如下：
通常情况下，仿射矩阵M的公式可以利用opencv中的getAffineTransform函数，根据视频数据中抽取出的图像中和经过数据增强后的图像中的多个点来自动创建。[0100]在一些实施例中，确定仿射矩阵M中增强参数的方法包括：[0101]1)获取并读取实验图像，得到读取信息。[0102]为了确定增强参数，需要选择一张图像，然后在图像上任意选择四个点，对四个点进行标记并记录四个点的原始坐标。其中，读取信息是四个点的原始坐标。[0103]2)对所述实验图像进行变换操作，得到变换信息。[0104]对实验图像进行手动变换操作，变换操作包括缩放、旋转、错切和平移等。根据标记找到四个点的位置，确定四个点经过变换操作后的变换坐标。其中，变换信息是四个点的变换坐标。
[0105]3)根据所述读取信息和所述变换信息，确定增强参数。[0106]根据四个点的原始坐标和变换坐标，计算增强参数。[0107]S340：对所述增强数据进行数据标注，得到标注数据。[0108]在得到增强数据后，需要对增强数据进行数据标注，得到标注数据。具体地，对增强数据中的目标特征进行识别并划分特征区域，以及，确认特征区域的位置和标签，得到标注数据。
[0109]S350：对所述标注数据进行数据清洗，得到清洗数据。[0110]在得到标注数据后，需要对标注数据进行数据清洗，得到清洗数据。具体地，剔除标注数据中不存在特征区域信息的数据和清晰度不符合预设合格标准的数据，得到清洗数据。其中，不存在安全帽或人头的标注数据对构建模型没有意义，需要剔除，并且，清晰度较
9
[0099]
CN 111985387 A
说 明 书
7/8页
低的标注数据的实用性也较小，所以也需要剔除。另外，剔除数据的预设标准可根据实际需求而定，本申请不做具体限定。[0111]S360：对所述清洗数据进行数据整理，得到预处理数据。[0112]在得到清洗数据后，需要对清洗数据进行数据整理，得到预处理数据。具体地，按照数据清洗后的标注数据的保存路径、特征区域的位置和标签等的规律整理清洗数据，以便训练卷积神经网络。[0113]S370：通过所述预处理数据训练卷积神经网络，生成安全帽佩戴状态确认模型。[0114]通过预处理数据训练卷积神经网络，当卷积神经网络的损失函数逐渐收敛时停止训练，并保存当前时刻对应的最优参数组合。[0115]在一些实施例中，卷积神经网络包括Yolov4网络结构。参见图5，图5为本申请实施例中Yolov4网络结构的结构示意图。[0116]具体地，Yolov4网络结构包括骨干网络、颈部网络和头部网络；其中，骨干网络用于从整理数据中提取目标特征；颈部网络用于融合包含目标特征的整理数据，得到融合数据；头部网络用于根据融合数据进行卷积训练并得到安全帽佩戴状态确认模型。[0117]骨干网络部分选用更适合于检测网络的CSPDarknet53，加快了网络速度并优化了并行计算。CSP(Cross-Stage-Partial-connections，跨阶段部分连接)包括计算层和转换层。CSP将输入的整理数据分为两部分，降低计算的复杂性，仅将一部分输入计算层中，剩下的部分则直接跳过计算进入转换层。参见图6，图6为本申请实施例中骨干网络结构的结构示意图，CSPDarknet53则将该连接结构应用至Darknet53中。[0118]颈部网络部分选用SPP(Spatial Pyramid Pooling，空间金字塔池化)和PAN(Path Aggregation Network，路径聚合网络)来增强特征，扩大网络的感受野，使网络更好地检测图像中不同尺寸的目标。其中，SPP策略使用空间金字塔池化层替换了最后一个卷积层之后的池化层，将整理数据用不同大小的池化层作用于每个区域，再将各自处理后的结果进行拼接，将不同大小的图像转化为了固定长度的表达，更易于后续全连接层的分析。这样的处理使得模型可以接受不同大小的输入图像。[0119]PAN算法为路径汇聚网络。由于整理数据的特征包含大量的边缘信息，且最高层特征与低层特征之间路径长，容易损失信息。因此，该策略采用缩短信息路径，用低层的准确定位信息增强特征金字塔，创建自下而上的路径增强，并使用适应性特征池化以回复每个区域与特征层级之间被破坏的信息。
[0120]头部网络部分应用了数据增强方法Mosaic和SAT(Self-Adversarial Training，自对抗训练)，其中，Mosaic数据增强将四张图像拼接为一张图像，变相增大了一次训练的图像数量，使模型易于在单GPU上训练。SAT分为两个阶段：第一阶段中，神经网络对其自身执行对抗攻击改变原始图像，增加样本的训练难度；第二阶段中神经网络则对该修改图像上的物体进行检测。
[0121]在训练过程中，本实施例采用冻结模型的骨干网络参数的策略，只对颈部网络和头部网络参数进行训练，以减少收敛所用时间；当损失函数的下降开始减缓，解冻模型的骨干网络参数加入训练，在损失函数逐步收敛时停止训练并保存当前最优参数，然后输出相应的输出结果q、输出结果w和输出结果t等。
[0122]本申请实施例将深度学习神经网络模型与监控技术结合，提供了智能且精准的解
10
CN 111985387 A
说 明 书
8/8页
决方案，提高工业现场的安全系数及作业效率，并且Yolov4网络结构在既追求网络精度也追求网络速度的同时，降低了硬件需求，使模型在只有一个GPU的设备上也能准确运行，大大缩小了训练成本，使得在设备有限的条件下依然能发挥出稳定的识别与检测水平[0123]根据以上技术方案可知，本申请实施例提供了一种基于深度学习的安全帽佩戴预警方法，该方法首先获取视频数据，然后在视频数据内抽取任意n帧图像，而后基于预先构建的安全帽佩戴状态确认模型，确定图像中的特征区域的位置和标签，标签包括安全帽和头部。然后再确定n帧图像中同一位置对应的标签是头部的图像的帧数m，计算帧数m与帧数n的比值，判断比值是否超过阈值，若超过阈值，发出预警信息。本申请实施例还提供了一种安全帽佩戴预警系统，能够对施工现场的施工工人是否佩戴安全帽进行监测和预警。由于本申请检测的图像是任意抽取的，所以能够明显避免检测失误带来的误报；以及，本申请是针对n帧图像进行检测，计算存在未佩戴安全帽人员的图像与n的比值，并且该比值还要与预设的比值进行比较，所以该步骤的设置可以明显降低因检测失误带来误报的可能性；另外，本申请可以直接检测头部和安全帽，无需对人体图像进行分割，因此降低了检测步骤的繁琐性，提高了检测的及时性和检测效率，节约了资源成本，还提高了施工现场的安全系数及作业效率。综上所述，本申请可以解决过往手段检测不及时且准确率不高的问题。[0124]以上对本申请的实施例进行了详细说明，但内容仅为本申请的较佳实施例，不能被认为用于限定本申请的实施范围。凡依本申请范围所作的均等变化与改进等，均应仍属于本申请的专利涵盖范围之内。
11
CN 111985387 A
说 明 书 附 图
1/3页
图1
图2
12
CN 111985387 A
说 明 书 附 图
2/3页
图3
图4
13
CN 111985387 A
说 明 书 附 图
3/3页
图5
图6
14
因篇幅问题不能全部显示，请点此查看更多更全内容