(12)发明专利申请
(10)申请公布号 CN 109101898 A(43)申请公布日 2018.12.28
(21)申请号 201810811411.7(22)申请日 2018.07.23
(71)申请人 南京邮电大学
地址 210003 江苏省南京市鼓楼区新模范
马路66号(72)发明人 余瀚 沈美君
(74)专利代理机构 南京苏科专利代理有限责任
公司 32102
代理人 张霞(51)Int.Cl.
G06K 9/00(2006.01)
权利要求书2页 说明书6页 附图6页
(54)发明名称
公交车载人数实时监测系统及其监测方法(57)摘要
本发明提供了一种公交车载人数实时监测系统及其监测方法，该监测系统包括：录像模块，用于获取乘客上车的视频数据；语音模块，用于提醒乘客下车和发出超载警报；存储单元，用于存储乘客文件数据；以及检测识别单元，通过光纤与所述录像模块、语音模块和存储单元相连，接收所述视频数据并结合所述乘客文件数据，进行图像预处理、人脸检测与识别、人数统计以及目标跟踪，同时将控制信息发送给所述语音模块。该监测系统能够自动检测上、下车人数并统计车载乘客信息，实时监控车载人数、判定是否超载并发出警报，提高了公交车行车安全的同时，获取了城市居民的出行数据；该监测方法规避了背景变化的干扰，准确、高效且实时性佳。
CN 109101898 ACN 109101898 A
权 利 要 求 书
1/2页
1.一种公交车载人数实时监测系统，包括：录像模块，用于获取乘客上车的视频数据；语音模块，用于提醒乘客下车和发出超载警报；存储单元，用于存储乘客文件数据；以及检测识别单元，通过光纤与所述录像模块、语音模块和存储单元相连，接收所述视频数据并结合所述乘客文件数据，进行图像预处理、人脸检测与识别、人数统计以及目标跟踪，同时将控制信息发送给所述语音模块。
2.根据权利要求1所述的公交车载人数实时监测系统，所述检测识别单元包括预处理模块、人脸检测模块、人脸识别模块、人数统计模块和目标跟踪模块，其中，
预处理模块与所述录像模块电连接，接收所述视频数据并抽取图像进行图像预处理，得到图像数据；
人脸检测模块，接收所述图像数据进行人脸检测，得到检测数据；人脸识别模块，接收所述检测数据并读取所述乘客文件数据，进行人脸识别及乘客标记，得到识别信息；
目标跟踪模块，根据所述检测数据跟踪人脸目标位置并判断乘客上、下车行为方式，得到跟踪信息；
人数统计模块与所述语音模块电连接，接收所述识别信息和所述跟踪信息进行车载人数统计，并修改存储单元中的所述乘客文件数据，同时将控制信息发送给所述语音模块。
3.根据权利要求1所述的公交车载人数实时监测系统，其中，所述乘客文件数据包括存储在公交车载存储单元内的乘客文件、历史乘客文件和乘客数据库。
4.根据权利要求3所述的公交车载人数实时监测系统，其中，所述乘客文件数据还包括总数据库，所述总数据库设置在后台服务器中。
5.根据权利要求1所述的公交车载人数实时监测系统，其中，所述录像模块为摄像头，所述摄像头设置在与公交车车门相对的车体侧壁上方。
6.如权利要求1所述的公交车载人数实时监测系统的监测方法，包括如下步骤：S1，监测系统启动；S2，根据监测系统的存储能力，建立乘客数据库，保存历史乘客的信息；车上乘客的信息保存在内存中，刚下车乘客的信息保存在文件系统中；
S3，判断车辆是否停下，若停下，则进入步骤S2；否则，持续监控车辆是否停下；S4，从监控视屏中选取一帧图像进行图像预处理；S5，使用ViBe算法根据初始图像建立背景模型；每隔三帧选一图像进行步骤S4的图像预处理，遍历新一帧图像所有像素点，并与背景模型中该像素点的数值比较，确定该像素点是否为前景，同时统计该像素点被检测为背景的次数，及时更新背景模型；
S6，根据步骤S4获取的前景图像，使用AdaBoost算法检测出人脸位置；S7，使用二次搜索调整camshift跟踪窗口的大小，同时使用kalman滤波器对窗口位置进行预测；
S8，人脸识别，将检测到的人脸和车上乘客的人脸数据比较；S9，判断该名乘客是否在车上；若该名乘客原本不在车上，则进入步骤S10；若该名乘客原本在车上，进入步骤S14；
2
CN 109101898 A
权 利 要 求 书
2/2页
S10，判断目标的行为是否为上车，若为上车，则进入步骤S11；否则，进入步骤S16；S11，处理相关数据，将乘客标记为在车上，总人数加一，保存乘客上车信息；S12，判断车辆是否超载，若超载进入步骤S13；否则，进入步骤S16；S13，发出超载警报，进入步骤S16；S14，判断目标的行为是否为下车，若为下车，则进入步骤S15；否则，进入步骤S16；S15，处理相关数据，将乘客标记为不在车上，总人数减一，保存下车信息；S16，判断车辆是否为末班车，若不是末班车，则进入步骤S17；否则，进入步骤S18；S17，判断车辆是否开启，若开启，则进入步骤S3；否则，进入步骤S6；S18，判断车上人数是否为0，若人数不为0，则进入步骤S19；若人数为0，则进入步骤S20；
S19，语音提醒乘客下车，进入步骤S6判断是否有乘客还在下车；S20，监测结束。
7.根据权利要求6所述的公交车载人数实时监测方法，其中，步骤S4所述的图像预处理包括图像增强和滤波。
3
CN 109101898 A
说 明 书
公交车载人数实时监测系统及其监测方法
1/6页
技术领域
[0001]本发明涉及一种监测系统，具体涉及一种公交车载人数实时监测系统及其监测方法，属于人工智能领域。背景技术
[0002]随着人口增长，城市交通压力剧增，高峰期拥堵问题及公交车超载问题使得城市公共安全问题存在潜在隐患。尤其近年来，节能环保的新能源无人售票公交车大量投入使用，而司机专注于驾驶汽车，车上无人监督汽车是否超载，由此，各式电子检测设备应运而生，例如基于红外线感应的电子设备，及某些公共场合下基于静态背景的行人检测设备。由于公交车内的监控视屏为动态背景，公交车在行进过程中由于颠簸而引起的摄像头抖动，以及由于外界天气和日照变化导致的车内光线改变，均会对动态背景产生影响，最终影响监测系统的准确性，因此上述设备均不适用于公交车环境。[0003]基于人脸识别算法的各式检测设备，由于检测精度高而被广泛应用，主要方法有基于人脸几何特征的识别算法、基于人脸肤色的识别方法和基于人脸统计理论的方法。其中，基于人脸几何特征的识别方法是一种自下而上的人脸检测方法，人脸具有不因外界条件改变而改变的特征或属性，特别是在静态状态下，如器官形状、肤色、大小比例等，该方法即寻找上述不变的人脸特征，并利用这些特征来定位人脸，但此类方法对人脸的表情、姿态或旋转等动态变化均不敏感；基于人脸肤色的识别方法通过建立肤色模型进行检测，容易受到光线、人种、年龄等因素影响，尤其当背景和肤色接近时易导致误判，精度不高；基于统计理论的人脸检测方法将人脸检测问题转化为统计学上模式识别的问题，主要方法有基于特征空间的方法、基于人工神经网络的方法、基于支持向量机的方法、基于隐马尔科夫模型的方法以及Boosting方法，该方法识别准确度高，但检测效率低、实时性较差。因此，上述各方法均不适用于公交车环境。
发明内容
[0004]针对现有技术的以上缺陷或改进需求，本发明提供了一种公交车载人数实时监测系统及其监测方法，该监测系统能够自动检测上、下车人数并统计车载乘客信息，实时监控车载人数、判定是否超载并发出警报，提高了公交车行车安全的同时，获取了城市居民的出行数据；该监测方法规避了背景变化的干扰，准确、高效且实时性佳。[0005]为实现以上目的，本发明采用以下技术方案：
根据本发明的一个方面，提供了一种公交车载人数实时监测系统，包括：录像模块，用于获取乘客上车的视频数据；语音模块，用于提醒乘客下车和发出超载警报；存储单元，用于存储乘客文件数据；以及检测识别单元，通过光纤与所述录像模块、语音模块和存储单元相连，接收所述视频数据并结合所述乘客文件数据，进行图像预处理、人脸检测与识别、人数统计以及目标跟踪，同时将控制信息发送给所述语音模块。[0006]进一步地，所述检测识别单元包括预处理模块、人脸检测模块、人脸识别模块、人
4
CN 109101898 A
说 明 书
2/6页
数统计模块和目标跟踪模块，其中，预处理模块与所述录像模块电连接，接收所述视频数据并抽取图像进行图像预处理，得到图像数据；人脸检测模块，接收所述图像数据进行人脸检测，得到检测数据；人脸识别模块，接收所述检测数据并读取所述乘客文件数据，进行人脸识别及乘客标记，得到识别信息；目标跟踪模块，根据所述检测数据跟踪人脸目标位置并判断乘客上、下车行为方式，得到跟踪信息；人数统计模块与所述语音模块电连接，接收所述识别信息和所述跟踪信息进行车载人数统计，并修改存储单元中的所述乘客文件数据，同时将控制信息发送给所述语音模块。[0007]进一步地，所述乘客文件数据包括存储在公交车载存储单元内的乘客文件、历史乘客文件和乘客数据库。[0008]进一步地，所述乘客文件数据还包括总数据库，所述总数据库设置在后台服务器中。
[0009]进一步地，所述录像模块为摄像头，所述摄像头设置在与公交车车门相对的车体侧壁上方。
[0010]根据本发明的另一方面，提供了一种公交车载人数实时监测系统的监测方法，包括如下步骤：
S1，监测系统启动；S2，根据监测系统的存储能力，建立乘客数据库，保存历史乘客的信息；车上乘客的信息保存在内存中，刚下车乘客的信息保存在文件系统中；
S3，判断车辆是否停下，若停下，则进入步骤S2；否则，持续监控车辆是否停下；S4，从监控视屏中选取一帧图像进行图像预处理；S5，使用ViBe算法根据初始图像建立背景模型；每隔三帧选一图像进行步骤S4的图像预处理，遍历新一帧图像所有像素点，并与背景模型中该像素点的数值比较，确定该像素点是否为前景，同时统计该像素点被检测为背景的次数，及时更新背景模型；
S6，根据步骤S4获取的前景图像，使用AdaBoost算法检测出人脸位置；S7，使用二次搜索调整camshift跟踪窗口的大小，同时使用kalman滤波器对窗口位置进行预测；
S8，人脸识别，将检测到的人脸和车上乘客的人脸数据比较；S9，判断该名乘客是否在车上；若该名乘客原本不在车上，则进入步骤S10；若该名乘客原本在车上，进入步骤S14；
S10，判断目标的行为是否为上车，若为上车，则进入步骤S11；否则，进入步骤S16；S11，处理相关数据，将乘客标记为在车上，总人数加一，保存乘客上车信息；S12，判断车辆是否超载，若超载进入步骤S13；否则，进入步骤S16；S13，发出超载警报，进入步骤S16；S14，判断目标的行为是否为下车，若为下车，则进入步骤S15；否则，进入步骤S16；S15，处理相关数据，将乘客标记为不在车上，总人数减一，保存下车信息；S16，判断车辆是否为末班车，若不是末班车，则进入步骤S17；否则，进入步骤S18；S17，判断车辆是否开启，若开启，则进入步骤S3；否则，进入步骤S6；S18，判断车上人数是否为0，若人数不为0，则进入步骤S19；若人数为0，则进入步骤S20；
5
CN 109101898 A
说 明 书
3/6页
S19，语音提醒乘客下车，进入步骤S6判断是否有乘客还在下车；S20，监测结束。[0011]进一步地，步骤S4所述的图像预处理包括图像增强和滤波。[0012]与已有技术相比，本发明具有如下有益效果：
本发明提供的公交车载人数实时监测系统及其监测方法，提取前景时解决了背景变化对检测的干扰；结合ViBe运动目标前景检测和AdaBoost人脸检测算法，加快了识别速度，提高了检测系统的实时性，简化了乘客上车的流程；仅利用公交车上的乘客数据进行人脸识别，减少了识别范围，加快了识别速度，用识别结果辅助上、下车行为判断，增加了判别准确性；乘客数据分级存储，提高了存取效率；系统自动判断乘客是否上车，实时监控公交车车载人数，提高了公共安全系数；刺猬，还获取了城市居民出行的行为数据，提供给其他研究者使用，便于加快智慧城市建设步伐。附图说明
[0013]图1是本发明监测系统的结构示意图；
图2是本发明的监测方法流程图；图3是本发明监测系统的“0层”数据流图；图4是本发明监测系统的“1层”数据流图；图5是本发明监测系统的“2层”数据流图；图6是本发明监测系统的“3层”数据流图；图7是本发明监测方法中判断目标上、下车的原理示意图。
具体实施方式
[0014]下面结合附图和具体的实施方式对本发明作进一步详细的说明。所述实施例的示例在附图中示出，在下述本发明的实施方式中描述的具体的实施例仅作为本发明的具体实施方式的示例性说明，旨在用于解释本发明，而不构成为对本发明的限制。[0015]如图1所示，一种公交车载人数实时监测系统，包括检测识别单元和通过光纤与该检测识别单元电连接的录像模块、语音模块和存储单元，其中，所述录像模块为摄像头，所述摄像头设置在与公交车车门相对的车体侧壁上方，用于获取乘客上车的视频数据；语音模块用于提醒乘客下车和发出超载警报；存储单元用于存储乘客文件数据，所述乘客文件数据除包括存储在公交车载存储单元内的乘客文件、历史乘客文件和乘客数据库之外，还包括设置在后台服务器中总数据库。而作为本发明监测系统核心部件的检测识别单元，接收所述视频数据并结合所述乘客文件数据，进行图像预处理、人脸检测与识别、人数统计以及目标跟踪，同时将控制信息发送给所述语音模块。
[0016]录像模块通过公交车上安装的正对车门的摄像头获取乘客正面上车视屏，将视频数据传送给检测识别单元；检测识别单元获得视频数据后，抽取视频中的图像，对图像进行处理、乘客检测和目标跟踪，再从存储单元的乘客文件中获取人脸数据，对目标乘客进行人脸识别，判断其上、下车行为，统计人数并发送控制信号给语音模块。[0017]图1中示出，检测识别单元包括预处理模块、人脸检测模块、人脸识别模块、人数统计模块和目标跟踪模块，其中，预处理模块与录像模块电连接，接收所述视频数据并抽取图
6
CN 109101898 A
说 明 书
4/6页
像进行图像预处理，得到图像数据；人脸检测模块，接收所述图像数据进行人脸检测，得到检测数据；人脸识别模块，接收所述检测数据并读取所述乘客文件数据，进行人脸识别及乘客标记，得到识别信息；目标跟踪模块，根据所述检测数据跟踪人脸目标位置并判断乘客上、下车行为方式，得到跟踪信息；人数统计模块与所述语音模块电连接，接收所述识别信息和所述跟踪信息进行车载人数统计，并修改存储单元中的所述乘客文件数据，同时将控制信息发送给所述语音模块。
[0018]预处理模块从摄像模块接收视频数据后，从视频中抽取图像进行图像处理，并将处理后的图像数据传送给人脸检测模块；人脸检测模块接收到来自预处理模块的图像数据，进行人脸检测，再将检测数据发送给人脸识别模块和目标跟踪模块；人脸识别模块得到检测数据后，从存储单元的乘客文件数据中读取乘客数据进行人脸识别，标记该乘客是否在车上，并将标记后的图像信息（即识别信息）发送给人数统计模块；目标跟踪模块得到检测数据后，持续跟踪人脸目标位置，判断乘客的行为方式并发送给人数统计模块。[0019]而后，人数统计模块得到人脸识别模块的识别信息和目标跟踪模块的跟踪信息后，判断乘客的上、下车行为并统计车载人数，并对存储单元的已有的乘客文件数据进行修改，同时将控制信息发送给语音模块。具体为：人数统计模块得到的跟踪信息为下车、识别信息为乘客标签在车上，则判断乘客的行为是下车，车内人数减1并发送命令给存储单元，将数据从乘客文件剪切到历史乘客文件中；若人数统计模块得到的跟踪信息为上车、识别信息为乘客标签不在车上，则判断乘客的行为是上车，车内人数加1并发送命令给存储单元，在乘客文件中新增乘客数据；当人数统计模块发现车内人数超载时，发送控制信号给语音模块，发出超载警报。
[0020]存储单元一共有四个存储文件，分别是乘客文件、历史乘客文件、乘客数据库和总数据库，上述文件中保存的乘客信息包括：乘客的上车时间、地点及乘客的面部信息等。面部信息用于之后的人脸识别，收集的其他信息可以用于研究用户行为，后期可以根据研究需要增加收集的信息，如天气、气温等；乘客文件是实时更新的，用于保存车内乘客的数据；历史乘客文件用于短期保存所有下车的乘客的数据；乘客数据库用于整理和保存历史乘客文件中的数据；总数据库用于长期保存海量的乘客数据。
[0021]本发明还提供了上述公交车载人数实时监测系统的监测方法，如图2所示，先根据人脸检测的结果判断此人是否在车上，然后根据此人的行为判断乘客的上车还是下车，最后统计人数。本检测系统运行较快，可以实时检测公交车人数。主要包括如下步骤：
S1，监测系统启动；S2，根据监测系统的存储能力，建立乘客数据库，保存历史乘客的信息；车上乘客的信息保存在内存中，刚下车乘客的信息保存在文件系统中；
S3，判断车辆是否停下，若停下，则进入步骤S2；否则，持续监控车辆是否停下；S4，从监控视屏中选取一帧图像进行图像预处理，即使用图像增强和滤波方法减少图像噪音，增强对比度；
S5，使用ViBe算法根据初始图像建立背景模型；每隔三帧选一图像进行步骤S4的图像预处理，遍历新一帧图像所有像素点，并与背景模型中该像素点的数值比较，确定该像素点是否为前景，同时统计该像素点被检测为背景的次数，及时更新背景模型；
S6，根据步骤S4获取的前景图像，使用AdaBoost算法检测出人脸位置；
7
CN 109101898 A
说 明 书
5/6页
S7，使用二次搜索调整camshift跟踪窗口的大小，同时使用kalman滤波器对窗口位置进行预测；
S8，人脸识别，将检测到的人脸和车上乘客的人脸数据比较；S9，判断该名乘客是否在车上；若该名乘客原本不在车上，则进入步骤S10；若该名乘客原本在车上，进入步骤S14；
S10，判断目标的行为是否为上车，若为上车，则进入步骤S11；否则，进入步骤S16；S11，处理相关数据，将乘客标记为在车上，总人数加一，保存乘客上车信息；S12，判断车辆是否超载，若超载进入步骤S13；否则，进入步骤S16；S13，发出超载警报，进入步骤S16；S14，判断目标的行为是否为下车，若为下车，则进入步骤S15；否则，进入步骤S16；S15，处理相关数据，将乘客标记为不在车上，总人数减一，保存下车信息；S16，判断车辆是否为末班车，若不是末班车，则进入步骤S17；否则，进入步骤S18；S17，判断车辆是否开启，若开启，则进入步骤S3；否则，进入步骤S6；S18，判断车上人数是否为0，若人数不为0，则进入步骤S19；若人数为0，则进入步骤S20；
S19，语音提醒乘客下车，进入步骤S6判断是否有乘客还在下车；S20，监测结束。[0022]上述步骤中，根据人脸目标在y轴上的运动距离，以及人脸目标总像素数的变化，判断目标乘客是否上车和是否下车。如图7所示，图像的原点位于左上角，方块O表示最初检测到的目标，设此位置为A，此时目标的左顶点的坐标为A(a,b)，像素数为P，O'为目标O移动后的对象，设此位置为A'，此时目标的左顶点的坐标为A'(a',b')，像素数为P'。目标从位置A移动到位置A'时，在y轴移动的距离为D=a'-a，目标放大倍数为T=P'/P。显而易见，若D<0，则目标为向上移动，若D>0，则目标向下移动；若T>1，则目标图像变大了，目标向着接近摄像头的方向移动，若T<1，则目标图像变小了，目标向着远离摄像头的方向移动。目标向图像上方移动时，且若总像素放大倍数超过阈值T1（T1>1），则该名乘客已上车；目标向图像下方移动时，且若总像素放大倍数小于阈值T2（T2<1），则乘客已下车。具体的阈值T1和T2需要在实际情况中测试得到。
[0023]目标乘客的行为结合该名乘客的标记判断目标为上车还是下车。若乘客行为是上车且之前不在车上，则为真上车，车内人数加1；若乘客行为是上车但之前在车上，则为假上车，车内人数不变；若乘客行为是下车且之前在车上，则为真下车，车内人数减1；若乘客行为是下车但之前不在车上，则为假下车，车内人数不变。[0024]图3-图6为本发明监测系统的数据流图，由图中可知，当人脸检测模块检测到人脸后，人脸识别模块根据乘客文件中的数据识别人脸，若人脸识别模块识别出该人脸，则将人脸数据标记为在车上，并发送给人数统计模块；若人脸识别模块未识别出该人脸，则将人脸数据标记为不在车上，并发送给人数统计模块；人数统计模块根据来自人脸识别模块的识别信息和目标跟踪模块的跟踪信息后，确定乘客的行为；当人数统计模块确定乘客的行为是下车，则发出指令将这名乘客数据剪切到历史乘客文件中；当人数统计模块确定乘客的行为是上车，则发出指令在乘客文件中新增这名乘客的数据；当历史乘客文件足够大时，系统将文件中的数据处理后保存在乘客数据库中，同时删除历史乘客文件中的数据；当乘客
8
CN 109101898 A
说 明 书
6/6页
数据库过大或时间到达每次备份的时间点时，系统将乘客数据库中的数据更新到云端数据库存储，并删除乘客数据库中的数据。[0025]建立乘客数据库时，根据人脸信息，为每一个人设立一个ID。将数据从历史乘客文件保存到乘客数据库时，根据人脸信息，在数据库中寻找此人，若此人在数据库中，直接保存其数据；若此人不存在于乘客数据库中，则为他新建一个ID，并保存其数据。由于车上设备存储容量有限，为了防止数据的丢失以及共享数据的设想，系统可以设计为每天进行两次联网数据同步，在车辆空闲时期将从乘客数据库中同步到云端或后台服务器。[0026]考虑到车上乘客不到40人，人脸数据量比较小，用这个乘客文件中的数据进行人脸识别可提高系统运行速度。因为在历史乘客文件中，数据都是顺序存储的，即不需要在文件的若干数据汇中寻找这名乘客来对应存储信息，所以存储速度快。由于在历史乘客数据中所有乘客的信息都是杂乱有重复的，所以在满足前述更新数据库的同时，系统将数据从历史乘客文件中整理到乘客数据库中。
[0027]本发明提供的公交车载人数实时监测系统及其监测方法，提取前景时解决了背景变化对检测的干扰；结合ViBe运动目标前景检测和AdaBoost人脸检测算法，加快了识别速度，提高了检测系统的实时性，简化了乘客上车的流程；仅利用公交车上的乘客数据进行人脸识别，减少了识别范围，加快了识别速度，用识别结果辅助上、下车行为判断，增加了判别准确性；乘客数据分级存储，提高了存取效率；系统自动判断乘客是否上车，实时监控公交车车载人数，提高了公共安全系数；此外，还获取了城市居民出行的行为数据，提供给其他研究者使用，便于加快智慧城市建设步伐。[0028]应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，单词“包含”不排除存在未列在权利要求中的数据或步骤。
9
CN 109101898 A
说 明 书 附 图
1/6页
图1
10
CN 109101898 A
说 明 书 附 图
2/6页
图2
11
CN 109101898 A
说 明 书 附 图
3/6页
图3
12
CN 109101898 A
说 明 书 附 图
4/6页
13
图4
CN 109101898 A
说 明 书 附 图
5/6页
图5
图6
14
CN 109101898 A
说 明 书 附 图
6/6页
图7
15
因篇幅问题不能全部显示，请点此查看更多更全内容