千视通CTO胡大鹏:解读AIoT无感通行园区的算法与业务逻辑 ...-程序员宅基地

技术标签: ViewUI  前端  嵌入式  大数据  

TB1NZ2aOCzqK1RjSZFHXXb3CpXa.jpg

3月23日,由雷锋网 & AI掘金志主办的「第二届中国人工智能安防峰会」在杭州召开。

峰会现场,千视通CTO胡大鹏以《智慧园区,无感通行》为主题,全面深入地分享了千视通AIoT场景融合战略。

胡大鹏博士是香港科技大学计算机科学博士,曾任微软亚研院博士后研究员、ASTRI(香港应用科学研究院)首席研究员,作为千视通的联合创始人兼CTO,参与制定了千视通AIoT场景融合战略。

胡大鹏博士在大会中提到,AIoT场景融合战略由AI算法、IoT智能前端/边缘计算、大数据平台、NVR/服务器等组成,可将Re-ID和Face-ID两大算法进行融合应用,赋能智慧园区、社区、校园、零售等多个场景,实现无感通行。

以下为胡大鹏博士的现场演讲内容,雷锋网(公众号:雷锋网)作了不改变原意的编辑和整理:

大家好!我是胡大鹏,今天我主讲的内容是《智慧园区、无感通行》。

作为联合创始人创办千视通之前,我曾在微软亚研院、ASTRI工作。目前,千视通的核心研发团队都是来自于香港科研院、北美以及上海交通大学的专家。

千视通与其他AI公司有所不同。现在业内头部的AI公司大多都聚焦于单点人脸识别和Re-ID技术,我们除了深耕这两项技术外,目前也在把这两项进行融合,实现“无感”,业务逻辑是把人与场景融合在一起,打造“无感园区”。

现在,我们为用户提供AIoT端到端的全栈解决方案,同时借助佳都科技、川大智胜、比特大陆、明略数据四大股东的资金与资源加持,使得千视通有能力承接完成大量的诸如“无感园区”类型的数千万级项目。

AIoT端到端,场景融合战略

千视通的AIoT主要包含四个方面:AI算法、IoT智能前端/边缘计算、大数据平台、NVR/服务器。

TB1aVC7OwDqK1RjSZSyXXaxEVXa.jpg

算法层面,大家都知道千视通最初是做Re-ID和人脸识别的,在这些项目的研发期间,拿到了非常好的数据,现在可利用这些实战数据和技术积累去做无感通行。

目前千视通主要聚焦在前端中心,公司储备的大部分算法,都在人脸、IPC、系统增强等领域,这些算法现阶段已经非常成功地嵌入在了前端,可直接应用。

在AIoT领域,我们也可以去赋能老旧、普通的IPC(后端也需要硬件和平台的支持),我们现在做的主要是加强AI和前端层,从而演变成全线的端到端方案。

千视通的AIoT方案可以用在什么场景呢?园区、社区、校园还有零售。今天我主要讲前三个,零售的技术逻辑与上述三者也较为相似。

TB1evyKhnZmx1VjSZFGXXax2XXa.jpg

AI+园区,无感通行

什么是无感通行?

在讲无感通行前,我先谈谈普通园区管控中通常会遇到的问题,主要分为四种:

TB1nZq.OBLoK1RjSZFuXXXn0XXa.jpg

1.安全管理有漏洞:当人进入园区时,需要刷脸或刷卡,但这些环节都可以通过造假入内。

2.布控识别存在盲区:进入园区后,很多地方一方面没有摄像头,另外即便有摄像头也仅可以实现把人检测出来,或者是用Re-ID把人在不同的系统里进行关联,但并不能建档,所以无法知道这个人是谁。对此,我们把Re-ID和Face-ID融合起来,除了从不同的系统里拿到这个人的样貌和外形信息之外,我们也把他的身份信息复制进去。

3.园区成本改造成本高:很多园区仍在使用老旧硬件设备和软件系统,如要进行改造,成本会很高。

4.事件预防能力弱:现阶段大多设备对事件的预防能力比较弱,单从火灾预警来讲,若采用普通的IoT硬件,需要安装很多传感器,如温度传感和烟雾传感等,但各种设备的能力范围有限,感知的场景和采集的数据单一,远不如摄像头。

在这种情况下,我们的解决方案分为四点:分别是无感通行、一人一档、利旧建新、火情检测。

TB1Z6DjOwHqK1RjSZFkXXX.WFXa.jpg

 无感通行

什么是“无感通行”呢?当你进入一个园区之后,我不希望用户知道你在管理他,他不需要主动刷脸刷卡,他一入园区后,在不干扰他的情况下,利用摄像头先对用户进行识别,然后把他的资料和属性调出来,根据他的身份,对园区进行智能管控,对用户提供通行服务,所以叫“无感通行”。

 一人一档

如果我可以把每个人的ReID关联起来后,再把人脸信息加进去,就可以在底库里面把他的身份信息拿出来,然后再进行关联,在此之上,便可以为每个人建档。

建档之后的任务,千视通自身已经做了很多优化工作,比如把所有人的信息分解出来,然后建一个档,档案里包括了用户的所有信息:身份、属性、每个时间段出现的位置、所做的事情,这之后也可以衍生出更多的应用。

利旧建新

我们的产品可以称作为“利旧建新”,这么叫的原因是希望把原来的普通IPC,在后台加一个盒子,或者再台服务器,从而把摄像机的能力,变得更智能。

火情检测

最后是事件监测,我们做的一款产品叫“火情检测”。

无感同行通过2D或者3D地图,然后在地图里把无感通行里检测的所有人和事都进行重建,然后把他显示出来,我们甚至可以建立一人一档,可以知道这个人在园区里怎么走动、也可以知道他的身份,在每个点里都能实时把这些人检测出来,然后把他分辨率最高的抓拍人像,跟人形去做关联,使得他在园区摄像头下的所有行为我们都可以掌握。

知道这些信息后,然后进行统计建模。

比如可以把园区行人的资料跟公安黑名单进行对比,如果识别出某人是逃犯,就可以实时自动关闭园区大门,然后通知警方和管理人员办案。

TB1G4_aOxTpK1RjSZFMXXbG_VXa.jpg

下图是千视通做了很多年的属性提取和分类,随着属性的颗粒度越来越细、越来越多,识别精度越来越准。

TB1V4bXOCzqK1RjSZFjXXblCFXa.jpg

那么人形Re-ID和人脸Face-ID怎么做呢?

人每经过一个地方,如闸机或门禁,在门禁里,我可以采集到他非常清晰的照片,经过一些卡口时,整个人也可以看清楚,但如果在其他地方,就可能看不清楚他的人脸。那么在这种采集不到高清照片的场景下该怎么办?

在园区里我们实时从不同场景和不同的设备上,采集人的各种人脸图像和人形轨迹,最后用底层的算法,把多个维度的信息和属性进行关联,属性越多,档案便建得越完善。

TB1RoDaOAvoK1RjSZPfXXXPKFXa.jpg

当然了,由于整个采集流程是无感的,所以采集的图像有时候质量不一定非常好,这时候需要我们用非常复杂的算法进行图像增强,比如通过超分辨率识别技术实现低清人脸的识别,从而进行高清人脸以及进行身份比对。

另外,我们在侧脸还原技术上也有着很好的积累,针对只抓拍到的侧脸数据,从而根据侧脸的信息,把正面的特征提取出来,进行图像修补和增强,提高精确度。

如果是晚上怎么办?在园区,现在有超夜视增强识别技术,可以把算法嵌入在前端的AI芯片里,把黑暗无光的照片进行恢复,然后进行分析。现在这个系统理论上可以24小时工作。

TB11SvjOAvoK1RjSZFwXXciCFXa.jpg

最后是刚才提到的一人一档,每个人的资料都在这里。有了这些资料以后,我们系统有些标准的应用,类似于黑名单报警、陌生人报警、围栏报警、未授权区域报警、访客超时报警、人形属性报警,这些都可以做。

TB1AKHBOxjaK1RjSZKzXXXVwXXa.jpg

我们前端是允许普通的IPC连接到我们的盒子,或者是在后台的机器里做分析,还可以买我们设计的摄像头,千视通已经有一些算法,也可以提供一些标本配备,比如与闸机或者是访客机,以及加上人脸终端去提升性能。

TB1j.PgOpzqK1RjSZFvXXcB7VXa.png

我们园区的方案,包括五个模块中心:

TB1NpG7OwDqK1RjSZSyXXaxEVXa.png

智慧园区管理中心:我刚才提到的分析、储存环节都是这个中心在做处理。

门禁闸机控制和视频监控系统:这两个产品形态比较简单,主要是控制硬件。

远程访问权限控制:这个模块很重要,园区如果有人过来访问,可以预先在网上登记,登记之后,进入这个园区即可。后台授权也有一些功能,管理员可以根据你的身份,自动设置你哪些地方可去,哪些地方不能出去,以及获取访问时间等。

车辆管理子系统:车辆管理子系统也差不多,只不过对象不是人,是车。

警报信息发布系统:管理员可以在系统里定义哪些行为违规、什么可做、不可做,如果有违规事项发生,及时报警。

以上主要是我们无感园区要做的事情,我们尽可能在不干扰用户的情况下,把一人一档建起来,这是我们无感通行里最重要的一点。

AI+社区

如果把无感通行扩大,可以做什么事情呢?

我们发现在社区的管理上有三个很大的问题,第一个是外来人口不断增多,特别是在一些正在快速发展的城市,流动人口基数很大,管理工作人员少、信息管理滞后。

TB1SXYeOsbpK1RjSZFyXXX_qFXa.png

千视通近来在广州花都区有一个项目,这些园区本身有一些门禁系统,还装有不少摄像头,但他们就不太愿意把这些旧的设备全都换掉,希望在保留旧设备的基础上,打造成一个智能社区。以前很简单,直接连到我们后台或者盒子等产品,老产品都可以变智能。

TB1Z9LzOxnaK1RjSZFBXXcW7VXa.png

当这些项目做大以后,我们就可以把这些小区变成酒店式管理。

TB1XCPzOxnaK1RjSZFBXXcW7VXa.png

小区里的人在什么地方,做什么事情系统都可以知道,他原有的门禁,也知道有什么人在里面,所有门禁采集的资料会送到后台中央来处理,再加上一些摄像头做的Re-ID和Face-ID的融合,基本可以实现一人一档。它首先可以统计人口信息,然后是房屋信息,知道房子里面有什么人住,现在有什么人在里面。然后是出入信息,我们可以知道处于这个门禁的哪个位置,他在社区里面跑,通过多个摄像头融合,系统也可以把他的位置找出来。

在一人一档里面已经有这个资料了。然后在每个摄像头位置都可以抓拍他的信息,从这里也可以拿到他的短视频,就可以全都管理和控制。

TB1sMO5OzDpK1RjSZFrXXa78VXa.png

AI+校园

下一个是校园,为什么提它?

近来我们发现有学校开始布一些传感器之类的智能产品,辅助校园管理。我觉得在学校里面,有四个问题需要解决:

包括校园进出问题、陌生人进入宿舍问题、学生接送冒领问题、学生逃课问题。

我们去学校充分了解了其需求,他们有学生接送管理、校门进出人员管理、宿舍人员进出管理以及课堂出勤管理,如果我们可以对每个学生都建一人一档,这些事情的管控都不难。

TB1AwO5OzDpK1RjSZFrXXa78VXa.png

对于家长来说,他感受到的是什么呢?因为每个学生,系统都知道他的档案、姓名、班级、学校、时间、位置,每个时间段在做什么事情,他附近有什么人。

我可以提供一个手机APP给家长,家长如果没有时间去接送,可以在这里授权某个人去,在这里登记,就像刚才园区一样,可以在里面先登记,然后这个人就可以去接送了。

接送也可以警报,到底是谁在接送你的孩子,还有接送的画面、短视频都可以看到。另外一个是你孩子在课堂,有没有上课,有没有参与,也都可以知道。这对家长来说非常方便,重点是无感,所有人完全不需要刻意配合,也不需要受到干扰,体验很好。

TB11XjdOAzoK1RjSZFlXXai4VXa.png TB1kifaOwHqK1RjSZFgXXa7JXXa.png

总结来说,我们千视通主要的AIoT有什么呢?

主要分为四部分:尖端的算法、前端嵌入式方案、大数据平台基础,NVR/服务器,基于这四点,就可以做到无感通行,一人一档、利旧建新,还有事件检查等。我们的AIoT可以用在园区、社区、校园,还有零售等场景应用,未来可探索的场景更多,因此我们也需要更多的时间去挖掘。

TB1oca9OrPpK1RjSZFFXXa5PpXa.png

这是我们公司的宗旨,希望我们用人工智能,让城市更加安全、便捷、智慧,谢谢大家!

关于中国人工智能安防峰会

由雷锋网& AI掘金志主办的「2019中国人工智能安防峰会」,是业内极具影响力的AI安防论坛,致力于推动中国“AI-安防”落地融合与“学术-产业”的应用交叉。

延续上一届峰会的高水准、高人气,2019中国人工智能安防峰会再度站在算法、工程和产品的最前沿,引导安防行业认知再升级。这是海康、大华、华为、阿里、腾讯以及多个AI独角兽,因“AI安防”首次同台,峰会现场也聚集了海内外1000多位政企管理层和技术研究员,共同探讨2019年的AI安防智能技术部署、前沿算法应用与商业战略布局。

本次峰会共设置“城市大脑与边缘计算”、“世界顶尖算法应用”、“前端动态识别与智能视频云”、“城市AIoT与边缘智能引擎”四大议题,出席的15位演讲嘉宾分别是:

上午场:阿里巴巴华先胜、海康威视浦世亮、大华股份殷俊、地平线张永谦、深瞐科技陈瑞军、商汤科技张果琲、浪潮商用机器张琪。

下午场:香港科技大学权龙、原松下(新加坡)研究院申省梅、华为余虎、触景无限肖洪波、旷视科技安洋、千视通胡大鹏、腾讯李牧青、中科院自动化所王金桥。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_34178244/article/details/89551327

智能推荐

攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地

文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文

达梦数据库的导出(备份)、导入_达梦数据库导入导出-程序员宅基地

文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作  导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释:   cwy_init/init_123..._达梦数据库导入导出

js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地

文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js

STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地

文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6

计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地

文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输

软件测试工程师移民加拿大_无证移民,未受过软件工程师的教育(第1部分)-程序员宅基地

文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...

随便推点

Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地

文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure

C++如何做字符串分割(5种方法)_c++ 字符串分割-程序员宅基地

文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割

2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地

文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答

基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地

文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。

metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地

文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入

Python学习之路:从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地

文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf

推荐文章

热门文章

相关标签