安防行业云存储偏重于文件管理层和数据分配层两个层级,在应用层方面目前发展不多。其诞生之初,旨在解决传统集中存储多台管理复杂,数据安全性较差等问题。传统安防行业存储的数据类型以视频为主,随着相关政策的出台,视频的存储时长要求在逐渐提高。
对于智慧城市行业来说,存储时长由1个月逐渐提高到3个月。对于政法行业来说,存储时长要求已经由3个月提高到1年,产生的数据量可想而知。举个例子,一座小型城市要想实现公共区域无死角的监控,需要少则几千,多则上万的点位。如果按照1万路1080P视频,采用H.265视频压缩技术,存储1天就需要200TB的存储空间。而通常“平安城市”的视频要求存储至少90天甚至1年之久,轻轻松松就达到了几十甚至上百PB级别的存储容量。面对这么大的存储需求,如果使用传统单台设备存储的方式进行管理,耗费的人工成本将极为巨大,且运维困难,数据安全得不到保证。为了解决这两大问题,最初的安防云存储应运而生,通过虚拟化和纠删冗余这两大核心技术,云存储利用最小的冗余度获得了最大的安全保证,并将一台台独立的存储服务器虚拟成一个统一的存储资源池,资源池内数据采用独有的算法进行数据存储,对外提供统一的接口接收数据。
当前市场上的安防云存储主要有对称架构和非对称架构两种,两者各有优劣势。非对称架构的云存储由云存储管理节点和存储节点组成,管理节点通常使用高配置的服务器来进行资源调配的功能,存储节点一般所用配置较低,这种方式的优势在于,由于存储节点数量较多,管理节点数量较少,整体的成本会偏低。但劣势也很明显,一旦管理节点发生损坏,整个存储集群将无法使用。对称架构与非对称架构的区别就在于它没有管理节点,而是把管理节点虚拟到集群中,这样做的好处是省去了一台服务器,节约了成本。其次,从安全性考虑,由于管理节点虚拟到集群中,并在节点之间不断转移,就可以实现节点损坏的随机性。也就是说,不再指定固定的某台服务器不能损坏。
目前安防云存储市场的趋势更加倾向于对称架构,只要成本允许的条件下,推荐使用对称架构的云存储,不仅因为其安全性较高,更是因为这种架构具有可拓展性。通过将每台独立的服务器虚拟成一个存储池,可以在里面划分不同的存储空间,然后在各个空间内运行虚拟机,进而可以实现各种不同的业务。一套硬件实现了所有业务,构成了一个超融合系统。
截止目前,各大云存储厂商的数据分配层技术可以说已经十分成熟。基于不同的开源项目如Ceph、GlusterFS、Sheepdog、Swift,还有不同的商业实现如Google、AWS、微软、金山、七牛、又拍、阿里云还有Qingcloud等,每个云存储厂商都推出了自己独有的云存储产品,数据安全问题得到了解决。除了数据安全,底层考虑的另一个核心问题就是存储的性能。因为我们知道,通过伪随机算法来进行数据分配是十分占用硬件资源的,而且长时间满负荷运行对CPU等核心配件的消耗较大。这样一来,文件系统所能使用的计算资源就非常少,两者之间的交互就会出现速度不匹配的问题,导致存储性能无法提升,这对视频存储的影响是十分巨大的。
随着高清化视频监控的普及,1080P分辨率几乎成了安防项目采购的最低配置,而4K等分辨率也逐渐在安防市场崭露头角。前面也已经提到,在一个小型的“平安城市”项目中,几千或上万的点位数已经成为常态,那么如果按照1000路1080P前端,8Mb码流来算的话,每秒产生的数据量就有8GB。如果存储系统无法同时写入这么多数据,就会造成数据丢失,如果配置的路数较少,就会造成存储空间的浪费。所以,优化底层处理机制所占用的资源是云存储发展需要迈出的第二步。通过这一步,不仅能解决性能问题,还会降低硬件的成本,让云存储由行业专用逐渐走向民用,实现真正的普及。
文章节选自《中国安防》162期
留言与评论(共有 0 条评论) |