云存储架构及优势

　　盘点近几年的IT领域热门词汇：大数据、云计算、虚拟化、云存储、云服务等，几乎贯穿到所有信息技术领域的产品推广、解决方案和系统规划中。这意味着未来信息领域发展和建设的大时代——云时代的来临。

　　作为云时代海量数据的来源之一，安防视频监控行业随着智慧城市和智能交通的快速发展、移动互联设备的快速激增，产生了海量的非结构化视音频数据，带动了大数据的存储、管理、分析等应用。面向云时代，业界同仁一拥而上、热血沸腾，无论是IT供应商、存储厂商、还是解决方案提供商都不甘落后，雨后春笋般的纷纷提出基于计算、存储、网络等多层次虚拟化的数据中心解决方案，投入大量资源，推出云存储、云计算等系统产品。

　　面对安防行业近来的“云”山“物”罩，云存储技术优势有哪些、如何在智慧城市中逐步落地不断实践以及未来还面临哪些问题，我将发表个人观点，意在抛砖引玉、引发业界同仁在产业发展的进一步思考和讨论。

　　与传统集中式存储相比，分布式存储系统将数百上千的存储节点组织为统一的存储系统，其横向扩展特性克服了物理机架和模块在性能、容量、容灾能力等方面的限制，可通过增加控制器或是容量节点来实现性能和容量的独立升级，提高IT投入的回报率。同时，在线线性扩展能力为业务的长期高性价比提供保障。解决了传统单一系统，模块化系统需要物理磁盘级别的管理、数据布局和性能调优的弊端。

　　分布式储存解决方案正在用户层面快速普及。分布式存储平台不仅能够提升性能而且还可以降低操作成本，使单一系统在单一全局域名下，简单地扩展到若干PB容量范围，成为管理快速增长数据的理想存储平台。

　　业内主流的云存储架构可分为存储硬件和存储系统软件两部分，存储硬件包含物理节点以及网络交换设备;存储系统软件包括统一存储池、多协议访问两部分。统一存储池负责硬件存储资源的整合、数据在各硬件节点的冗余分布和负载均衡。多协议访问，为上层应用提供文件、块、对象访问接口。

　　与传统存储设备不同，云存储不仅是一个硬件，而是一个由网络设备、存储设备、服务器、软件、接入网络、用户访问接口以及客户端程序等多个部分构成的复杂系统。该系统以存储设备为核心，通过应用层软件对外提供数据存储和业务服务。存储硬件层是云存储系统的基础，由存储设备(满足FC协议、iSCSI协议、NAS协议等)构成。存储软件层是云存储系统的核心，其担负着存储设备间协同工作，数据加密，分发以及容灾备份等工作。存储应用层是系统中根据用户需求来开发的部分，根据不同的业务类型，可以开发出不同的应用服务接口。访问层指授权用户通过应用接口来登录、享受云服务。

　　其主要优势在于：

　　`硬件冗余，数据更安全

　　`节能环保，效益更显著

　　`系统升级不会影响存储服务

　　`海量横向扩展能力

　　`强大的负载均衡功能

　　统一管理、统一向外提供服务，管理效率高

　　云存储系统从系统架构、文件结构、高速缓存等方面入手，针对监控应用进行了优化设计。数据传输可采用流方式，底层采用突破传统文件系统限制的流媒体数据结构，大幅提高了系统性能。

　　高清监控存储是一种大码流多并发写为主的存储应用，对性能、并发性和稳定性等方面有很高的要求。该存储解决方案采用独特的大缓存顺序化算法，把多路随机并发访问变为顺序访问，解决了硬盘磁头因频繁寻道而导致的性能迅速下降和硬盘寿命缩短的问题。

　　针对系统中会产生PB级海量监控数据，存储设备的数量达数十台上百台，因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具，具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警，图像化系统检测等功能。

　　在海量视频存储检索应用中，检索性能尤为重要。传统文件系统中，文件检索采用的是“目录->子目录->文件->定位”的检索步骤，在海量数据的高清视频监控，目录和文件数量十分可观，这种检索模式的效率就会大打折扣。采用序号文件定位可以有效解决该问题。

　　云存储可以提供非常高的系统冗余和安全性。当在线存储系统出现故障后，热备机可以立即接替服务，当故障恢复时，服务和数据回迁;若故障机数据需要调用，可以将故障机的磁盘插入到冷备机中，实现所有数据的立即可用。

　　对于高清监控系统，随着监控前端的增加和存储时间的延长，扩展能力十分重要。市场中已有友商可提供单纯针对容量的扩展柜扩展模式和性能容量同步线性扩展的堆叠扩展模式。

　　云存储在智慧城市的实践应用

　　目前智慧城市中的平安城市和智能交通领域，建设的前端点位越来越多，分辨率也从1080P逐步向400W、4K演变，存储空间需求激增。此外由于历史原因，智慧城市存储系统往往面临着，分布式存储和集中存储混搭、标清高清混搭以及不同品牌不同架构设备混搭的局面。

　　如何在有限的政府预算和投资下，尽可能的提升数据安全、广泛兼容利旧设备建造以及响应未来大数据共享、挖掘等应用需求，是各家存储厂商不得不面对的问题。结合天地云存储在智慧城市领域的应用和实践，我们觉得云存储可为甲方带来丰富的用户价值。

　　平安城市领域

　　云存储产品方案的实施有助于设备利旧改造，云存储产品可以充分利用用户已有投资，将一期IPSAN/平台型NVR等存储系统内的存储设备改造成云存储设备，实现存储系统的在线升级。其次采用了全域虚拟化技术的云存储架构，可以将所有存储设备中的存储资源进行虚拟化整合，对外呈现为一个超大的存储资源池。整合后的存储资源池，可以采用虚拟和逻辑的方式，进行弹性的扩大或缩小，以达到系统存储资源的最大化合理利用，给予用户更直观、更便捷的操作体验。针对几千台高清前端的存储需求，单套云存储系统可以完美兼容，充分显示了单套云存储系统的稳定性和高效性，体现了云存储系统性能与容量线性增长的特质。

　　云存储系统支持在线式的存储改造与扩容，通过软硬件升级，将往期IPSAN设备进行云存储系统改造，加入云存储系统存储集群内。扩展时云存储管理服务器对设备压力进行动态调整，保障已有的录像业务不受影响，从而实现存储设备的在线扩容。同时云存储系统，采用全集群化设计，本质上具有的很高的稳定性及可靠性。一般情况下不会发生设备故障，即是是在特殊情况下，出现单台甚至多台设备的故障，云存储系统也会进行统一调度，由集群内其它设备继承故障的业务，从而保障录像业务不中断。

　　智能交通领域

　　云存储可以通用采用虚拟化的容量管理方式，对外呈现为一个超大的存储资源池，打破了单台设备的设备资源和存储资源瓶颈。然后根据项目实际图片存储需求按需分配存储空间，划分多个个图片存储池。划分后的图片存储池依然采用虚拟和逻辑的方式，可以弹性的进行扩大或缩小以保证系统存储资源最大化利用。其次云存储系统可以支持双网双平台的安全存储方案，分别与共享平台和公安联网平台协调互动。云存储系统通过采用集群虚拟IP技术对外提供唯一访问接口，以及提供标准化通信接口降低与共享平台和公安联网平台的对接难度，为上层应用提供高效的业务响应能力，保证两套云存储系统数据安全完整一致。

　　云存储系统可以提供丰富的高性能的图片存储服务，通过提供标准的API接口(如：图片写入、下载、压缩、锁定、覆盖等)供上层平台调用，简化业务流程，有效提高了业务响应能力。比如：通过一体化索引设计技术在每次图片数据存储完成后，系统将图片索引信息记录在存储管理节点中。这样上层应用平台仅一次查询就能提取到图片的检索信息;另外还可以通过云存储按照时间段批量下载图片信息或通过获取URL下载指定图片信息。

　　同时云存储支持视频/图片的混存方式，一套系统既能存视频，又能存图片。相比于传统的存储技术，视频云存储系统的这一特点为用户节省了大量投资，减少了用户在视频、图片综合存储时的操作和配置工作。

　　云存储未来面临问题

　　标准，是云存储未来面临的核心问题!在云存储整个产业链的发展过程中，硬件设备及系统、软件服务与安全都是必不可少的环节，云存储产业的发展离不开标准的支持，目前国内还缺乏云存储技术的相关标准。云存储行业存在众多的云存储标准，其中市场较为认可的有亚马逊S3接口标准和SINA标准。同时，业界也推出了一些测试标准，如SPC、SPEC和SNIA，推出绿色存储计划的节能减排标准及2014年刚启动编撰的公安行业云存储标准。现有的标准大多还仅局限于服务的接口标准化，对于管理接口、控制命令、系统的硬件标准很少涉及。在实际应用过程中，不同云存储服务提供商、云存储设备间的互通在管理、控制方面存在较多问题。同时，云存储也不局限于对象存储范畴，包括数据库、半结构化数据等类型的存储，目前还没有相关云化标准。

　　技术和产业的发展离不开标准的支持。云存储本身还是一个新兴的事物，在其发展过程中，标准化建设是一项极为重要的常规性工作。一个行业的标准水平如何，直接标志着这个行业的发展品质和发展水平。

　　结语

　　云存储系统未来在平台对接整合、业务流程梳理、视频数据智能分析深度挖掘及成本方面都将面临挑战。承建大型系统、构建云存储的商业模式也亟待创新。受限于宽带网络、web2.0技术、应用存储技术、文件系统、P2P、数据压缩、CDN技术、虚拟化技术等的发展，未来云存储还有很长的路要走。但我相信随着云存储、云计算以及大数据应用技术的成熟和完善，行业势必会更快速的发展。云时代的到来已为我们指明了方向，云存储技术就像是奠定未来世界的基石，让我们可以更加经济的进行系统建设，更加高效的进行数据分析，更加有力的推动社会的进步和发展。