数据爆炸时代,中兴通讯的破局

36氪品牌·2021-09-02
突破主流分布式存储方案局限性,中兴通讯是如何做到的?

我们正处于数据爆炸的时代,根据IDC的报告,到2025年全球数据总量将达到163ZB,其中企业占比将达到60%。伴随着数据总量的爆炸,大数据、AI等数据挖掘以及分析技术的迅猛发展使数据显现出了越来越大的价值。 

不仅如此,随着海量数据的产生,被存储的数据比例也越来越高,甚至有大量原先很少被访问的数据也被挖掘出了新的价值,使得它们能为用户或者企业创造更多利益和价值。当然,这种巨大的变化对数据存储系统的容量以及访问性能都提出了新的挑战,数据存储亟需找到一种新的方式来承载这些“意外”的价值点。 

伴随着软件定义、云化等IT基础设施的深刻变革,分布式存储系统应运而生。但即便如此,存储性能、效率等方面依然存在不足,为满足各行业不同应用场景对于存储性能和效率的高要求,存储方案仍需不断变化和革新。 

溯源,分布式存储的发展历程

存储系统本质上是一种特殊的计算机系统,因此存储系统的发展要基于IT基础技术,特别是存储介质和网络技术的发展。 

20世纪80年代RAID技术诞生,随着企业信息化应用的发展,外置存储成为大规模数据存储的主要形态。然而受制于介质密度和网络性能,在其后二十多年间,外置存储的主流形态是软硬一体的专用设备(集中盘阵),而无法使用通用服务器(COTS)硬件。  

2010年前后,随着网络和存储介质基础技术的不断进步,基于通用服务器来构建分布式存储系统逐步开始变成现实。与集中盘阵系统相比,分布式存储系统不再依赖专用硬件,而是使用通用服务器作为存储节点,以较低成本实现了大容量存储,配置也更为灵活;在扩展性方面,分布式存储可利用高速网络搭建存储集群,性能和容量水平扩展不再受控制器性能的制约;同时,分布式集群多节点数据分布提高了系统整体可用性和数据可靠性。基于其低成本、大容量、高灵活性等特质,人们开始愈发青睐分布式存储的解决方案,因此它也在视频存储、云计算等领域得到了广泛应用。 

困境,主流分布式存储面临的问题

虽然分布式存储相比盘阵系统有诸多优势,但当前主流分布式存储架构存在的一些短板,使得分布式存储产品在性能、空间利用率等方面存在不足,从而影响了分布式存储系统的市场竞争力和接受程度。 

主流分布式存储系统基于本地文件管理系统,IO路径过长,从而造成了IO时延较大、处理开销过高等问题,尤其在全闪配置下无法有效发挥全闪配置的优势。这使得分布式存储系统在极低时延、极高性能的关键业务场景下缺乏竞争力。

同时主流分布式存储系统还存在软件栈过深,难以适应如RSD、分离架构等硬件的弱点,使得分布式存储还无法完全替代盘阵系统。 

此外,为了减少元数据量,提升分布式存储系统的集群规模,主流分布式存储系统往往选择DHT机制来控制数据分布。而不同类型的数据,以及处于生命周期不同阶段的数据,对性能和存储成本要求不同,因此在实际应用中,数据存储的持续高性价比要求数据可以灵活流动。DHT机制下数据分布较为僵化,无法灵活控制数据分布,数据难以流动,从而导致存储空间和性能瓶颈,以及存储成本的上升。 

中兴通讯基于全新架构的新一代分布式存储系统很好的解决了上述架构问题,向市场交出了令人满意的答卷。 

突破,中兴通讯新一代分布式存储

 “在存储产品上,我们是国内真正具有研发能力的几个厂家之一,我们始终坚持自主创新,聚焦用户需求,通过持续优化存储软件和硬件之间的配合,有望成为业界分布式存储的新一轮开拓者和领军者。” 中兴通讯高级副总裁张万春在2021年政企云网生态峰会上表示。经过近30年的技术沉淀和行业深耕,中兴通讯拥有包含混合阵列,全闪阵列,分布式存储等完整的自研存储产品系列。中兴通讯新一代分布式存储解决方案以其领先的性能和效率,在电信、金融、教育、交通、矿业、智慧城市等行业得到了广泛应用。 

面对主流分布式存储方案的问题,中兴通讯新一代分布式存储方案在IO性能、效率、数据分布灵活性和可用性这四大方面均有突破,大大拓宽了分布式存储系统的适用场景。 

首先,中兴通讯新一代分布式存储方案实现了IO性能突破,可以满足实时交易、视频分析等数据量大且对时延要求极高的场景: 通过块到块的直接映射,IO路径无需通过本地文件系统或对象,在提供更高性能、更小时延的同时,降低了功耗;通过追加写模式,中兴新一代分布式存储能够很好地适配闪存盘,有效降低SSD磨损;通过内置的第三代英特尔®至强®可扩展处理器中的AVX-512矢量计算指令集,加速纠删码机制(EC)过程,实现了效率提升;通过采用英特尔®傲腾®内存作为缓存,不仅提高了读写性能,还可以用于存储日志文件,让使用体验更加流畅;同时,通过RDMA的集群网络加持,达到与全闪存阵列相媲美的时延。 

 通过追写模式的EC机制,中兴通讯新一代分布式存储大幅提升了EC性能,能满足大数据分析等对于存储效率、成本要求都比较高的应用场景。 中兴通讯新一代分布式存储系统追加写模式的 EC 机制,在提升存储空间利用率的同时, EC 性能可以与副本模式相当; 同时,通过快照、克隆、镜像等丰富的软件服务,中兴通讯新一代分布式存储解决方案充分满足了用户对备份和容灾的需求,实现了数据低成本的有效管理。 

通过数据灵活分布以及多种硬件的灵活适配,中兴通讯新一代分布式存储满足了边缘应用场景融合部署、超融合部署等多样的部署模式。 一方面,中兴通讯新一代分布式存储支持细粒度控制每一个数据块的位置,实现数据的灵活均衡和流动,提升数据的IO本地化,减少网络流量。另一方面,该方案能灵活适配多种硬件结构,充分发挥不同硬件配置的优势,如面向分离架构的通用硬件,突破性的实现IO路径本地化;面向机架服务器等share-nothing架构的硬件, 通过驱动层RDMA转发,简化了软件栈。 

尤其值得关注的是中兴通讯新一代分布式存储基于中兴通讯G4X系列服务器硬件提供的超融合解决方案,除了具备灵活的配置,支持全闪、混闪等不同存储介质和密度之外,还拥有极致性能、灵活扩展、稳定可靠和极简运维等特性,能够从容面对更加复杂的应用场景。 

在面对更加多元的使用场景时,G4X服务器内置的第三代英特尔®至强®可扩展处理器可以对AI、5G、物联网等多个应用场景的工作负载进行优化,这使得分布式存储方案的使用边界不断被拓宽,在云端、边端均可应用。应用于云端时,中兴通讯分布式存储方案可以灵活构建高性能存储池,支持灵活扩容,帮助云厂商实现灵活管理;应用于边端时,中兴通讯分布式存储方案则能通过减少存储处理开销,降低整体成本和能耗,以低时延助力边缘实时应用。 

但我们更需意识到的是,仅凭单一的产品性能并无法对一家企业的综合实力进行评估,以上优势如果按通用产品的标准来评判那便已经足够优秀,但除了产品本身的硬实力,配套的定制化服务能力、E2E综合方案提供能力、售后服务能力、开放合作能力等软实力对于评判一家企业的实力同样重要,这决定了它能否为客户提供更加全面、灵活且精准的服务。凭借30年对于ICT行业的深耕,以及完整的自研存储产品系列、产品机制、性能上的不断突破和更新、解决方案丰富的适用场景,目前,中兴通讯存储产品已广泛应用于全球40多个国家和地区,获得了金融、电信、互联网等各行业客户的高度认可。 

面向企业数字化转型与大数据的洪流,中兴通讯专注技术,立志成为分布式存储产品的国内领导者,在产品研发、供应链等方面全面发力,为存储产品国产化和企业数字化转型打造坚实底座。 

 

本文来自微信公众号“36氪”(ID:wow36kr),36氪经授权发布。

+1
9

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

蔚来汽车将交付辆下滑归因于零部件供应不足。

2021-09-02

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业