DapuStor & Pliops 为业务应用提供更快的 key-value 操作
Kvrocks 是百度、携程、美图、RGYUN、U-NEXT 和白山云等知名企业数据存储业务的基石。这款开源的分布式键值(NoSQL)数据库,擅长管理和处理大规模数据集。Kvrocks 使用RocksDB进行存储,兼容 Redis 协议,是 Redis 的替代品。作为一种持久性键值存储,它在处理大规模数据时能显著节省内存成本。
当数据量达到 PB 级时,由于 RocksDB 引擎所使用的 LSMT(Log Structured Merge Tree)的固有限制,性能和延迟难以满足SLA的要求。此外,还无法充分利用存储设备,如DapuStor R5系列SSD所能提供的高IOPS和低延迟。为了克服这些障碍,优化基础设施和提高运营效率至关重要。这些措施不仅有效降低了数据存储成本,还通过确保快速响应和高可靠性,显著提升了客户体验。
01 Pliops 联合 DapuStor 推出解决方案
DapuStor 和 Pliops 作为各自领域的领先企业,以卓越的key-value存储推动 Kvrocks 的发展,力求在性能、可扩展性和 QoS 方面超越客户的期望。由DapuStor的固态硬盘与Pliops的AccelKV做为底层支撑的XDP-Rocks库,为Kvrocks的用户提供了无与伦比的优势。XDP-Rocks 库扩展了 RocksDB 的功能,优化了Kvrocks集成,具有高效数据操作和高级数据集扫描等功能,对强大的数据检索至关重要。
02 性能评估
Dbbench 基准测试用于比较由 Pliops 和Dapustor联合解决方案加速的 Kvrocks 与开源 RocksDB 的性能差异。评估涵盖了各种工作负载--覆盖写入、只读和混合--利用多线程来测量吞吐量和延迟。标准对象大小为 256 字节,压缩率为50%,提供了一致的比较框架。分析涉及12亿个对象的数据集,占用 823GB 的存储空间,展示了 Pliops Accel KV 如何提高数据库效率和响应速度。容量为3.84TB的DapuStor R5101 固态硬盘与 Pliops XDP 搭配使用,是此次性能评估的关键。
如下是硬件和软件的详细情况。
03 测评结果
与 RocksDB 的 512GB 内存配置相比,Pliops XDP-Rocks 的 64GB 内存配置表现出显著的性能优势。当用户线程从16个增加到128个时,XDP-Rocks 的吞吐量从1.2倍猛增到2.7倍。与此同时,延迟也大幅下降,降幅在66%到87%之间,凸显了 XDP-Rocks 卓越的可扩展性和效率。这种精简的配置不仅提高了性能,还将内存需求削减了惊人的 448GB,体现了高效率与资源优化的完美融合。
在混合工作负载(70R:30W)场景中,XDP-Rocks 的表现优于 RocksDB,当用户线程从16个增加到 128个时,吞吐量收益从1.05倍增加到2.4倍。相应地,延迟降低了10%到28%,充分展示了XDP-Rocks的效率和可扩展性。
在读密集型的工作负载场景中,Pliops XDP-Rocks 和 RocksDB 均使用64GB内存。随着用户线程数从 16个增加到128个,XDP-Rocks 的吞吐量优势从 1.5倍上升到1.87倍。同时,延迟也显著下降,从 1.89 倍下降到 2 倍,这突出表明了 XDP Rocks 的可扩展性和效率。这些结果不仅显示了性能的提升,还显示了延迟的明显降低,展示了 XDP-Rocks 配置的双重优势。
04 结论
使用 Dbbench 基准对硬件加速的 XDP-Rocks 和RocksDB 进行了广泛的性能评估。这项评估涉及到大量数据集,包括1.2亿个数据对象,为深入了解系统的能力提供了宝贵的资料。研究结果表明,硬件加速的XDP-Rocks的性能比传统 RocksDB 高出两倍。此外,它还增强了用户的可扩展性,提高了 Kvrocks 应用程序的系统效率。
联合方案最显著的优势之一是其对服务质量(QoS)的影响。在 QoS 对提供卓越客户体验至关重要的情况下,它尤为有益。
性能加速: XDP-Rocks为多样的工作负载提供2倍的性能加速-混合负载、读密集型负载。
减少延迟: 结果表明,尾部延迟有可能减少,从而加快数据访问速度,提高整体性能。
成本效益高: 可利用现有基础设施并且减少对更大内存容量的需求,从而为大规模数据管理提供经济高效的解决方案。
性能可扩展性: 从 16 个用户线程到256 个线程,都能有效提升性能,这表明解决方案具有高度可扩展性,适合不断增长的用户并发需求。
易于集成: XDP- Rocks 可与RocksDB API 兼容,从而更容易集成到现有应用程序中而不涉及大量修改。
节省总体拥有成本: 由于性能加速,价格与性能的比值降低53%。
在这一严格的测试环境中,DapuStor R5系列 固态硬盘与 Pliops XDP Accel KV 配合使用,这种组合有助于将系统的运行能力推向极致。评估结果表明,Pliops KV 在各种应用(尤其是 Kvrocks)中,是传统 RocksDB 实现的可行且更优越的替代方案。
关于大普微
深圳大普微电子(DapuStor),成立于2016年,是国内领先、国际一流的企业级SSD主控芯片设计、SSD产品及存储方案提供商。公司具备从芯片设计到存储产品量产交付的全栈能力;作为国家级高新技术企业、国家级知识产权示范企业及国家级“专精特新小巨人”企业,公司以推动中国"存算一体"与"智能存储"产业发展为己任。
团队规模约400人,其中超过70%为研发人员。公司已申请或授予的国内外发明专利超过300项,并获得多个国家级专利奖项。基于自主研发的DP系列主控芯片及固件,公司的企业级SSD产品及方案从Gen3到Gen5,已广泛应用于国内外云计算、互联网、电信运营商及金融等行业的数据中心。
关于Pliops
Pliops成立于2017年,由数据架构专家创立,公司推出了能够出色解决庞大数据增长与现有计算和存储系统不足的问题的解决方案。
Pliops曾荣获数据突破奖项目的 "年度闪存解决方案 "奖,CRN将Pliops评为2020年最热门的10家半导体初创企业之一。而Pliops的以色列和美国团队正在与世界领先的技术合作,以实现彻底改革数据处理领域的愿景。Pliops的全球投资者包括KDT、State of Mind Ventures Momentum、英特尔资本、Viola Ventures、软银亚洲风投、Expon Capital、英伟达、AMD、西部数据、SK Hynix和Alicorn。