大普微与华科大合作论文“ADT-FSE”被ACM/IEEE SC'23全球超算大会录用
大普微电子与华科大吴非教授团队合作的论文ADT-FSE被高性能计算领域旗舰会议SC’23录用!
这项研究解决了SZ压缩器的两大难题:
1. SZ压缩器在小文件压缩率
2. SZ压缩器的解压速度
这为SZ提供了新的优化方向,为科学数据压缩研究提供了新的技术手段。这也是大普微电子创新驱动工程、工程反哺创新研发方法论有效性的一次明证。
01 研究背景
SZ是目前最优秀、最有影响力的浮点数据有损压缩器之一,被广泛部署在美国阿贡国家实验室和橡树岭国家实验室成千上万的高性能计算节点上,包括世界最快的OLCF-5 Frontier Exascale Supercomputer(百亿亿次级超级计算机)。然而,SZ并不完美,它存在着两个突出的性能问题:小文件无法获得良好的压缩率;任意大小的文件解压都较慢。这些问题严重限制了SZ在高性能计算、时序数据库和深度学习模型等领域中大量浮点数据的存储传输性能。
02 研究贡献总结
我们发现SZ用来压缩量化因子的核心编码模块需要构建和存储哈夫曼树,并且解码过程需要遍历哈夫曼树,这会增加额外的时间和空间开销,导致总体性能欠佳。编码器模块的优化需要深入理解上游模块的算法设计、了解数据特征,并且现有实现是基于经典的哈夫曼编码,很难进行有效的改进和替换。我们提出了一种新的量化因子编码器ADT-FSE,设计自适应数据转码(ADT)机制与无树的有限状态熵 (FSE) 编码器进行集成,替代了SZ的哈夫曼编码器,因此是一个根本性的突破。
我们将ADT-FSE编码器集成到SZ中,并使用多种数据集和案例进行性能评估。结果显示,在文件较小(< 10MB)的情况下,ADT-FSE相比SZ-Huffman最多可以将量化因子的压缩率提升5倍,压缩解压速度分别提升2倍和8倍。另外,原本SZ的解压速度在很多情况下只有ZFP的50%左右,集成ADT-FSE编码器的SZ在上述情况下可以反超ZFP高达30%。
我们的研究贡献可以总结为三点:
1. 确认基于树的哈夫曼编码器是SZ小文件压缩率和总体解压性能的瓶颈,并提出了ADT-FSE编码器来解决这个问题。
2. 设计自适应数据转码机制(ADT),并与FSE熵编码器进行集成(ADT-FSE),替换现有的哈夫曼编码器以优化SZ量化因子的压缩率和执行速度。
3. 将ADT-FSE编码器集成到SZ中,实证压缩率和解压吞吐量有显著改善,并且没有任何已知的副作用,可以和所有其他的SZ优化共存。
ADT-FSE是联合研究团队在无损压缩算法工程实践中的一次妙手偶得,展示了我们团队在数据存储、编码、压缩领域的深厚工程积累和卓越创新能力。ADT-FSE的源代码以及测试可重复性已经得到SC会议Artifact评审团队的确认。SZ的发明人,美国阿贡国家实验室的高级研究员狄盛博士对此项研究给予高度评价,已经跟我们取得联系,希望在独立评估后将ADT-FSE正式整合进SZ。我们将积极推动ADT-FSE成为SZ算法的标准组成部分,为全球高性能计算、时序数据库、以及深度学习的数据存储技术发展做出贡献。
我们期待着与更多的研究者和工程师分享我们的研究成果和经验,共同推动数据编码和压缩领域的发展。我们邀请感兴趣的读者关注大普微电子的最新技术进展,与我们进行深入交流和探讨。
SC (International Conference for High Performance Computing, Networking, Storage, and Analysis)是高性能计算,体系结构领域顶级会议,也是CCF(中国计算机学会)推荐A类会议,致力于探讨全球IT科技领域在高性能计算、网络、存储及分析方面的最新技术、产品和发展趋势。本届SC计划于2023年11月12至17日在美国丹佛举行。
本次录用论文信息如下:
Tao Lu, Yu Zhong, Zibin Sun, Xiang Chen, You Zhou, Fei Wu, Ying Yang, Yunxin Huang, Yafei Yang, ADT-FSE: A New Encoder for SZ. The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC’23), 2023