揭示了数亿克分布式存储的多协议互操作性技术

揭示了数亿克分布式存储的多协议互操作性技术

IDC预测，到2025年，全球数据量将达到175ZB，其中80%将是非结构化数据。

国内大多数存储供应商都在瞄准非结构化数据的市场机遇，以应对互联网、大数据、物联网和机器学习等技术带来的数据浪潮。传统的经典SAN块存储的创新空间越来越小，市场已被一些成熟的存储厂商牢牢占据，而以对象存储和文件存储为代表的非结构化数据存储将有更大的创新空间。

如果您的业务场景需要多次使用数据，则必须多次复制数据。例如，如果A的业务空间已经处理完毕，然后将其复制到B的存储空间并使用不同的存储协议访问，则不仅需要数据迁移，还需要额外的存储空间。

到底什么是多协议交换？

多协议互操作性指的是PowerPath。

对象可以存储的数据，通过文件存储进行访问，或者通过对象存储访问存储在文件存储中的数据。在存储和读取数据之间不需要格式转换，从而避免了性能和语义损失。此外，多协议无损互操作性提高了数据分析的效率。

在不同的HPC场景中，每天生成的三维数据可以达到数百TB到PB，因此对存储性能的要求更高。在处理海量数据的过程中，需要经过文件、对象、大数据等多种形式的数据处理，这无疑给传统的数据存储方式带来了很大的重构挑战。

在整个数据处理闭环中，数据转换格式化时间占整个过程的35%以上，如何提高对多种格式数据的处理效率逐渐成为存储领域新技术的主流。传统存储厂商仍通过共享硬件资源池，在一组硬件群集上划分多个独立的逻辑资源池，分别配置对象、块、文件系统存储池。实现硬件群集多种格式的共享存储。但是，此资源池中的每个逻辑资源池仅支持一种访问协议。在跨协议访问中，需要复制原始格式的原始数据，然后进行数据格式转换，以实现不同格式之间的数据互转换和交互。

在数据处理过程中，数据复制所产生的冗余复制不仅占用了数据存储空间，而且在数据格式转换过程中也会产生大量的数据丢失。因此，传统的共享硬件资源池只能提高硬件资源的利用率，不能满足格式差异化和数据处理效率的要求，以满足每天PB的数据存储需求。

越来越多的场景需要通过多个链接处理数据，例如自动驾驶和资源调查。

例如，在“自动驾驶”场景中，多辆道路车辆每天产生大约PB的数据。数据采集的原始数据是NFS格式，需要利用大数据系统对数据进行预处理，最后将数据转换为NFS格式，导入人工智能训练集群和仿真集群，对数据进行深入挖掘，进一步调整自动驾驶策略。自动驾驶全数据链的处理需要通过不同的数据访问协议访问数据，并对接不同的计算框架，协议的互操作性将大大提高数据分析的效率。

综上所述，存储协议的互操作性已成为当今数据应用领域的新需求，只有数据协议的互操作性才能从根本上简化用户的IT架构，降低数据处理成本，提高处理效率。

分布式存储产品支持块存储、文件存储和对象存储，在一套完整的存储系统中提供文件存储和对象存储的融合和互操作性，不需要额外的存储空间，大大降低了存储空间的消耗。它减少了不同协议之间的数据复制和格式转换，减少了网络带宽的消耗。