HDF5格式概述
HDF5（Hierarchical Data Format version 5，分层数据格式第5版） 是一种通用、高性能的数据格式，专为存储大规模、复杂且异构的数据而设计，广泛应用于科学计算、机器学习和大规模分析场景。
1. 核心特性
分层结构
- HDF5 将数据组织为类文件系统的组（groups） 和数据集（datasets） 层级结构。
- 组（groups）类似目录，数据集（datasets）类似包含数组或表格的文件。
- 支持嵌套分层结构，适配复杂数据的组织需求。
多维数组支持
- 数据集可存储多维数组（1维、2维、3维……），支持数值型或字符串型数据。
- 支持分块（chunking） 机制，实现部分I/O操作，可高效访问大型数组的子集。
元数据支持
- 可向组或数据集附加属性（attributes），用于存储描述性元数据。
- 适用于标记数据集的含义、单位、时间戳或溯源信息等场景。
压缩与存储效率
- 内置支持压缩过滤器（gzip、szip等）和数据类型转换功能。
- 可高效存储超大规模数据集，且不影响数据的可访问性。
跨平台与多语言支持
- 提供C、C++、Python（h5py库）、Java等多种语言的原生库。
- 生成的文件具备跨架构可移植性。
2. 适用场景
科学计算
- 存储大规模模拟数据（如物理、气候、基因组学领域）。
- 组织包含多个数据集和时间序列的实验数据。
机器学习/人工智能
- 高效存储大规模特征数组、嵌入向量或训练数据集。
- 支持增量读写，适配高性能流水线场景。
数据归档
- 集中存储带元数据的异构数据集，满足长期访问需求。
- 适用于研究机构和数据仓库场景。
部分数据访问
- 支持选择性读取数据块或数据切片，无需将整个文件加载到内存。
3. 在Kumo中的集成
在Kumo Stack中，HDF5通常用于：
- 大规模结构化数据存储
- 批处理流水线的中间数据集存储
- 不同处理阶段间的多维数组共享
集成注意事项：
- 处理超大型数组时，使用分块数据集以降低I/O开销
- 将元数据存储为属性，简化下游处理流程
- 高性能计算（HPC）或云环境的多节点流水线场景，可考虑使用并行HDF5
4. 性能说明
I/O吞吐量
- 分块与压缩机制可平衡读写速度与磁盘占用空间
- 并行HDF5支持集群或云存储场景下的分布式读写
内存使用
- 部分读取功能避免将整个数据集加载到内存
- 高效支持数GB或TB级文件的处理
兼容性
- 广泛兼容科学计算与机器学习框架（NumPy、PyTorch、TensorFlow、Pandas）