Apache Arrow / Feather
类型：内存中列式格式 / 文件交换格式
概述
Apache Arrow 是一种跨语言的内存中列式数据格式，专为高性能分析及系统间零拷贝互操作设计。Arrow 既定义了内存布局规范，也提供了轻量级文件格式（Feather），用于磁盘存储与数据交换。
Arrow 采用列式存储架构，即每列数据在内存中连续存储，支持：
- 基于列批次的向量化计算
- 适配 CPU 缓存和 SIMD 指令的访问模式
- 高效的数据压缩与编码
Arrow 还支持零拷贝访问，数据可在不同进程或语言（C++、Python、Java、Rust 等）间共享，无需承担序列化/反序列化开销。
核心特性
- 内存布局：标准化、对齐的内存结构，支持为每列配置可选空值位图（用于标记缺失值）
- 列式存储：每列独立连续存储，可单独访问列数据
- 数据类型：支持基本类型（整数、浮点数）、变长类型（字符串、二进制数据）、时间戳、十进制数及嵌套类型（结构体、列表、映射）
- Feather 文件：轻量级磁盘格式，适用于数据持久化与跨语言交换
- 批次化处理：通过 RecordBatches（记录批次）对多行数据进行列式分组存储，优化 CPU 与 I/O 吞吐量
- 跨语言支持：提供 C++、Python、Java、R、Go、Rust 等多语言 API
性能优势
- 零拷贝读取：数据在进程/语言间共享时无需拷贝，消除序列化/反序列化开销
- 向量化处理：支持 SIMD 加速，尤其适用于数值计算场景
- 高效压缩：Arrow 对磁盘/文件格式支持可选压缩（LZ4、ZSTD）
- 高 I/O 吞吐量：适配高吞吐分析工作负载；Feather 文件通常比 CSV 等行式格式更小、读写速度更快
示例基准测试
| 操作 | Arrow / Feather（Python） | CSV | 说明 |
|---|---|---|---|
| 读取 1000万行×10列数据 | 约 0.4 秒 | 约 4 秒 | 列式格式使读取速度提升 10 倍 |
| 写入 1000万行×10列数据 | 约 0.5 秒 | 约 4.5 秒 | Feather 格式轻量，序列化开销极小 |
实际性能数据取决于硬件配置、压缩算法及语言绑定实现。
集成场景与应用
- 内存中分析流水线：Arrow 缓冲区支持无拷贝开销的高效计算
- ETL / 数据交换：Feather 文件是跨语言数据共享的高效选择
- 机器学习流水线：Arrow 数组可直接输入向量化机器学习计算
- 数据库引擎：众多现代数据库（如 Velox、DuckDB）采用 Arrow 作为内部列式存储格式
运维注意事项
- 内存管理：Arrow 数组可能占用大量内存，需确保进程内存充足
- 线程安全：读取操作通常线程安全；写入/更新操作需注意并发控制
- 磁盘持久化：Feather 文件具备良好可移植性，超大规模数据集建议采用分区或分块存储，避免内存压力
- 压缩权衡：高压缩比可减少磁盘 I/O，但会增加 CPU 开销