基础设施
存储系统
存储系统覆盖HDD、SSD、NVMe、本地盘、分布式存储和高带宽内存。AI场景既需要训练数据的海量吞吐,也需要推理阶段对模型权重和KV Cache的快速读写。
核心要点
- 介质层次:HDD容量低成本,SSD/NVMe提供高IOPS和低延迟,HBM面向AI加速器高带宽访问
- RAID与冗余:通过RAID、纠删码、副本机制在性能、容量和可靠性之间取舍
- 训练数据:大规模训练需要高吞吐对象存储、并行文件系统或数据湖支撑样本持续供给
- 推理数据:模型权重加载、Embedding索引和KV Cache会影响冷启动、并发和端到端延迟
- 运维指标:关注IOPS、吞吐、延迟、容量利用率、故障域和数据恢复时间