要点：
1. 对一个5000亿参数规模的大模型进行充分训练所需算力基础设施约为10亿美元，每年消耗电费约为人民币5.3亿元。
2. MoE（混合专家模型）是一种优化大模型推理成本的解决方案，已受众多厂商采用。
3. 浪潮信息发布的“源2.0-M32”开源大模型采用MoE架构，大幅提升了模型算力效率，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
4. 大模型训练过程中70%的开销要花在算力上，推理过程中95%的花费也是在算力上。
5. 利用已有超算系统的空余算力可降低大模型训练成本。
6. 未来整个行业的大模型推理成本有望每年降低十倍。
利好：
1. 电力（算力基础设施耗电） 90
2. 通信设备（模型推理需要算力） 85
利空：
1. 电力：-85
2. 光伏设备：-82
3. 风电设备：-82
标签：大模型、训练成本、推理成本、算力、MoE架构、超算空闲算力
原文发布时间：2024-06-03T13:56:00