数据：
全球网友利用闲置显卡组团训练出40B参数大语言模型Consilience，使用了20万亿token，打破互联网最大预训练规模纪录，标志着去中心化AI训练的开始。
线索：
去中心化的AI训练模式可能会破坏大型科技公司的算力垄断，创造新的投资机会，但也伴随着技术和市场变革带来的不确定性。当前的带宽瓶颈和算法有效性是实施去中心化训练的主要挑战。
正文：
互联网迎来了最大规模的AI预训练。Nous Research推出了Psyche网络，通过去中心化的模式来改革AI训练，成功启动了40B参数的Consilience大语言模型的预训练任务，总计使用20万亿token，创下预训练的新纪录。Psyche网络通过区块链技术汇集全球计算资源，为AI模型训练大幅降低成本。
在技术上，Consilience大语言模型采用了DeepSeek V3架构，表达能力更强，计算开销也得到了优化。Psyche网络的使用使得各类消费级GPU的闲置计算资源得以利用，避开了大型科技公司在AI模型训练中的资源垄断。通过并行实验，Psyche激励开源社区开发新模型架构和训练方法，未来有望带来更多创新。
近年来，AI模型的训练逐渐由大型科技公司掌控，要求大量高性能GPU和高带宽集群，这使得小型团队无法参与。这一集中化趋势限制了创新，并可能导致科技公司对AI模型的操控。Nous Research通过Psyche网络希望打破这种“算力墙”，实现AI训练的去中心化，推动AI发展的民主化。
然而，去中心化训练面临的挑战之一是网络带宽。在传统数据中心，GPU间有极高带宽连接，而志愿者节点的连接往往较低。质疑者认为这种带宽差距会让跨互联网的AI训练几乎不可能。为此，Nous提出了DisTrO技术，使得训练节点能够保持高度同步，并将所需带宽降低1,000到10,000倍。
Nous并未一开始就接受区块链技术，而是被现实问题推向这一领域。他们需要一种不受集中控制且公平的支付和资源协调机制，而区块链技术恰好能满足。这使得Psyche网络不仅是去中心化训练的实践，也是对集中化计算的有效应对。
发布时间：
2025-05-27 09:43:21
评论 ( 0 )