摘要：Gemini 3预训练负责人Sebastian Borgeaud指出，AI模型竞争的核心已从算法创新转向工程化系统整合。他强调，合成数据是实现代际跃迁的关键方向，但使用时需极度谨慎以避免数据分布偏移。当前行业正从“无限数据”范式转向“有限数据”范式，这促使创新重点转向架构优化、数据质量及评估体系。未来预训练的发展将侧重于长上下文、注意力机制改进、端到端检索训练以及持续学习，同时必须兼顾模型能力提升与服务成本控制。
线索：
* 投资机会：
1. 工程化与系统整合：关注在AI基础设施、训练平台及大规模系统工程能力上具有深厚积累的公司。
2. 合成数据技术：投资于能够生成高质量、可控合成数据，并具备严格验证流程的技术与平台。
3. 高效架构与训练：长上下文处理、更高效的注意力机制、混合专家（MoE）架构以及端到端检索训练是明确的技术演进方向，相关研究与企业存在机会。
4. 评估体系：开发更可靠、能防止数据污染、并能准确预测模型规模化后表现的内部评估工具与基准，将成为关键需求。
5. 持续学习与知识更新：解决基础模型知识固化问题的技术，如高效的检索增强生成（RAG）框架和新型持续学习算法，具有应用前景。
* 潜在风险：
1. 合成数据陷阱：盲目使用合成数据可能导致模型陷入“自嗨”闭环，产生表面性能提升但实际能力未增长甚至退化的风险，需严格的验证机制。
2. 评估失效：依赖易被污染的外部基准进行评估，可能误导研发方向，投资需关注企业是否构建了稳健的内部评估体系。
3. 成本失控：模型能力提升若伴随推理成本急剧增加，将严重影响商业化落地。预训练阶段需提前为最终的服务成本负责。
4. 技术路径依赖：当前主流基于Transformer架构，但“后Transformer”架构的颠覆性创新可能出现，现有技术栈存在被绕过的风险。
5. 数据瓶颈：行业共识转向数据受限环境，如何获取与有效利用高质量数据将成为长期挑战，可能限制模型规模的持续线性扩展。
正文：
2025年11月18日，谷歌发布了大型模型Gemini 3，该模型在多项基准测试中取得了领先结果。谷歌CEO桑达尔·皮查伊称其为“迄今为止最智能的模型”。Google DeepMind研究与深度学习副总裁Oriol Vinyals表示，Gemini 3表现突出的核心在于“更好的预训练”和“更好的后训练”。
近日，Gemini 3的预训练负责人之一、研究员Sebastian Borgeaud在一场播客访谈中，详细阐述了模型背后的研发逻辑与行业见解。
模型成功源于系统工程与持续优化
Borgeaud指出，Gemini 3的飞跃并非单一突破，而是由大量细节改进累积而成。他认为，谷歌的研发重点已从单纯“构建模型”转向“构建系统”，即研究、工程和基础设施的深度整合。Gemini 3是在谷歌自研的TPU上进行训练的，体现了这种端到端的整合优势。预训练工作涉及约150至200人的团队，协调与集成各方工作至关重要。
行业范式转变：从无限数据到有限数据
Borgeaud强调，AI行业正在经历一个根本性转变：从依赖“无限数据”的规模化时代，进入需要应对“数据有限”的新阶段。这促使行业重新思考创新路径。他援引DeepMind早期的Chinchilla项目结论指出，在训练计算量固定的前提下，更快地扩展数据规模，比单纯扩大模型规模更能训练出优质模型，这一结论至今仍关乎模型最终的推理效率与服务成本。
在此背景下，合成数据成为备受关注的解决方案。但Borgeaud态度审慎，认为其核心风险在于可能引发难以察觉的数据分布偏移，导致模型陷入“自嗨”闭环。他建议的稳妥方案是：用强模型生成合成数据后，必须通过小规模可控实验验证其实际收益与潜在副作用。一个尚未解决的核心问题是：用合成数据训练的模型，能否超越生成这些数据的“老师”模型。
预训练的未来方向
针对“预训练缩放定律已死”的讨论，Borgeaud回应称，模型规模依然重要，但架构创新和数据创新的权重已显著提升，甚至更为关键。他展望了预训练未来的几个重点方向：
1. 长上下文与注意力机制：更长的上下文窗口能让模型携带更多信息进行推理，是扩展能力边界的关键。注意力机制的改进是近期研究热点。
2. 端到端检索训练：长期目标是将检索能力深度融入模型训练，使其成为内生能力，而非事后外挂的工具。这可能需要数年时间才能形成稳定范式。
3. 持续学习：当前基础模型在预训练结束后知识即固化。可行的短期方案是在推理时通过检索接入最新信息。更远期的目标是改变训练方式，使模型能在真实世界数据流上持续更新。
4. 评估体系：Borgeaud将评估视为预训练的核心难题。可靠的内部评估体系至关重要，因为外部基准易被污染。评估需跨越两道鸿沟：小规模实验的有效改进能否迁移至大模型；预训练阶段的优势能否在后训练后转化为实用能力。
5. 服务成本：随着用户规模扩大，推理成本变得敏感。预训练必须在提升模型能力的同时，考虑如何降低最终的服务成本。
架构与数据细节
Gemini 3是基于Transformer的混合专家模型。其“混合专家”设计旨在解耦计算量与参数规模，通过动态路由提高效率。该模型为原生多模态设计，使用同一神经网络处理文本、图像等多种模态数据，其训练数据也从一开始就混合了多种来源。
对竞争与未来的看法
Borgeaud认为，尽管各大实验室的底层技术相似，但在专业化上各有侧重。要在Gemini这类模型上取得进展，确实需要大规模团队和资源，但颠覆性研究仍可能由更小团队实现。谷歌和DeepMind内部有团队在研究“后Transformer”架构。
对于模型是否变得更智能，他基于两点判断：一是前沿基准测试难度在增加而模型表现仍在提升；二是内部使用模型提升生产力的案例在不断增加。他预计未来几年AI将助力重大科学发现，并更深入地融入日常生活，且这种进步势头至少在未来一年内不会放缓。
发布时间：2025-12-26 20:19:26
评论 ( 0 )