数据:
现有大型语言模型参数数千亿至万亿,训练和推理成本高昂;Fastino通过低端GPU以低于10万美元成本训练出任务特定语言模型(TLMs),在特定任务上性能媲美大型模型,推理速度快99倍;近期获得1750万美元种子轮融资,总融资近2500万美元。
线索:
Fastino的出现为需要高并发和低延迟的企业提供了一种新的解决方案,可能会影响当前市场中大模型的主导地位。投资者需关注低成本小模型的市场潜力与竞争优势,及其对大模型企业造成的挑战。
正文:
当前,许多顶尖的大型语言模型(SOTA)虽具有强大智能,且在部分任务上已能达到或超越人类水平,但它们的参数量通常达到数千亿甚至万亿,导致高昂的训练和推理成本。这使得在某些相对简单、需要并发处理的任务中,企业和开发者使用这些大型模型的性价比并不高。
Fastino是一家新兴初创公司,专注于通过在低端游戏GPU上以低于10万美元的成本训练任务特定语言模型(TLMs),这些小型模型在特定任务上能够与大型语言模型相媲美,且推理速度快99倍。最近,Fastino完成了由Khosla Ventures领投的1750万美元种子轮融资,总融资接近2500万美元。
该公司的创始人Ash Lewis和George Hurn-Maloney是连续创业者,曾创办多个AI相关企业,并组建了一支来自谷歌DeepMind、斯坦福大学、卡内基梅隆大学及苹果智能的技术团队,以推动模型技术创新。Fastino的TLM模型强调高精度与轻量化,专为需要低延迟和高准确性的AI应用而设计。
基于Scaling Law的研究结果,大规模模型虽在智能上不断进步,但体量大、运算成本高,尤其在商业化推理中,可能会面临更高的运行成本。即使是融资数十亿美元的公司,也面临着用户增加带来的成本上升,导致其无法实现盈利。创始人Lewis曾表示,他们的上一家公司因基础设施成本升高而促使了对TLM的研发,意在降低运营成本。
除了运行成本外,模型通用性与专用性的矛盾也是一大挑战。大模型虽然智能高,但是在一些专门任务上并不一定表现最佳,Fastino的TLM则专注于特定应用场景以提高性能。
如今,Fastino的TLM不再是单一模型,而是根据不同用例开发的一系列模型,能够胜任文本摘要、功能调用、文本转JSON、PII屏蔽等多项任务。其采用的订阅模式也使得价格对企业和开发者友好,每月第一万次请求为免费,并提供不同的用户计划。
Fastino的模型灵活性和低成本,能够在多个行业内发挥作用,从金融和医疗文档解析到电子商务中的搜索查询智能,甚至一些财富500强企业也开始利用这些模型来优化运营。
小模型的发展不仅是Fastino的独特机会,在市场中,其他厂商也在提供类似解决方案解决企业的高成本和高延迟问题,这为整个AI市场带来了新的竞争格局,特别是在企业应用需求日益增高的背景下。
发布时间:
2025-05-14 17:41:07
评论 ( 0 )