ReadCai财经资讯
当前位置:首页 » 12. 金融 » 金融科技

研究提升大型语言模型预测能力,助力金融市场

2025-02-28

数据:

LLM通过自我博弈和直接偏好优化技术,摆脱了对人工输入的过度依赖,预测准确性比基础模型提高7-10%,与大型模型相媲美。研究者从Polymarket收集12100个预测问题,微调后的Phi-4 14B的平均Brier分数为0.200,DeepSeek-R1 14B为0.197。

线索:

LLM提高预测能力的研究可能导致多个投资机会,如金融市场的自动交易系统、商业预测工具和数据分析服务。企业能够提前布局,提升市场竞争力。同时,过度依赖LLM的决策也存在风险,可能导致错误的判断和经济损失。

正文:

最近,自然语言处理领域的研究者发现,LLM(大型语言模型)通过自我学习的方式,显著提升了其预测未来事件的能力。这一研究由Lightning Rod Labs和伦敦政治经济学院的团队进行,涉及到对模型进行一系列微调和训练的尝试。

ανθρώπους在预测时会综合考虑众多信息,提炼出准确信息。而在金融领域,准确的预测帮助投资者把握市场时机,进而获利。在商业领域,市场需求的准确预测帮助企业优化产品布局和提升市场份额。为了增强LLM在这些方面的预测能力,研究者们进行了多种方法的探索,例如数据聚合和模型微调,但结果都是在一定程度上依赖人工数据,效率低下且成本高昂。

为了解决这一困境,研究人员提出了一种结果驱动的微调框架,使得LLM能通过自我博弈生成不同的推理轨迹和概率预测,相关的推理将根据预测准确性进行排序,并通过直接偏好优化(DPO)技术进行微调。

研究者从Polymarket收集了12100个二元结果预测问题,并将其分为训练集和测试集。利用DPO方法,将Phi-4 14B和DeepSeek-R1 14B模型进行微调,最终实现了显著的预测准确率提升。经过一系列的测试,研究发现微调后的模型的准确率较基础模型提高了7-10%,并且与一些大型模型相差无几。

该研究开辟了LLM提升预测能力的新途径,使这些模型在不依赖于庞大的人工标注数据的情况下,也能学习并优化自身的预测能力,真正实现了“小模型”能达到“大模型”的预测性能,扩展了其应用的实际价值。

发布时间:

2025-02-25 12:01:26

相关推荐

评论 ( 0 )

3.2 W

文章

58.9 W

点赞

回顶部