在人工智能领域,一场关于GPT-5的风暴正在悄然酝酿。近期,外媒The Information发布了一系列关于GPT-5诞生背后的故事,让人们对这款备受期待的语言模型有了更深刻的了解。
GPT-5的研发之路并非一路畅通。根据报道,OpenAI在项目推进过程中遇到了人才流失的困境,许多核心研究人员被Meta(脸书母公司)以优厚的薪酬挖走,导致团队内部的组织架构一度陷入混乱。此外,技术难题也成为制约GPT-5发展的瓶颈,尤其是在数据短缺和推理模型的不稳定性方面,研究者们面临了重重挑战。
然而,令人振奋的是,OpenAI近日成功筹集了83亿美元的资金,公司的估值直接飙升至3000亿美元。这笔巨额融资无疑为GPT-5的研发注入了强大的动力,参与此次融资的投资者包括Dragoneer投资集团、Blackstone、TPG、Fidelity、Founders Fund和红杉资本等知名机构。
尽管融资成功,GPT-5的研发之路依然充满挑战。知情人士透露,GPT-5并未实现像GPT-3到GPT-4那样的技术飞跃,其性能提升并不显著。原本被寄予厚望的Orion模型,经过一系列测试后,由于性能未达预期,最终被降级为GPT-4.5,并于今年2月低调上线,随后迅速淡出公众视野。这一失败让OpenAI团队意识到,他们已经触碰到了预训练阶段的天花板。高质量网络数据的日益枯竭以及大模型训练中的技巧失效,都是导致这一结果的重要原因。
即便如此,OpenAI并未放弃。他们开始寻找新的突破口,而“推理模型”成为了他们的新希望。基于一项名为Q*的技术突破,OpenAI开发了一系列推理模型,这些模型在获得更多算力时,能够展现出更佳的性能。这似乎预示着,预训练的性能增长瓶颈即将被克服。
然而,推理模型的发展之路并非一帆风顺。当OpenAI将Q*技术的教师模型转换为学生模型,并推出聊天版本时,性能却显著下降。同样的问题也出现在创建让企业通过API购买的版本中。这主要是因为推理模型理解概念的方式与人类的交流方式大相径庭,导致其在聊天场景中的智能水平下降。
尽管面临重重困难,OpenAI并未放弃对GPT-5的追求。他们正在开发一种“通用验证器”,旨在自动化确保模型在强化学习过程中产生高质量的答案。这项技术有望为GPT-5的性能提升提供有力支持。
与此同时,OpenAI的高管们对GPT-5及未来模型的发展充满信心。他们相信,沿着目前的架构,模型有朝一日能够达到GPT-8的水平。CEO奥特曼也表示,利用现有技术,OpenAI有望创造出通用人工智能(AGI)。
随着GPT-5发布日期的临近,各种泄露和爆料也开始层出不穷。尽管这些消息的真实性有待验证,但它们无疑增加了人们对GPT-5的期待值。在这场人工智能的盛宴中,全球的目光都聚焦于此,期待着GPT-5能够带来前所未有的惊喜。