据小米汽车7月2日消息,7月1日起,小米SU7系列交付进一步加速,锁单后预计交付周期最高可缩短5周。上证报中国证券网讯据小米汽车7月2日消息,7月1日...
2024-09-19 617 小米汽车月日起小米系列锁单后预计交付周期最高可缩短周
IT之家7月16日消息,微软首席技术官(CTO)凯文・斯科特(KevinScott)上周在接受红杉资本旗下播客采访时,重申了他坚信大型语言模型(LLM)的“规模定律”将继续推动人工智能进步的观点,尽管该领域一些人怀疑进步已经停滞。斯科特在推动微软与OpenAI达成130亿美元的技术共享协议方面发挥了关键作用。
斯科特表示:“其他人可能持不同观点,但我认为规模化并未达到边际收益递减的临界点。我想让人们理解这里存在着一个指数级提升的过程,遗憾的是,你只能每隔几年才能看到一次,因为建造超级计算机然后用它们训练模型都需要时间。”
2020年,OpenAI研究人员探索了LLM的“规模定律”,该定律表明,微软坚信大型语言模型的规模定律依然奏效,未来可期随着模型变得更大(参数更多)、训练数据更多以及拥有更强大的计算能力,语言模型的性能往往会呈可预测的提升。这一定律意味着,仅仅增加模型规模和训练数据,就能够显著提升人工智能能力,而无需取得根本性的算法突破。
然而,此后也有其他研究人员对“规模定律”的长期有效性提出质疑。不过,该概念仍是OpenAI人工智能研发理念的基石。斯科特所持的乐观态度与部分人工智能领域批评人士的观点形成鲜明对比,一些人认为,大型语言模型的进步在类似GPT-4的模型级别已经停滞不前。这种观点主要基于对谷歌Gemini1.5Pro、Anthropic的ClaudeOpus以及OpenAI的GPT-4o等最新模型的非正式观察和一些基准测试结果。一些人认为,这些模型并没有像前几代模型那样取得飞跃性的进步,大型语言模型的发展可能正在接近“边际收益递减”的阶段。
IT之家注意到,人工智能领域著名批评人士GaryMarcus在今年4月写道:“GPT-3明显优于GPT-2,GPT-4(发布于13个月前)也明显强于GPT-3。但之后呢?”
斯科特所持的立场表明,像微软这样的科技巨头仍然认为投资大型人工智能模型是合理的,他们押注于持续取得突破。考虑到微软对OpenAI的投资以及大力营销自家的人工智能协作工具“MicrosoftCopilot”,该公司强烈希望维持人工智能领域持续进步的公众认知,即使技术本身可能遇到瓶颈。
另一位人工智能领域知名批评人士EdZitron最近在其博客上写道,有些人支持继续投资生成式人工智能的一个理由是,“OpenAI掌握着我们不知道的某种技术,一项强大而神秘的技术,能够彻底击溃所有怀疑者的质疑。”他写道,“但事实并非如此。”
公众对大型语言模型能力提升放缓的认知,以及基准测试的结果,部分原因可能在于人工智能最近才进入公众视野,而事实上,大型语言模型已经发展多年。OpenAI在2020年发布GPT-3之后的三年中一直持续研发大型语言模型,直到2023年发布GPT-4。许多人可能是在2022年底利用GPT-3.5开发的聊天机器人ChatGPT上线后才开始意识到类似GPT-3的模型的强大功能,因此在2023年GPT-4发布时才会觉得能力提升巨大。
斯科特在采访中反驳了人工智能进步停滞的观点,但他同时也承认,由于新模型往往需要数年才能开发,因此该领域的数据点更新的确较慢。尽管如此,斯科特仍然对未来版本的改进充满信心,尤其是在当前模型表现不佳的领域。
“下一个突破即将到来,我无法确切地预测它何时出现,也不知道它会取得多大的进步,但它几乎肯定会改善目前那些不够完善的方面,比如模型的成本过高或过于脆弱,让人难以放心使用,”斯科特在采访中表示,“所有这些方面都会得到改善,成本会降低,模型会变得更加稳定。届时,我们将能够实现更加复杂的功能。这正是每一代大型语言模型通过规模化所取得的成就。”
相关文章
据小米汽车7月2日消息,7月1日起,小米SU7系列交付进一步加速,锁单后预计交付周期最高可缩短5周。上证报中国证券网讯据小米汽车7月2日消息,7月1日...
2024-09-19 617 小米汽车月日起小米系列锁单后预计交付周期最高可缩短周
多年前的老科幻电影,《黑客帝国》中有这样一个场景,尼奥第一次见到黑客帝国的船员时,他们端上了一碗烂碎的糊状食物,那是“单细胞蛋白质与合成氨基酸、维生素...
2024-09-19 546 给厨房添加情绪价值的竟然是?
丰田卡罗拉作为全球最畅销的车型之一,凭借其卓越的性能、可靠的品质和出色的燃油经济性赢得了广大消费者的青睐,即便是这样一款广受好评的汽车,在使用过程中也...
2024-09-19 6
在中国的体育界,足球一直是一个备受关注的项目,对于中国足球的批评之声也从未停止过,作为中国奥委会副主席,我们应该以更加积极的态度来看待中国足球的发展,...
2024-09-19 4
在当今这个科技飞速发展的时代,汽车不仅是交通工具,更成为了展现个人品味和生活方式的重要载体,大众CC作为大众汽车旗下的一款高端轿跑车,自2008年首次...
2024-09-19 6
在汽车工业领域,发动机作为车辆的“心脏”,其性能直接影响着汽车的动力性、经济性和环保性,随着全球对节能减排的日益重视,以及新能源汽车市场的快速崛起,传...
2024-09-19 5
随着科技的飞速发展,手机市场也在不断推陈出新,各种创新科技层出不穷,折叠屏手机作为近年来的一大亮点,备受消费者关注,小米三折叠屏手机的专利曝光,再次引...
2024-09-19 5
在现代汽车工业中,发动机技术的发展一直是推动汽车产业进步的关键因素之一,“压缩比”作为衡量发动机性能的重要指标,对汽车的动力输出、燃油经济性和排放特性...
2024-09-19 5