在互联网的海洋中，关于不明飞行物（Unidentified Flying Object, UFO）的信息如繁星般点缀其间，近年来，随着技术的进步和公众...
2024-09-21 2
比省电倍研训练模型新方法
经验
2024年08月16日 01:06 570
admin
人工智能为人类带来便利性的同时也对能源造成负担，有数据指出ChatGPT一天用超过50万度电，而每处理5-50个提示就会消耗接近半公升水冷却运算系统，情况令人堪忧。有见及此，GoogleDeepMind研究团队近日提出一种加快人工智能训练的新方法，使用多模态对比学习与联合范例选择（JEST）能大大减少训练人工智能所需的计算资源和时间，其迭代次数比现在少13倍而运算量也少10倍，成功超越最先进的模型。
根据GoogleDeepMind研究团队发布的研究报告，数据品质是预训练表现的重要驱动因素。Phi-3、Gemma2等模型表明，更少但高品质的数据可以实现更强大的性能。若要筛选出高品质的数据，关键是需创建有效的数据渠道。现在大致分为手动管理和基于模型的数据管理方法，但前者成本高且难以扩展，而后者则有望为多模态大规模语言模型（LLM）实现ScalingLaw。
研究团队发布的JEST原理简单易懂，模型会从“超级batch”中筛选出“子batch”，能显著提升学习效率。研究数据指出，当过滤90%的数据时，JEST可提升6%性能，而在以运算为代价来最大化训练速度或效率的情况下，JEST相对于可比较的IID训练运行可加速13倍。
研究报告展示JEST数据品质引导的巨大潜力，即使小规模的精选数据集也能指导对更大未经管理的数据集的学习，比省电倍研训练模型新方法为人工智能和多模态模型的发展开创新方向。
数据源：Tom'sHardware
标签： 比省电倍研训练模型新方法
相关文章
- 详细阅读
-
支持星闪连接，华为星跃鼠标通过蓝牙认证详细阅读
IT之家6月24日消息，支持星闪连接，华为星跃鼠标通过蓝牙认证华为星跃鼠标GT今日通过蓝牙认证，支持星闪NearLink与蓝牙5.4连接。认证信息显示...
2024-09-20 498 支持星闪连接华为星跃鼠标通过蓝牙认证
-
科技视角下的十四五规划，中国科技发展蓝图详细阅读
在“十四五”规划中，科技创新被提升至前所未有的高度，规划明确提出要“坚持创新在我国现代化建设全局中的核心地位”，将科技创新作为引领发展的第一动力，这份...
2024-09-20 10
-
警方迅速行动，针对调侃九一八的网红被抓事件作出权威回应详细阅读
一起涉及调侃九一八事件的网红被抓事件引起了广泛关注，针对此事件，警方迅速作出回应，以维护社会公共秩序和尊重历史事实，本文将就这一事件进行详细报道和分析...
2024-09-20 8
-
科技视角下的生肖之谜，解密形影不离背后的生肖详细阅读
在中国传统文化中，十二生肖不仅是时间的标记，更是一种文化符号，承载着丰富的民间故事与象征意义，当我们尝试从科技角度解读这些古老的智慧时，会发现其中蕴含...
2024-09-20 7
-
台风中的坚守——排班表的重要性详细阅读
在多变的气候中，台风是一种常见的自然灾害，面对台风的威胁，人们需要采取各种措施来保护自己和财产的安全，台风排班表是应对台风的重要工具之一，本文将探讨台...
2024-09-20 6
-
科技视角下的生肖文化与理直气壮的动物详细阅读
在中华传统文化中，十二生肖不仅是时间的记录者，也是人们性格和命运的象征，每个生肖都承载着丰富的文化内涵和寓意，它们与人类的生活紧密相连，反映了古人对自...
2024-09-20 5
-
科技视角下的生肖文化解读，春风得意与生肖的关系详细阅读
在中华传统文化中，生肖（十二属相）不仅是纪年的一种方式，更承载着丰富的文化内涵和寓意，每个生肖都有其独特的象征意义，而“春风得意”这个成语则通常用来形...
2024-09-20 6