7月7日,第十五届“北斗杯”全国青少年空天科技体验与创新大赛吉林省赛区选拔赛在长春师范大学举办。吉林省150余所学校的1200名参赛者参与其中。201...
2024-09-17 948 北斗杯全国青少年空天科技体验与创新大赛在吉举行
界面新闻记者|伍洋宇
界面新闻编辑|文姝琪
9月5日,面壁智能发布了旗舰端侧模型“小钢炮”系列的MiniCPM3.0基座模型。MiniCPM3.0是一款4B大小的模型,在自然语言理解、知识、代码、数学等能力上可达到GPT-3.5水平,经过量化处理后内存为2.2GB。
MiniCPM3.0强调了自身的长文本、FunctionCall(函数调用)与RAG(检索增强生成)三个模型功能。
长文本并不是一个稀缺技能,面壁智能的差异化在于,团队通过长本文分帧处理技术,打破了上下文长度的拓展限制。这使得在InfiniteBench大模型长文本能力的权威评测集中,MiniCPM3.0的表现超过了GPT-4、KimiChat、Qwen2-70B。
FunctionCalling是智能体(Agent)应用的重要技能,它能够将用户模糊化的输入语义转换为机器可以精确理解执行的结构化指令,并让大模型连接外部工具和系统。公司表示,MiniCPM3.0的Functioncalling性能目前已接近GPT-4o水平。
RAG技术是端侧模型加强检索与生成能力,尽可能减少大模型幻觉问题的重要手段。面壁智能为MiniCPM3.0加入了MiniCPM-Embedding(检索模型)、MiniCPM-Reranker(重排序模型)和面向RAG场景的LoRA插件(生成模型)共三个外挂模型。
总体而言,面壁智能在MiniCPM3.0上降低了参数并提升了性能。这是端侧模型生存突围的唯一路径。
与众多互联网大厂和创业公司抢入通用大模型领域不同,面壁智能从成立至今就把目标放在小尺寸大模型上,尤其以MiniCPM系列发力端侧模型,团队的技术目标一直在于如何提升模型的知识密度(即模型能力/参与计算的模型参数)。
相较于云端大模型,兼具小尺寸和强性能的端侧模型天然更适合智能硬件产品,因为后者有更高的计算效率、实时反馈、安全隐私等方面的要求。
“从技术角度来说,端到端的方案通常都是上限更高,端侧模型能力大幅提升,面壁智能新品赶上而且能够带来更新体验的方案。”面壁智能CTO曹国洋表示。以机器人为例,端侧模型有机会带来传统技术所无法实现的通用能力,例如通过更长的上下文完成对人的情绪与意图的理解。
不过,以OpenAI为代表的大模型公司,也正在通过剪枝、量化等手段开发小尺寸模型,这是否意味着在可见的未来,通用大模型有可能会全面覆盖小尺寸模型的能力表现,以面壁智能为代表的端侧模型将成为前者的子集?
这个问题的本质是面壁智能在技术上的挑战。曹国洋解释道,从技术路线上来说,端侧模型与云端大模型有一部分是共通的,主要体现在模型的知识密度和能力上,但是面壁智能需要在一些技术上采取更适配端侧模型的路径,才有可能实现以小博大的目的。
不过,在真正落地端侧设备时,端侧模型的优势会得到显现。由于端侧设备对运算资源有极大限制,端侧模型会从模型的训练技巧、数据配比、数据精度等方面做大量工作,而云端大模型整体更注重效果和成本的平衡,大都采取MoE(MixtureofExperts)架构等技术以追求性价比,长期来看,如果仅采取剪枝等传统技术,云端模型难以持续大幅提升模型的知识密度。
当端侧模型的表现提升到足够好,面壁智能的下一步就是启动商业模式的尝试和挑战。
目前,面壁智能已经与MTK合作,为梧桐科技提供MiniCPM车载多模态大模型,迈入了智能座舱芯算一体的合作领域。
面壁智能CEO李大海表示,手机、PC、机器人和汽车是面壁智能目前很明确的四个落地方向。对于端侧模型与智能硬件相结合的量产节点,李大海推测是在明年。同时,他提到,今年年底可能就会有配备面壁智能端侧模型的产品上市,但暂未透露具体厂家和产品形态。
一个不可回避的问题是,当前,无论是苹果、三星还是华为等头部硬件厂商,都在打磨自有端侧大模型,并与自有产品做结合。面壁智能作为模型供应商,如何看待与这些终端厂商的竞争,以及更好服务其他厂商客户?
李大海认为,尽管终端厂商掌握场景,但并非所有厂商都有能力打造足够好的端侧模型,而今天的智能化竞争,无论在哪个产业都十分激烈。为了面向消费者达成更好的交付效果,厂商都在追求最好的端侧模型能力。从这个角度而言,面壁智能仍有机会通过与厂商的沟通协作获得更多收入和市场份额。
相关文章
7月7日,第十五届“北斗杯”全国青少年空天科技体验与创新大赛吉林省赛区选拔赛在长春师范大学举办。吉林省150余所学校的1200名参赛者参与其中。201...
2024-09-17 948 北斗杯全国青少年空天科技体验与创新大赛在吉举行
【CNMO科技消息】作为国内使用频率最高的两个支付平台,支付宝和微信支付一直都有着各自的“自留地”,而随着国家政策的要求下,腾讯系和阿里系之间的支付界...
2024-09-17 125 淘宝即将全面支持微信支付此前已在淘特开启测试
19星期五2024年7月文章来源:清华大学战略与安全研究中心清控伟仕咨询腾讯科技讯7月4日消息,在2024年世界人工智能大会上,清华大学战略与安全研究...
2024-09-17 61 薛澜解析国际治理新路径中国方案引领全球智能向善
【开栏语】呵护健康,女科医话东方教授诊室:子宫息肉容易复发?施治得法,中医药也似手术刀绽放美丽!女性防病治病及护颜养生,自有独特之处。广东省中医院芳村...
2024-09-17 777 女科医话东方教授诊室子宫息肉容易复发?施治得法中医药也似手术刀
千岛湖啤酒:以数据驱动,铸就绿色智能酿造的未来在数字化浪潮的推动下,千岛湖啤酒以智能工厂项目脱颖而出,获得“年度标杆企业数智文化活动”优秀案例奖,这不...
2024-09-17 118 千岛湖啤酒以数据驱动铸就绿色智能酿造的未来
【环球网科技综合报道】7月24日消息,小米汽车官方日前在社交平台更新了“小米SU7答网友问(第五十集)”,小米汽车仍在进行大规模道路测试其中,关于“为...
2024-09-16 754 小米汽车仍在进行大规模道路测试
在AI产品竞争白热化之际,一款反AI应用却逆势走红。今年6月,一个名为Cara的图片社区仅用了两周时间,就将用户基数从四万增长至近百万,一跃成为美国社...
2024-09-16 362 两周用户增长近百万挺进美国社交应用榜这款反产品火了新榜
作者|陈骏达编辑|云鹏智东西7月5日报道,昨日下午,2024世界人工智能大会(WAIC)产业发展主论坛在上海举办。20余位产学研界的代表汇聚一堂,展开...
2024-09-16 293 百度阿里华为高管都来了中国顶流演讲精华看尽