包阅导读总结
1. 关键词:GPT-4o mini、性能、价格、计费 Bug、多模态推理
2. 总结:GPT-4o mini 发布,性能优于 GPT4-0125,价格比 3.5 便宜 60%,以 API 方式发布,支持多模态,在多项推理任务中表现出色,但存在计费 Bug。
3. 主要内容:
– GPT-4o mini 发布
– 性能方面
– 比 GPT4-0125 更好
– 价格方面
– 比 3.5 便宜 60%,输入$0.15,输出$0.6
– 发布形式
– 以 API 方式,支持图片、文字,最长 128k,后续支持视频和音频
– 推理任务表现
– 在文本、视觉、数学、编码、多模态推理中优于其他小型模型
– 存在问题
– 计费 Bug,token 计算有误,凭空多 2 万个 token
思维导图:
文章地址:https://mp.weixin.qq.com/s/oU7UUZqLQESsEgq31cYWAg
文章来源:mp.weixin.qq.com
作者:金色传说大聪明
发布时间:2024/7/18 18:08
语言:中文
总字数:489字
预计阅读时间:2分钟
评分:92分
标签:GPT-4o mini,性能提升,价格优势,多模态支持,计费 Bug
以下为原文内容
本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com
在这篇公众号发出的时候
GPT-4omini发布了
性能上,比 GPT4-0125 更好
(基于LMSYS 竞技场信息)
GPT-4o mini 优于 GPT4-0125
价格上,比 3.5 还便宜 60%
4o mini 输入:$0.15
4o mini 输出:$0.6
堪称不讲武德
目前,GPT-4o mini 以 API 的方式发布
支持图片和文字,最长 128k
后续也会支持支持视频和音频
训练截数据截止到 2023 年 10 月
并对非英文更加友好
标准化测试
推理任务:GPT-4o mini 在涉及文本和视觉的推理任务中优于其他小型模型,在 MMLU 上得分为 82.0%,而 Gemini Flash 为 77.9%,Claude Haiku 为 73.8%。
数学和编码能力:GPT-4o mini 在数学推理和编码任务方面表现出色,超过了市场上先前的小型模型。在衡量数学推理的 MGSM 上,GPT-4o mini 得分为 87.0%,而 Gemini Flash 为 75.5%,Claude Haiku 为 71.7%。在衡量编码性能的 HumanEval 上,GPT-4o mini 得分为 87.2%,而 Gemini Flash 为 71.5%,Claude Haiku 为 75.9%。
多模态推理:GPT-4o mini 在多模态推理评估 MMMU 上也表现出色,得分为 59.4%,而 Gemini Flash 得分为 56.1%,Claude Haiku 得分为 50.2%。
上手(对比4o)
结论:和4o差不多,但便宜很多!