分类

Posted in

AI Scaling 的神话_AI阅读总结 — 包阅AI

by baoyueai

包阅导读总结

思维导图：

文章地址：https://mp.weixin.qq.com/s/7QXF2j_yswG3LQv9aMkSrg

文章来源：mp.weixin.qq.com

作者：ARVIND??&??SAYASH

发布时间：2024/7/26 0:50

语言：中文

总字数：4940字

预计阅读时间：20分钟

评分：82分

标签：AI 扩展,通用人工智能,数据质量,模型大小,训练计算

以下为原文内容

本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com

截至目前，语言模型越来越大，能力也越来越强，但过去的表现能预测未来吗？
一种流行的观点是，我们应该期待当前的趋势继续保持下去，并且出现更多数量级，这最终可能会引领我们实现AGI。
本文作者认为，这种观点来自于一系列神话和误解。从表面上看，规模扩展（Scaling）具有可预测性，但这是对研究成果的误解。此外，有迹象表明，LLM开发者已经接近高质量训练数据的极限。而且，模型行业正面临着模型尺寸的强烈下行压力。虽然现在无法准确地预测AI通过扩展能取得多大进展，但作者认为仅靠扩展几乎不可能实现AGI。


（本文作者Arvind Narayanan是普林斯顿大学计算机科学教授，Sayash Kapoor是普林斯顿大学计算机科学博士生。本文由OneFlow编译发布，转载请联系授权。来源：https://www.aisnakeoil.com/p/ai-scaling-myths）