包阅导读总结
1. 关键词：OpenAI、AI 文本检测、用户流失、水印、ChatGPT
2. 总结：OpenAI 内部研发了可检测 AI 生成文本的工具，但因担心用户流失而在发布上摇摆不定。该工具能识别 ChatGPT 生成文本，检测准确度存忧，公司还在探索更好方案。
3.
– OpenAI 研发出可检测 AI 生成文本的工具
– 可识别 ChatGPT 生成文本，通过创建不可见水印检测，准确率高，但水印能被简单技术擦除
– 员工对检测准确度有担忧，确定检测器适用范围是难题
– 关于工具发布的争论
– 内部争论两年，担心发布后用户排斥甚至放弃使用 ChatGPT
– 曾发布检测成功率仅 26%的工具，后撤回
– 外部也有相关检测工具，但存在不足
– 工具在教育领域的应用
– 教师认为打击学生滥用生成式 AI 很必要
– 有教师通过特殊方式发现学生用 AI 完成作业，计划调整教学
– 其他情况
– 调查显示多数人支持发布检测工具，但部分 ChatGPT 用户有顾虑
– 谷歌也有水印工具，OpenAI 还在探索新检测方法
思维导图：
文章地址：https://mp.weixin.qq.com/s/k2x2dwKqP3YmGezEo8J1Xw
文章来源：mp.weixin.qq.com
作者：Founder??Park
发布时间：2024/8/5 13:04
语言：中文
总字数：2310字
预计阅读时间：10分钟
评分：86分
标签：OpenAI,AI文本检测,ChatGPT,用户忠诚度,教育应用
以下为原文内容
本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com
《华尔街日报》消息，OpenAI 内部研发了一个可以检测是否是 AI 生成文本的工具，可以快速识别论文或者研究报告是否是 ChatGPT 生成的。
据知情人士透露，一年前，工具就已经准备好了，随时可发布。但关于该项目是否应该存在以及是否应当发布，OpenAI 内部已经争论了两年时间。一方面，虽然该工具有利于解决学界普遍用 AI 作弊的问题，也能够体现 OpenAI 对其技术的负责态度，但另一方面，公司担心，发布这个工具后，用户排斥甚至放弃使用 ChatGPT。
发还是不发，OpenAI 在 AI 透明度和用户忠实度之间摇摆不定。
公司曾对 ChatGPT 的忠实用户进行了一项调查，发现近三分之一的用户对该技术感到反感。
OpenAI 的一位发言人表示，公司担心这项工具会对非英语母语者等群体产生不公平。她指出：「在技术角度，文本水印很有前景，但我们还在考虑其潜在风险，并探索其他选择。」同时还强调：「问题比较复杂，有必要采取谨慎的态度。」
但参与产品开发以及其他支持发布的员工表示，跟可能带来的好处相比，这些反对意见微不足道。
OpenAI 首席执行官 Sam Altman 和 CTO Mira Murati 也参与过针对这一反作弊工具的讨论。有消息称，Altman 对这个项目表示支持，但并没有推动它的发布。
01
几乎所有AI生成的文本都有水印，
核心是检测工具给谁用
OpenAI 只专注于检测 ChatGPT 的生成文本，无法识别其他模型的文本。它会对 ChatGPT 选择单词的方式进行微小的更改，在文本中创建一个不可见的水印，之后检测工具就可以发现此水印。
人们无法直接用肉眼看到水印，但检测器可以找到。它会提供一个分数，这个分数代表整个文档或其一部分由 ChatGPT 编写的可能性。当足够多的新文本是由 ChatGPT 创建时，工具的检测命中率高达 99.9%。
「太阳明天蒸发的可能性，都要比 AI 文本没有水印的可能性大。」斯坦福大学研究员 John Thickstun 说。他是一个人工智能文本团队的一员，该团队也在开发类似的水印检测工具。
然而，一些 OpenAI 员工对检测准确度提出担忧。通过简单的技术，水印就可以被擦除。比如将文本翻译成另一种语言，然后再翻译回来；或者先让 ChatGPT 在文本中添加表情符号，之后手动删除表情。
公司内部普遍认为，确定这个检测器的适用范围是一个难题。如果只有少部分人可以拥有它，这个工具就没有太大用，但如果很多人都能获得访问权限，就会有人试图破译该水印技术。
OpenAI 的员工还在讨论一种方案，就是单独向教育工作者或学校提供该检测器，让他们用来识别学生是否适用 AI 编写论文。
生成式 AI 能够在几秒钟内，根据单一提示免费生成整篇论文或研究报告，教师们普遍认为，这种滥用行为非常需要打击。纽约市教师亚历克萨·古特曼在高中教授英语和新闻，在他看来这是一个大问题。「我与一起工作的每一位老师都谈论过这件事。」
美国非营利组织民主与技术中心的最近一项调查发现，59% 的初中和高中教师认为，一些使用 AI 来完成自己学业的学生，成绩相较上一学年上升了 17 个百分点。
当然，一些教师也会鼓励学生用 AI 帮助他们开展研究，或者获得一些反馈。但随之而来的问题是，当学生使用像 ChatGPT 这样的 AI 时，他们会用它完成所有的工作，复制粘贴，甚至不知道题目是什么。
犹他大学的政治学教授 Josh McCrain 去年给学生布置了一个写作任务。他偷偷在任务中插入了一个指示，要求文章内容要引用蝙蝠侠。这个指示用了难以辨认的小字体，一眼看不出来，但如果学生将任务复制并粘贴到 AI 中，AI 就会乖乖执行。
果不其然，一些学生交的论文中出现了毫无意义的「蝙蝠侠」。在未来的教学中，McCrain 计划调整写作任务，更多地关注 AI 较不熟悉的领域——比如时事，希望学生不要将他们的作业外包给 AI。
02
一直想发布，
但担心用户流失
在是否发布检测工具上，OpenAI 内部有着长时间的争论。
2023 年 1 月，OpenAI 就发布了一个工具，能够检测包括 ChatGPT 在内的几个 AI 模型生成的文本。但该工具检测成功率仅为 26%，OpenAI 在七个月后撤回了它。
除此之外，外部公司和研究人员也开发了检测 AI 文本的工具。许多教师已经使用过，但它们有时无法检测，或者会产生误报。
2023 年初，OpenAI 的联合创始人之一，约翰·舒尔曼在共享 Google 文档中概述了该工具的利弊。OpenAI 高管决定，在进一步行动之前，广泛寻求各种人的意见。
在接下来的一年半里，OpenAI 高管反复讨论这项技术，收集新数据，进一步开展讨论。
2023 年 4 月，OpenAI 委托开展了一项调查，调查显示全球范围内有 3/4 的人支持 AI 检测工具发布。同月，OpenAI 对 ChatGPT 用户进行了调查，69% 的人认为该检测技术会导致自己被错误指控使用 AI。将近 30% 的人表示，如果自己的作品被打上水印，而竞争对手的文字却没有，会让他们考虑减少 ChatGPT 的使用。
之前 OpenAI 内部还在讨论检测工具是否会损害 ChatGPT 的写作质量。不过今年早些时候进行测试，发现该水印并没有影响 ChatGPT 的性能。
6 月初，OpenAI 的高级员工和研究人员再次会面。该小组一致认为检测技术运作良好，但仍需要考虑之前 ChatGPT 的用户调查结果。
除了 OpenAI，谷歌也开发了一种水印工具 SynthID，能够检测到 Gemini AI 生成的文本。它目前正在 beta 测试中，还不能广泛使用。
OpenAI 现在有检测生成图像的工具，该生成器在今年春天发布。如果图片是把 ChatGPT 的文本复制到 DALL-E 3 后生成的，就会被打上水印。因为美国今年处在选举年，伪造的音视频文件危害更大，所以公司优先考虑了音频和视觉水印。
昨天，OpenAI 在官网更新了关于检测工具的博客，该更新称团队还在探索利用元数据检测文本来源的方法，由于元数据是被加密签名的，不存在误报。目前该技术仍处于探索的早期阶段。
参考资料：
https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a?st=ejj4hy2haouysas&reflink=desktopwebshare_permalink
https://techcrunch.com/2024/08/04/openai-says-its-taking-a-deliberate-approach-to-releasing-tools-that-can-detect-writing-from-chatgpt/
https://openai.com/index/understanding-the-source-of-what-we-see-and-hear-online/
转载原创文章请添加微信：founderparker
