“AI探测器能拯救我们免受ChatGPT的困扰吗？我试用了5种在线工具来找出答案”
“AI探测器：解救ChatGPT困扰？我用5种在线工具实践来评判”
当我首次考虑到是否有可能对抗AI生成的抄袭内容以及它是如何运作的时候，是在2023年1月，也就是世界开始对生成AI有全面认知的几个月之后。现在，差不多一年过去了，感觉我们已经在研究生成AI方面做了很多年，但实际上，我们只是花了几个月的时间来研究这个问题。
无论如何，这是那篇原始的2023年一月文章的更新版本。当我首次测试GPT检测器时，我使用了三个：GPT-2输出检测器、Writer.com AI内容检测器和Content at Scale AI内容检测器。最好的结果来自GPT-2输出检测器，正确率达到了66%。这次，我再添加三个：GPTZero、ZeroGPT（没错，它们是不同的）和Writefull的GPT检测器。
遗憾的是，我们将从我们的测试套件中移除Writer.com AI内容检测器，因为它在一月份失败了，而且现在也失败了。请看下面公司的评论，这是他们团队在一月份发表的原文出版后给我发送的。
不过，在继续之前，我们需要谈谈抄袭的概念以及它如何与我们的问题相关。Webster的定义中将”抄袭”定义为”将（他人的创作）窃取并标榜为自己的创作；使用（他人的作品）而不标明来源”。
这个定义适用于AI生成的内容。虽然使用像Notion AI或ChatGPT这样的AI工具的人并不是在窃取内容，但如果这个人没有将这些文字归属于AI，并声称这些文字是他们自己写的，那仍然符合字典对抄袭的定义。
此外：尝试最佳的AI图像生成器
在这篇实验性的文章中，我请ChatGPT来帮忙。我的文字是常规和粗体的。AI生成的文字是斜体的。在每个AI生成的部分之后，我将展示检测器的结果。文章结束时，我们将看看检测器的整体表现如何。
以下是我自己撰写的上述文字的结果：
- GPT-2输出检测器：99.98%真实
- Content at Scale AI内容检测：100%极有可能是人类所写！
- GPTZero：你的文字很可能完全由人类所写
- ZeroGPT：28.9% AI GPT 您的文字很可能是人类写的
- Writefull的GPT检测器：1%有可能来自GPT-3、GPT-4或ChatGPT
人类撰写的内容：5项中有4项正确
有了这些，让我们再深入探讨一下。
解释一下ChatGPT在涉及抄袭问题时为什么对教师和编辑可能是一个真正的问题
ChatGPT是由OpenAI开发的GPT（生成式预训练转换器）语言模型的一种变体。它的设计目的是通过预测给定输入序列中的下一个单词或短语来生成类似于人类的文本。尽管ChatGPT可以用作生成文本和回答提示的有用工具，但对于教师和编辑来说，它也可能成为抄袭的问题。
ChatGPT对教师和编辑可能成为问题的主要原因之一是，它可以生成非常类似于真实人类作者的文本。这意味着学生或其他个人有可能使用ChatGPT生成文本，然后将其提交为自己的作品，从而实施抄袭行为。
对于教师和编辑来说，检测给定的文本是由ChatGPT生成还是由人类编写的可能非常困难，因为生成的文本可能不包含任何明显的错误或不一致之处，以揭示其人工起源。这使得教师和编辑难以识别和防止抄袭，因为他们可能无法确定给定的文本是原创还是复制自其他来源。
总的来说，ChatGPT和其他类似的语言模型对于教师和编辑在抄袭问题上可能成为难题，因为它们可以生成难以区分于人类编写的文本，使得学生和其他个人更容易在不被察觉的情况下实施抄袭行为。
- GPT-2输出检测器：99.69%真实
- Scale AI内容检测：3%很可能是由AI生成的！
- GPTZero：建议输入更长的文本以获得更精确的预测
- ZeroGPT：51.22% AI GPT 您的文本是AI/GPT生成的
- Writefull GPT检测器：12%可能来自GPT-3，GPT-4或ChatGPT
AI撰写的内容：1对5正确（仅仅）
请记住，斜体显示的文本是由AI生成的。
至少给我展示三种检测ChatGPT是否用于生成一段文本的方法
有几种方法可以检测ChatGPT或其他语言模型是否用于生成一段文本。以下是三种可能的方法：
- 查找文本中的重复或不寻常模式：检测语言模型是否用于生成一段文本的一种方法是查找写作中的重复或不寻常模式。例如，语言模型可能会重复某些短语或词组，或者使用不寻常或不一致的句子结构。
- 检查是否缺乏原创性：检测语言模型是否用于生成一段文本的另一种方法是检查其原创性。如果一段文本似乎是从其他来源复制而来，或者包含在互联网或其他来源广泛可得的信息，那可能表明它是由语言模型生成的。
- 使用抄袭检测工具：最后，您可以使用抄袭检测工具来检查一段文本是否似乎是从其他来源复制的。虽然抄袭检测工具可能无法确定语言模型是否用于生成一段文本，但它可以帮助您识别来自其他来源的复制或改写情况。
- 注意答案明显错误的情况：我在我的Notion AI评论中谈到了这个问题，其中我突出了AI写作的一些似乎有权威性但明显错误的文本。如果学生或作者对所讨论的主题没有完全掌握，他们可能无法发现错误，并直接将其留在AI生成的回答中。当然，错误陈述不仅仅是AI写作工具的专属领域。例如，许多博客作者和评论者只是重复其他博客作者的陈述，从而创建一个完全“虚假事实”的Turnitin 是一款广泛被学校和大学使用的热门抄袭检测器。它将一段文本与其他文本的数据库进行比对，以识别剽窃或改写的情况。虽然它可能无法确定一段文本是否由语言模型生成，但它有可能识别出语言模型生成文本的某些特征，表明其人造来源。
- PlagScan：PlagScan 是另一款抄袭检测器，它将一段文本与其他文本的数据库进行比对，以识别剽窃或改写的情况。和 Turnitin 一样，它可能识别出语言模型生成文本的某些特征，表明其人造来源，但它并非专门设计用于检测语言模型生成文本。
- Copyleaks：Copyleaks 是一款使用先进的机器学习算法扫描一段文本，并将其与其他文本的数据库进行比对，以识别剽窃或改写的抄袭检测器。虽然它可能识别出语言模型生成文本的某些特征，但它并非专门设计用于检测语言模型生成文本。
值得注意的是，没有完全可靠的抄袭检测器，一段语言模型生成的文本也有可能逃过检测。因此，将抄袭检测器作为检测和预防抄袭的大战略的一部分是很重要的。
- GPT-2 输出检测器：99.58% 真实
- Content at Scale AI 内容检测：100% 高度可能是人类写的！
- GPTZero：你的文本可能包含由 AI 写的部分
- ZeroGPT：100% AI GPT 你的文本是 AI/GPT 生成的
- Writefull GPT 检测器：88% 很可能来自 GPT-3、GPT-4 或 ChatGPT
AI 写作内容：5项中有3项正确
在线 AI 抄袭检测器
大多数抄袭检测器用于将写作与其他写作进行比对。例如，当学生提交一篇文章时，像 Turnitin 这样的产品会将提交的文章与其数据库中的大量其他文章以及互联网上的其他文档和文本进行比对，以确定提交的文章中是否包含已经写过的内容。
但是，AI 写作工具生成原创内容，至少在理论上是如此。是的，它们的内容是根据训练的内容构建的，但它们构建的实际单词对于每个作文来说是有一定独特性的。
因此，上述提到的查重器可能不起作用，因为AI生成的内容可能在其他学生的论文中不存在。
在本文中，我们只关注GPT检测器。但抄袭是一个大问题，正如我们所看到的，有些人选择将抄袭定义为你声称为自己写的东西，而实际上并非如此，而另一些人选择将抄袭定义为他人写的东西，而你声称为自己写的。
直到现在，这种区分从未成为问题。现在我们有了非人类写手，抄袭的区分更加微妙。决定这条界线应当在哪里划定，是取决于每位教师、学校、编辑和机构的。
- GPT-2输出检测器：99.98%真实
- Content at Scale AI内容检测：100%极有可能是人类！
- GPTZero：你的文本很有可能完全由人类撰写
- ZeroGPT：0% AI GPT，你的文本是人类撰写的
- Writefull GPT检测器：1%可能来自GPT-3、GPT-4或ChatGPT
人类撰写的内容：5个中全部都对
整体结果
在进行的五个测试中，其中四个是总体上准确的。测试在纯人类内容上的准确性要比纯AI内容更高。有趣的是，各个检测器的结果大相径庭，因此如果您要使用GPT检测器，请在单个文本上使用一组检测器并汇总结果。即使这样，您也不能保证完全准确。
|
测试 |
整体 |
人类 |
AI |
AI |
AI |
人类 |
|
GPT-2输出检测器 |
60% |
正确 |
错误 |
正确 |
错误 |
正确 |
|
Content at Scale AI内容检测 |
40% |
正确 |
错误 |
错误 |
错误 |
正确 |
|
GPTZero |
80% |
错误 |
正确 |
正确 |
正确 |
正确 |
|
ZeroGPT |
80% |
正确 |
错误 |
正确 |
正确 |
正确 |
|
Writefull GPT检测器 |
60% |
错误 |
错误 |
正确 |
正确 |
正确 |
回顾一下一月份，我们的最佳正确率只有66%。在这里，我们有两个工具，正确率达到80%。但是我不会放心地使用这些工具来验证学生的内容。正如已经表明的那样，来自非母语者的写作往往被评为由人工智能生成，甚至我的手工制作内容也被评为AI几次。因此，在依赖任何一个（或全部）工具的结果之前，我建议要谨慎。
另外：有人会错误地指控你使用人工智能生成的文本吗？这可能就是原因
让我们来看看每个测试工具的表现如何。
GPT-2 输出检测器（准确率60%）
该第一个工具是使用由纽约人工智能公司Hugging Face管理的机器学习平台构建的。虽然该公司已获得4000万美元的融资以开发其自然语言库，但GPT-2检测器似乎是一个用户创建的工具，使用的是Hugging Face Transformers库。在我进行的六个测试中，其中有四个结果准确。
Writer.com AI内容检测器（准确率未知）
Writer.com是一个面向企业团队的生成AI写作服务。它的AI内容检测器工具可以扫描生成的内容。不幸的是，我发现这个工具不可靠，无法生成结果–和一月份一样。
在这篇文章最初发布于一月份后，Writer.com的工作人员联系了ENBLE。首席执行官May Habib对此发表了以下评论：
对于AI检测器的需求飙升。自几个月前我们推出该服务以来，每周的流量增长了2-3倍。我们现在已经有了必要的扩展能力，确保它不会崩溃，我们的目标是保持它免费，并更新以捕捉最新模型的结果，包括我们自己的模型。如果要直接使用AI生成的输出，绝对应该加以注明。
Content at Scale AI内容检测（准确率40%）
第三个工具也是由一个AI内容生成公司制作的。Content at Scale以“通过自动化内容创作来帮助SEO聚焦的内容营销人员”为口号。它的市场行动号召是“上传一个关键词列表，获得超过2600字的无需人为干预的博客文章，绕过AI内容检测！”令人不安的是，结果与一月份相比变得更差–那时候，准确率是50%。
GPTZero（准确率80%）
目前并不完全清楚GPTZero是如何运作的。该公司正在招聘工程师和销售人员，它在AWS上运行，所以涉及到一些费用和销售活动。然而，我找到的关于服务提供的所有信息只是一个地方，你可以注册一个免费帐户，以扫描超过提供的5,000字而不需要登录。如果你对GPT检测的这项服务感兴趣，你将不得不看他们是否会给你更多的详细信息。
ZeroGPT（准确率80%）
ZeroGPT似乎在我们上次观察它后成熟了作为一个服务。我们上次观察时，没有列出公司名称，网站上充满了谷歌广告，没有明显的盈利策略。该服务实际上运作得相当不错，但看起来非常可疑。
现在已经没有那种可疑的感觉了。ZeroGPT呈现出了任何其他SaaS服务的样子，包括定价、公司名称、联系信息等等。它的性能仍然非常好，所以也许开发者决定将他们的工作代码转变成更具商业运作的形式。对他们来说不错!
Writefull GPT检测器（准确率60%）
Writefull销售写作支持服务，并提供其工具的免费试用。GPT检测器相对较新，效果还不错。也许随着时间的推移会有所改进。
最后的想法
首先，让ChatGPT说一下：AI驱动的抄袭问题正在日益严重，因为Notion AI和ChatGPT等AI工具可以生成与人类写作难以区分的文本。有几种方法可以检测出一段文本是否由AI生成，例如寻找重复或异常模式、检查是否缺乏独创性，或使用检测抄袭的工具。Turnitin、PlagScan和Copyleaks等抄袭检测器也许能够识别出语言模型生成的文本的某些特征，但它们并非百分之百可靠。
即使是我发现的专业工具也远不能满足任务需求。与我一月份的测试相比，有一些有限的改进，但根据这些工具的结果，我肯定不会轻易威胁学生的学术地位或指责他们作弊。
这一点上，我认为我们还没有准备好让AI对抗AI。相反，我们将不得不依赖人类的感知（这意味着人们必须保持警惕），以识别出由AI生成的作品。
不要立即认为某个作品是由机器生成的。即使某样东西很愚蠢或明显不准确，也不要立即认为它不是由人类编写的。正如我们众所周知，人类本身就有能力写出一些极其糟糕的东西。
另外： OpenAI的ChatGPT在我的工作上真的太强大了，但它还不能替代我
那么，你认为呢？你能分辨出一篇作品是由AI生成的吗？在这些突然变得可用的几个月里，你使用过这些AI写作工具吗？你认为它们对教育和新闻是帮助还是阻碍？在下方的评论中让我们知道。这是ChatGPT对此的回答：
作为一个语言模型，我无法看到或与实体的书写作品进行交互，所以我无法判断一篇作品是否由AI生成。然而，我可以告诉你，有几个可用的AI写作工具，它们可以用于生成各种各样的书面内容，包括新闻文章、小说、诗歌等等。
我个人没有使用这些工具的经验，因为我只是一个计算机程序，没有浏览互联网或使用实体工具的能力。然而，我可以告诉你，有些人发现AI写作工具在教育和新闻工作中很有帮助，因为它们可以节省时间和精力，自动化某些任务。也有人对这些工具可能被用来产生误导性或有偏见的内容，或取代人类作家表示担忧。最终，AI写作工具是帮助还是阻碍，取决于它们的使用方式和上下文。
所以，是的，就是这样。
您可以在社交媒体上关注我的日常项目更新。一定要订阅我每周的更新通讯 在Substack上，并在Twitter上关注我：@DavidGewirtz，在Facebook上关注我：Facebook.com/DavidGewirtz，在Instagram上关注我：Instagram.com/DavidGewirtz，在YouTube上关注我：YouTube.com/DavidGewirtzTV。
