新技术使AI幻觉清醒并面对现实
新科技让人工智能从幻想中清醒并直面现实
聊天机器人有着生成虚假信息并将其呈现为准确的惊人倾向。这种现象被称为AI幻觉，它有各种不良影响。最好的情况是，它限制了人工智能的好处。最坏的情况下，它可能对人们造成现实世界中的伤害。
随着生成式人工智能进入主流，警钟越来越响。为此，一支欧洲研究团队一直在积极尝试各种解决方案。上周，该团队揭示了一种有希望的解决方案。他们说，它能将AI幻觉减少到个位数的百分比。
这个系统是奥斯陆的初创企业Iris.ai的得意之作。该公司成立于2015年，构建了一个用于理解科学文本的人工智能引擎。该软件搜索大量的研究数据，然后进行分析、分类和总结。
客户包括芬兰食品权威机构。政府机构使用该系统加速了对潜在禽流感危机的研究。据Iris.ai称，该平台可以节省研究者75%的时间。
不能为他们节省时间的是AI的幻觉。
- “在Prime Day促销还持续的时候，你仍然可以以最低价购买到戴森Supersoni...
- 勒索软件的受害者仍在继续支付赎金，同时也为人工智能增强的攻击做好准备
- “红色意味着别烦我！亚历克斯如何帮助我们创建家庭办公的忙碌指示灯”
“关键是返回与人类专家所说的相匹配的回答。
今天的大型语言模型(Large Language Models，LLMs)以产生荒谬和虚假信息而臭名昭著。最近几个月出现了无数这些错误的例子。
有时，这些不准确性会导致声誉损害。例如，在微软Bing AI的发布演示中，该系统产生了错误百出的Gap收益报告分析。
在其他时候，错误的输出可能会更加有害。ChatGPT可能会口出危险的医疗建议。安全分析师担心聊天机器人的幻觉甚至可能将恶意代码包引向软件开发人员。
“不幸的是，LLMs在措辞上非常出色，很难区分幻觉和事实有效的生成文本，”Iris.ai首席技术官Victor Botev告诉TNW。“如果不能克服这个问题，模型的使用者将不得不投入更多资源来验证输出，而不是生成它们。”
AI幻觉也阻碍了AI在研究中的价值。在对500名企业研发人员进行的Iris.ai调查中，只有22%的受访者表示他们信任ChatGPT等系统。不过，其中84%的人仍然将ChatGPT作为他们支持研究的主要AI工具。啊。
这些有问题的做法促使Iris.ai对AI幻觉进行研究。
事实核查的AI
Iris.ai使用多种方法来衡量AI输出的准确性。其中最重要的技术是验证事实的正确性。
“我们列出了我们希望在正确答案中看到的关键知识概念，”Botev说。“然后我们检查AI的答案是否包含这些事实，以及它们是否来自可靠的来源。”
第二种技术是将AI生成的回答与验证过的“基本真理”进行比较。使用一个名为WISDM的专有指标，该软件评分AI输出与基本真理的语义相似性。这包括对主题、结构和关键信息的检查。
另一种方法是检查回答的连贯性。为了做到这一点，Iris.ai确保输出针对的是与问题相关的主题、数据和来源，而不是无关的输入。
这些技术的结合为事实准确性创造了基准。
“对我们来说，关键不仅仅是返回任何回答，而是返回与人类专家所说的相匹配的回答，”Botev说。
在布料下面，Iris.ai系统利用知识图谱，展示数据之间的关系。
知识图谱评估并展示语言模型实现结果的步骤。本质上，它们生成模型应该遵循的一系列思维链。
这种方法简化了验证过程。通过要求模型的聊天功能将请求分割成较小的部分，并显示正确的步骤，可以识别和解决问题。
这种结构甚至可以促使模型识别并纠正自己的错误。因此，可以自动产生连贯和事实正确的答案。
“我们需要解构人工智能的决策过程。
Iris.ai现在将这项技术整合到新的“聊天”功能中，该功能已添加到公司的研究者工作空间平台。在初步测试中，该功能将AI幻觉减少到个位数百分比。
但是，问题并没有完全解决。虽然这种方法对于Iris.ai平台上的研究人员似乎是有效的，但对于流行的LLM来说，该方法将很难扩展。Botev表示，挑战不是来自技术，而是来自用户。
例如，当有人进行必应AI搜索时，他们对所调查的主题可能了解很少。因此，他们可能会错误地解释他们收到的结果。
“人们常常通过在网上搜索症状来自我诊断疾病，”Botev说。“我们需要能够清晰明了地解构人工智能的决策过程。
AI幻觉的未来
AI幻觉的主要原因是训练数据问题。微软最近为这个问题提出了一种新颖的解决方案。该公司的新的Phi-1.5模型是以“教科书质量”数据进行预训练的，这些数据既是合成生成的，又从网络来源中进行了过滤。
理论上，这种技术将减轻AI幻觉。如果训练数据结构良好并促进推理，那么模型产生幻觉的余地应该较小。
另一种方法涉及从数据中消除偏见。为了做到这一点，Botev建议对编码语言进行模型训练。
目前，许多流行的LLM都是通过各种各样的数据进行训练的，包括小说、报纸文章、法律文件和社交媒体帖子。不可避免地，这些源包含人类偏见。
在编码语言中，理性得到了更大的强调。这留下了较少的解释空间，可以将LLM引导到事实准确的答案。另一方面，这可能赋予编码人员潜在的恐怖能力。
“这是一个信任问题。
尽管有限制，Iris.ai的方法是朝着正确方向迈出的一步。通过使用知识图谱结构，可以为人工智能增加透明度和可解释性。
“对模型的过程有更广泛的理解，以及对黑盒模型的额外外部专业知识，意味着可以更早地识别和解决各个领域中幻觉的根本原因，”Botev说。
CTO对该领域的外部进展也持乐观态度。他指出与LLM制造商的合作，以构建更大的数据集，从文本中推断知识图谱，并准备自我评估指标。将来，这应该会进一步减少AI幻觉。
对Botev来说，这项工作具有至关重要的目的。
“这在很大程度上是一个信任问题，”他说。“如果用户不信任他们使用的模型提供准确的响应，他们如何利用人工智能的好处呢？”
