ElevenLabs采取行动对抗Deepfake声音克隆

Bloomberg报道,专门提供语音克隆服务的人工智能初创公司ElevenLabs已经禁止一名用户制作乔·拜登的音频深度伪造,据称是为了干扰选举

ElevenLabs显然封禁了使用他们的AI工具伪造拜登声音的账号。

ElevenLabs是一家提供声音克隆服务的人工智能初创公司,对其工具的不道德使用采取了坚决立场。该公司最近封禁了一个用户,这个用户伪造了乔·拜登的音频深度伪造,试图破坏选举。这一事件揭示了声音克隆技术在即将到来的美国总统选举中的潜在危险。🗳️

揭示罪犯身份

一切都始于向新罕布什尔州的一些选民发送了冒充乔·拜登总统的电话机器人,敦促他们不要参加该州的初选。起初,不清楚是如何进行冒充的,但安全公司Pindrop进行了彻底的分析,并指出使用了ElevenLabs的工具。电话机器人的音频得到了清理,并与120多种声音合成技术的样本进行了比较,最终指向ElevenLabs作为信息来源。

Pindrop的首席执行官Vijay Balasubramaniyan表示,ElevenLabs参与的可能性超过99%。彭博社报道称,ElevenLabs已收到这些发现的通知,目前已暂停了负责伪造音频的账号。虽然该公司仍在调查此事件,但它强调了阻止音频人工智能工具滥用的承诺。

选举操纵的先兆

这起声音深伪造电话机器人事件提醒我们,模仿某人的外貌和声音的技术如何被用来武器化以操纵选票和压制民主。卡内基梅隆大学的教授凯瑟琳·卡利警告说,这一事件只是关于压制选民和攻击选举诚信的冰山一角。接下来的几个月可能会有更多的企图利用这些漏洞。

🔍问:深伪造技术对选举构成威胁的原因是什么? 答:深伪造技术可以通过冒充候选人、传播虚假信息并煽动对选举过程的不信任来欺骗选民。ElevenLabs工具的最近事件只是这些技术被滥用可能带来的严重后果的一个例子。

需要更严格的保障

尽管ElevenLabs警告不要滥用其技术,但很明显需要加强措施,以防止恶意行为者利用这些工具进行恶意用途。虽然这家初创公司允许艺术和政治演讲的声音克隆,以推动公共辩论,但必须采取措施确保这些工具不会被滥用用于欺诈、仇恨言论、歧视或选举操纵。

🎙️问:ElevenLabs这样的公司如何防止滥用声音克隆技术? 答:ElevenLabs等公司应实施强大的验证流程,以确保恶意行为者不会使用其平台。此外,他们应考虑与安全专家合作,持续监控和检测技术的潜在滥用。用户教育和意识提升活动也可在促进负责任的使用方面发挥重要作用。

展望未来

随着深伪造技术的不断发展,预防性措施和立法的需求变得更加明显。政府、科技公司和公众必须共同努力应对这种对民主构成的新威胁。这个问题不仅仅涉及美国选举,而是一个全球性问题,需要迅速采取行动。

无论是对深伪造技术使用的严格监管,还是对检测和认证系统的改进,未来在与滥用人工智能和音频合成工具的持续战斗中有许多可能性。关键在于适应这些发展,并确保我们的民主程序保持安全和透明。

参考资料:

喜欢这篇文章吗?了解更多有关新兴技术对社会的影响,并随时掌握最新进展。在社交媒体上分享你的想法,加入对话吧! 💬📲