这家人工智能公司将深度伪造技术释放到了公众中，它能够控制住吗？
这家人工智能公司释放了深度伪造技术，能控制吗？
Erica在YouTube上详细介绍了在马萨诸塞州雇佣离婚律师的费用。Dr. Dass在英国销售私人医疗保险。但是Jason一直在Facebook上传播关于法国与其前殖民地马里关系的虚假信息。而Gary因为参与了一项复杂的加密骗局被捕，冒充了一位首席执行官。
这些人并不是真实存在的。或者至少，不完全是真实的。它们是由Synthesia的首席执行官Victor Riparbelli发布到公众中的深度伪造视频。这家总部位于伦敦的生成型人工智能公司拥有大约150个可以雇佣的数字人类。所有Synthesia的客户只需输入他们想要实现的文本并按下“生成”按钮，这些精美的角色就会朗读他们的脚本。
Riparbelli对这些角色的设想是将它们作为一种华丽的替代品，用于进行企业培训并赋予公司手册一些活力。但是Synthesia的深度伪造视频引起了企业世界以外更具争议的用户的关注，这些用户利用这些角色在多个大陆传播虚假信息或加密骗局。
Riparbelli说：“我们正在做很多工作。我们不会声称我们完美无缺。这项工作一直在不断发展。”
Riparbelli面临的挑战是未来的前兆。随着公司商业化合成媒体，将生成型人工智能从一种小众产品变成现成的工具，恶意操作者将会利用这一点。行业前沿的企业需要决定他们愿意走多远来阻止这种情况发生，并确定他们是否愿意对他们创建的人工智能负责，还是将其推给分发平台。
Synthesia软件。
Synthesia并不总是被视为生成型人工智能行业的前沿。六年来，Riparbelli和他的联合创始人在聚光灯外辛勤工作，致力于发明一种不使用任何摄像设备制作视频的方法。回顾起来，Riparbelli认为他能够只用笔记本电脑就能在丹麦制作电子音乐（丹麦不是以其俱乐部或音乐产业而闻名的地方）对他现在的工作产生了很大影响。“当时更关注的是谁能制作出优秀的音乐并上传到SoundCloud或YouTube，而不是谁住在好莱坞并且有一个在音乐行业工作的父亲，”他说。他认为视频还有很长的路要走，因为它仍然需要很多设备，“它本质上是受限制的，因为它的成本非常高昂。”
毕业后，Riparbelli进入了丹麦初创企业界，开发了他所描述的“普通”技术，比如会计软件。然而不满意，他搬到伦敦寻找更具科幻色彩的项目。在尝试过加密和虚拟现实项目之后，他开始阅读关于深度伪造视频的内容，并对其潜力着迷。2017年，他与同胞Steffen Tjerrild以及两位计算机视觉教授Lourdes Agapito和Matthias Niessner合作创办了Synthesia。
在过去的六年里，该公司建立了一个令人眼花缭乱的角色库。这些角色有不同的性别、肤色和制服。有嬉皮士和呼叫中心工作人员。圣诞老人有多种人种。在Synthesia的平台上，客户可以自定义角色的语言、口音，甚至可以决定在脚本的哪个部分抬起眉毛。Riparbelli说他最喜欢的是Alex，一个经典美丽但不太引人注目的角色，看起来像是二十多岁，有着中长发。实际上有一个真实的人类版本的Alex在某个地方的街头漫游。Synthesia的算法是通过在自己的制作工作室拍摄演员的镜头来进行训练的。
拥有这些数据对投资者来说非常具有吸引力。风险投资公司Accel的合伙人菲利普·博特里（Philippe Botteri）表示：“他们所有的算法都需要3D数据，因为重点是理解人类如何移动、如何交流。” Accel领导了Synthesia的最新一轮融资。“而为了实现这一点，您需要一套非常特殊的数据，这些数据目前并不可用。”
如今，里帕贝利（Riparbelli）是一种罕见的创始人类型，他既能谈论他对改变游戏规则的技术的愿景，同时还能做好与当下客户的签约等基础工作。他解释道，Synthesia的内部公司口号是“实用性胜于新奇性”。他说：“对我们来说，为真实市场构建有实际商业价值的技术非常重要，而不仅仅是为了制作酷炫的技术演示。”目前，该公司声称有5万个客户。但里帕贝利还希望开发一种技术，使任何人都能使用文本描述一个视频场景，并观看人工智能生成的视频。里帕贝利说：“想象一下，你面前有一片电影场景，有人在那里，你可以告诉他们该做什么。”“我就是这样设想技术将如何工作的。”
但是，Synthesia的技术还有很长的路要走。目前，研发团队专注于里帕贝利所称的“基础人工智能技术”。该公司的虚拟角色被困在看不见的束缚中，无法移动他们的手臂。毫不奇怪的是，让假人类在网络上自由活动并不是没有问题。多年来，Synthesia的虚拟角色，特别是一位看起来很有权威的深度伪造人物，被称为Jason，在社交媒体上冒充新闻主播，播放编写的旨在传播虚假信息的脚本。
2021年12月，Jason出现在与马里政治有关的Facebook页面上，发表了事实查核人员称为虚假的关于法国参与当地政治的指控。然后在2022年底，他再次出现，谴责美国未采取行动遏制枪支暴力，社交媒体分析公司Graphika将该视频追溯到一个亲中文网络机器人网络。今年1月，人们注意到Synthesia的虚拟角色表达了对布基纳法索军事政变的支持。到了3月，事实查核人员对另一段与Synthesia相关的在委内瑞拉流传的视频发出了警告——这次是虚拟角色达伦（Darren）辩称有关这个石油富裕国家普遍贫困的说法被夸大了。该视频得到了支持尼古拉斯·马杜罗总统的账户的推动。4月，加州的金融监管机构发现一个加密货币骗局中使用了虚拟角色Gary，假装自己是合法的首席执行官。
Maxpread Technologies首席执行官的虚假信息宣传活动。
Screenshot: 加利福尼亚州金融部门
到目前为止，Synthesia对这些视频负有责任，里帕贝利坚称该公司自事件曝光以来已经进行了改变。“我们最近做出的决定之一是，新闻内容只允许在企业账户上发布，”他说，解释道企业账户的操作人员身份必须经过他的团队验证。Synthesia雇佣的内容审核员数量今年已经增加了四倍以上，从二月份的仅有四个人增加到了大约占该公司230人的“10%左右”，里帕贝利说。但他认为，人工智能正在迫使行业对传统的内容审核方式进行更广泛的反思。
“传统上，内容审核是在分发的时候进行的。Microsoft Office从来没有阻止您创建一个关于可怕事情的PowerPoint或在Microsoft Word中撰写可怕的宣言，”他说。“但是由于这些技术如此强大，我们现在看到的是，审核越来越多地从创作的时候开始，这也是我们正在做的事情。”
他说，Synthesia会阻止用户创建违反其服务条款的内容。他表示，恶意用户也许能够编写恶意脚本，但他声称人工和算法审核系统的组合将阻止虚假视频播放这些脚本。这些服务条款禁止虚拟角色讨论政治、宗教、种族或性取向。“作为一个人权活动家，它们比我希望的要更具限制性，”Witness的格雷戈里说。但他补充说，Synthesia没有像社交媒体平台一样承担言论自由的责任，所以在某种程度上限制性的条款可能是明智的。“因为它表明我们无法充分进行内容审核，并且内容审核不是我们的主要业务范围，而这些内容可能被用于传播虚假信息。”
做好内容审核将对Riparbelli能否追求他所梦想的那种化身至关重要。他希望合成视频能够像文本一样从纸质媒体跃迁到在线媒体。“第一个网站在屏幕上看起来像报纸，因为那是当时人们能够想象到的，”他说。“但是随着网站的发展，人们发现实际上可以添加链接、音频、视频，并且可以为每个人创建个性化的新闻订阅……我认为同样的事情也将发生在视频领域。”
这种演变对于Synthesia的深度伪造意味着什么？“像个性化这样的东西将显而易见。我认为互动性也将成为重要的一部分。也许你不再只是观看视频，而更像是与人工智能进行Zoom会议。”
