- A+
以ChatGPT为代表的生成式AI快速发展，掀起了全球人工智能发展的热潮，但AI技术在不断进步的同时，也带来了不少安全挑战。
人们一面能享受AI带来的先进生产体验，但一面也面临着犯罪份子借助AI“更新”的犯罪手段。比如利用AI换脸进行诈骗，让传统的“眼见为实”面临巨大挑战。
近日，据外媒报道，AI生成的埃隆·马斯克的形象，已经出现在数千条虚假广告中，导致许多人被骗。AI驱动的"深度伪造"（deepfake）视频预计每年将造成数十亿美元的欺诈损失。
AI伪造马斯克
随着人工智能技术的广泛普及，以埃隆·马斯克等公众人物为焦点的“Deepfake”（深度伪造）风潮逐渐兴起。复制名人声音变得简单，甚至能够篡改视频内容，这吸引了诈骗犯的注意。
据外媒报道，82岁的退休人员博尚普（SteveBeauchamp）看到了一段"马斯克"推荐一个激进投资机会的视频，该机会承诺会带来快速的回报。他联系了推销该项目的公司，并开设了一个账户，存入了248美元。在接下来的几周内，通过一系列交易，博尚普耗尽了他的退休账户，最终投资了超过69万美元。
然后，这些钱被利用人工智能的新型犯罪企业的数字骗子骗走了。这些骗子编辑了一段马斯克的真实采访，利用AI工具替换了他的声音。这个AI足够先进，可以改变细微的嘴部动作，以匹配他们为这个数字假冒人物编写的新台词。对普通观众来说，这种操控可能难以察觉。
有业内人士评价称，这些视频往往非常逼真，模仿了马斯克标志性的语调和南非口音。
在过去几个月中，数以千计由AI生成的视频（称为深度伪造）充斥网络，其中包括虚假的马斯克形象，欺骗了众多潜在投资者。德勤预计，AI驱动的深度伪造每年可能导致数十亿美元的欺诈损失。这些视频制作成本仅需几美元，几分钟内即可完成，并通过社交媒体（包括Facebook的付费广告）推广，扩大其影响范围。
据了解，诈骗分子通过深度合成技术(即利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术)，将人的面部表情和声音与另一个人的图像和声音结合起来，从而创造出虚假的视频或音频。
中国政法大学数据法治研究院教授张凌寒此前在接受媒体采访时表示，深度合成技术内容制作技术门槛越来越低，普通人仅需要少量的图像、音频、视频、文本等样本数据，利用简便易用的深度合成工具，就能够模糊真实信息和虚假信息的边界。
AI犯罪日益严重
实际上，国家金融监督管理总局北京监管局2023年也曾发布谨防“AI换脸”等新型欺诈手段的风险提示，利用“AI换脸拟声”诈骗的形式已经存在一段时间。
2023年8月10日，公安部召开新闻发布会，针对“AI换脸”导致群众被欺诈的问题，公安机关依托“净网”专项行动，组织专项会战，严打泄露身份证照片等图像信息的犯罪源头，侦破相关案件79起，抓获犯罪嫌疑人515名。
今年上半年，中国香港警方披露了一起AI“换脸”诈骗案件。一家跨国公司香港分部的职工受邀参加总部首席财务官发起的视频会议，同时还有数名财务人员参会。该香港公司职工按照要求共计转出2亿港元，其后，向总部核实后才知受骗。
AI换脸诈骗容易成功的一个重要原因是，“眼见为实”的常识被挑战。此案中，据警方调查，所谓的视频会议，只有受害人一个人是“真人”，其他“参会人员”都是经过AI换脸后的诈骗人员。
当下，深度合成技术不仅被广泛应用于影视、娱乐、教育等领域，也被不法份子用于诈骗、色情等违法犯罪行为，带来诸多风险和隐患。
例如，澳大利亚广播公司报道称，东南亚的犯罪集团在“杀猪盘”中使用了生成式AI。犯罪分子利用大语言模型或聊天机器人，用不同语言向受害者发送消息，扩大骗局影响范围。
技术、政策监管尤为重要
追本溯源来看，深度伪造相关的技术已十分成熟。当诈骗与AI技术结合，面对纷繁复杂的骗术，公众该如何应对？
据媒体报道，此前在网络上也曾广泛流传的一些辨别真伪的技巧，如观察对方的牙齿、舌头、耳朵或者手指是否会随着人物移动而出现不自然的阴影。在部分场景中，这些技巧确实存在可行性。但如果想要追求准确分辨真伪，这些细节仅能作为参考。
由于深度合成内容越发逼真，采用技术手段进行鉴别的解决方案也随之出现。据媒体引用业内人士信息，常用的方法包括基于伪造内容数据集完成对模型检测器的训练、基于帧间不一致性实现对伪造内容的判别等。
从央视网报道来看，AI换脸诈骗检测与预警技术正在测试中。工业和信息化部反诈工作专班专家李坤表示：“我们正在会同行业内的手机终端企业，将推出AI换脸诈骗风险提醒功能，这项功能仅在手机端来本地运行，能够有效保护用户数据不泄露。经过用户授权后，可为用户提供AI换脸诈骗风险预警提醒。”
中国信通院人工智能所安全与元宇宙部专家陈文弢称：“要对生成合成的内容去添加一些水印，这个水印的本质其实就是要一方面去提示公众这个内容是由AI生成或者合成的，另一方面也是要追溯它的来源。”
实际上，我国高度重视数据风险的分析与预防。伴随ChatGPT在国内迅速掀起生成式人工智能浪潮，国内针对AIGC产品的相关监管也快速跟进。
其中，对深度伪造技术的应用监管和风险防范有针对性规定的有《网络音视频信息服务管理规定》《网络信息内容生态治理规定》《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》。
《互联网信息服务算法推荐管理规定》要求对算法生成合成的信息作显著标识，并要求提供互联网新闻信息服务的算法推荐服务提供者和使用者，不得生成合成虚假新闻信息。《互联网信息服务深度合成管理规定》则更加细致地规定了包括智能对话、智能写作、人脸生成、人脸操控、姿态操控等具有生成或显著改变信息内容功能的深度合成服务应当遵守的要求，包括以显著标识的形式向公众提示。
《生成式人工智能服务管理暂行办法》中规定生成式人工智能服务提供者涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。
此外，最高人民法院、最高人民检察院、公安部发布的《关于依法惩治网络暴力违法犯罪的指导意见》，对“利用‘深度合成’等生成式人工智能技术发布违法信息”的网络暴力违法犯罪行为作出了“从重处罚”的规定。
综合自界面、中国经济周刊、央广网、IT之家、法治周末等
