通知公告
> 关于成立绍兴市上虞区信用建设促进
> 2023年度财务信息公示
> 绍兴市上虞区信用建设促进会202
> 关于举办会员企业合规经营与和谐劳
> 安全生产倡议书
> 关于举办2023年绍兴市上虞区信
> 2023年绍兴市上虞区信用建设促
> 更多 >>
会员名单
> 副会长单位
> 理事单位
行业资讯

【风险提示】先声音再视频 所谓“熟人”来敲门？——“AI换脸”诈骗乱象风险预警

发布时间：2023.12.04
点开直播间乍一看，卖货的竟是当红女星。再定睛一看，“明星”其实是使用人工智能（AI）实时换脸技术的普通主播。他们冒充明星艺人，只为增加卖点，助力卖货……
随着数字科技的飞跃发展，“互联网+”时代已经紧跟不断进步的网络技术而到来，AI也在迅速进入大众生活。伴随着这股浪潮席卷社会的方方面面，诈骗手段也随之更新迭代，尤其是日益增加的电信网络诈骗犯罪，不仅对众多受骗者造成了严重的财产损失，也令各类金融机构叫苦不迭。
和你视频对话的，很可能不是本人。如此以假乱真，让人防不胜防。在日益增加的电信诈骗案件中，犯罪分子常常诱导用户自行操作，如何辨别用户的正常操作与受骗后“非自觉”的操作，成为一道风控难题。如今，在“AI换脸”诈骗多发的背景下，如何破局AI技术滥用、如何应对AI技术安全风险无疑也引发业界深思。“AI换脸”的法律边界在哪？普通人又该如何防范？
10分钟被骗取430万元
AI诈骗能有多逼真
 近日，内蒙古包头警方发布一起利用AI实施电信诈骗的典型案例。
 来自福建的郭先生是一家科技公司的法人代表。今年4月，他的好友突然通过微信视频联系他，称自己的朋友在外地竞标，需要430万元保证金，想借用郭先生公司的账户走账。
 基于对好友的信任，加上已经视频聊天“核实”了身份，郭先生在10分钟内，先后分两笔把430万元转到了对方的银行账户上。
事后，郭先生拨打好友电话才得知被骗，原来骗子通过“AI换脸”和拟声技术，佯装好友对其实施诈骗。“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我通了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备。”郭先生说。
 很明显，郭先生陷入了一场利用“AI换脸”技术实施的诈骗骗局。
 什么是“AI换脸”？就是通过AI人工智能技术，把别人的脸换成自己的脸，而且脸部表情自然，效果逼真。整个过程只需要通过一张照片，然后利用AI技术可以在软件上使用自己的照片替换电视剧或者小视频中的人物，从而生成以自己为主角的视频。
这种技术的发展，竟然成为了新型诈骗手段。骗子会利用AI技术，将他人的脸换成指定人的脸，冒充诈骗对象的亲人、朋友等重要关系人，通过合成视频或照片来“以假乱真”。
值得注意的是，骗子不是漫无目的地广撒网，而是别有用心地锁定诈骗对象。他们会分析诈骗对象在网络平台发布的个人信息，根据所要实施的骗术利用AI技术对人群进行筛选，从而选出目标对象，制定诈骗计策。
 郭先生遭遇的魔幻一幕令人吃惊，但这并非“AI换脸”第一次作恶了。
2022年2月，一位陈先生到浙江省温州市公安局瓯海分局仙岩派出所报案称，自己被“好友”诈骗了近5万元。经警方核实，诈骗分子利用陈先生好友“阿诚”在社交平台发布的视频，截取其面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。
2021年，浙江省杭州市拱宸桥派出所接到报警，受害人小陈称他在与女网友视频聊天后被对方敲诈勒索。经警方调查，对方利用“AI换脸”技术，将小陈视频中的面部合成到不雅视频中，借此对其实施勒索。
2020年，上海某公司高管因对方使用“AI换脸”与人工生成的语音技术制作公司领导的面孔，并要该高管转账，致使该高管被诈骗150万元。
除此之外，一位名叫王欣（化名）的受骗者甚至还在诈骗电话中听到了自己母亲的声音。
原来，王欣某天在家里午睡时，突然接到了母亲同事的微信语音电话，对方问她现在在哪里、在做什么。在王欣还不知道发生了什么事情的时候，她从电话里听到了母亲的声音，声音听起来很着急。虽然王欣之前和母亲说好了下午会去看牙医，母亲也知道她在做什么，但她还是接到了这样一通询问行程的电话。
 母亲告诉她，自己接到了一通号码和王欣手机号一模一样的来电。接通电话后，“王欣”的声音从电话那边传来，母亲听到她的女儿在哭喊。电话那边的人对母亲说，王欣被他们绑架了，让母亲马上给他们转账30万元，不然就“撕票”。母亲吓坏了，立马打算给对方转钱，被旁边的同事拦下，就这样，午睡中的王欣被叫醒。
 据王欣说，“骗子还挺高明的，一开始我想，难道看不出来不是我的电话吗?我后来看了一下，那个电话号码就是我的手机号，连我自己都辨别不出来。”一模一样的电话号码瞒过了母亲，神似王欣的声音让母亲更加确信，“我妈妈说，那就是我的声音。”母亲还提到，对方一开始先询问她身边有没有人，并要求她走到没有人的地方。幸好通过微信语音电话及时确认了王欣在家，母亲才放下心来。
“一年之前为了留学办签证，我需要提供30万的存款证明，我第一反应就是这个。”王欣回忆起，曾和母亲有过关于30万元的对话。此外，王欣偶尔会在朋友圈和其它社交媒体上发自己的照片、视频和声音。
 此后，母亲再一次收到了类似的电话。“现在，我妈妈都不太敢接我打的电话了，如果是微信电话的话还可能会接一下。”王欣说。
江苏省常州市公安局常州经开区分局横林派出所民警陈歆怡曾办理过多起倒卖、非法利用用户人脸照片的侵权案件，她表示“AI换脸”换声的基本逻辑是通过深度学习特定算法，将目标人物的人脸、表情、声音等嫁接进模仿的视频中，成本低、合成速率高、检测鉴别难度大，一般人很难发现伪装痕迹。目前，AI诈骗主要有两种形式。
 第一种是通过技术手段合成换脸、换声的视频或语音，在视频聊天、普通电话中直接播放。这种诈骗主要出现于比较紧急的情况，如遭遇事故求助等，播放结束后就会中断连接，无法与被害人形成回合性对话。
 另一种是在视频通话中直接换脸并替换声音，或直接换声拨打电话。
民警提示，以上两种诈骗方式都受限于样本数量，所以可以通过延长通话时间、多次进行提问的方式让对方多说话，露出破绽。
骗子定制“专属剧本”
诈骗成功率非常高
AI诈骗之所以备受社会关注、甚至引发恐慌，主要原因在于AI诈骗是模仿真人声音和面部实施诈骗，针对个人信息定制的“专属剧本”，诈骗成功率非常高。
在包头曝光的案件中，骗子就是盗用受骗人好友微信账号，利用“AI换脸”和拟声技术佯装好友，通过视频聊天成功对受骗人实施诈骗。
多地警方提醒，AI诈骗的成功率接近100%。更要防范亲友间网络上借钱这类诈骗，避免个人信息被别有用心者盗用。
诈骗成功率如此之高，网友不禁直呼“防不胜防”，开始担心刷脸支付、小区门禁人脸识别等各类应用场景下，个人隐私是否已经泄漏。
事实并非如此。
在采访中，有多名反诈民警表示，在实时视频中进行专业级别的“AI换脸”变声，不卡顿、肉眼难以识别，在技术上并非易事，对设备和技术要求极高。
北京社科院研究员王鹏同样认为，AI技术与直播、实时通讯视频结合，要具有一定交互互动性，技术门槛并不低。
市面上几十元的“AI换脸”教程，实际上更类似于PS（图像处理）。有媒体曾体验过某电商平台上39.9元的“AI换脸”技术。卖家提供的教学内容显示，用户根据指引，完成登录、提取脸部数据、训练模型、换脸输出视频等步骤，就能轻松实现“AI换脸”的视频制作。主要适用于拍照场景、影视剧片段的替换合成。
既然仿真技术上较难操作，那为啥频频有人被骗呢？一位反诈民警向记者透露，诈骗分子主要是盗用并伪造好友身份，利用日常话术，赢得了受害者信任，换脸视频只是进一步增加可信度。
比如，在安徽省安庆市何先生被骗的案例中，其微信“好友”突然发起视频通话，电话接通后，何先生看到“好友”正在一间会议室内，并借故会议有事，通过QQ要求周转资金，导致何先生被骗。
“说到底还是电信诈骗的延伸。这些游走在法律边缘的AI技术黑灰产业链，增加了技术被恶意使用的风险。”王鹏说。
有业内人士进而指出，深度合成技术大大降低了信息造假的难度，只需要拿到一张照片，就能生成非常逼真的伪造视频，用于捏造虚假信息、伪造不雅视频、恶搞特定人物等。
此外，有视频换脸研究者表示，实时换脸不存在延迟，也不会有Bug，而直播画面传输的延迟则取决于使用者的网络配置和进行直播的平台。
记者以使用者的身份咨询了一家提供“换脸软件”的网站。该网站客服表示，使用AI换脸需要进行模型训练。“合成效果好不好，关键看模型和素材。”
据提供“换脸软件”的网站介绍，使用者自己从零开始训练模型，如果24小时挂机不停地训练模型，需要经过半个月到一个月的时间，才能达到可以合成视频的效果。
而比起自己花费大量时间训练模型，更多人选择购买现成的模型。“素材充足的话，只要花费半个小时到几个小时的时间就可以直接合成视频。模型可以替换任意素材使用，不分张三李四。”
该网站客服称，他们提供的全套模型购买价格为3.5万元，AI实时换脸可适用于各大直播平台。
“AI换脸”冒充明星带货
或涉嫌欺诈和侵权

除了上述提到的佯装“熟人脸”实施诈骗，“AI换脸”还出现在直播带货中。最近，网上出现了一些“换脸直播”教程，教程发布者声称，实时变脸软件可以帮助用户轻松“变脸”，极大地助力直播引流卖货。

在一个展示换脸直播效果的视频中，使用者把名为“成龙”的模型载入相关软件后，摄像头前的人在直播画面中就有了与成龙相似的五官，但脸型和发型还保持原样。

记者发现，使用者歪头或变换表情时，五官动效切换得自然顺滑，只有手掌从脸前划过时，出现了比较明显的破绽。

据中国新闻网报道，2021年5月，“迪丽热巴”在某电商平台直播卖货，“迪丽热巴”身穿中式服装，在直播间推荐各种产品，并与观众互动聊天。但仔细观察可以发现，“迪丽热巴”的嘴唇和眼睛有些不协调，声音也有些变调。

另据羊城晚报报道，2021年4月，“杨幂”在某电商平台直播卖货，“杨幂”身穿白色连衣裙，在直播间推荐各种美妆产品，并与观众互动聊天。但仔细观察可以发现，“杨幂”的眼睛有些死板，声音也有些沙哑。

以上案例仅是冰山一角。

连日来，记者也在抖音、快手、视频号等直播间浏览，暂未见到有“AI换脸”的直播。随后记者也在小红书上搜索“AI换脸”，发现有不少博主通过视频拆解“AI换脸”诈骗的案例，并提醒大家要注意网聊风险。

“AI换脸”技术陆续出现在大众视野，被不少网友拿来“玩梗”。今年初电视剧《狂飙》走红时，有网友把《狂飙》中的多位男主角样子“换到”了组合F4经典歌曲《流星花园》的MV中，戏称为“狂飙F4”。此外，有博主利用“AI换脸”，将特斯拉创始人马斯克的脸换到了不同背景的照片中，戏称“马斯克卖烧烤”“马斯克摆摊”……目的是为了吸引网友们的眼球，带来更多的流量。

目前“AI换脸”技术越来越成熟，呈现效果越来越逼真，从一开始的自娱自乐，到如今在社会上众多领域中使用。

深度科技研究院院长张孝荣表示，当前的“AI换脸”属于深度伪造的AI技术衍生应用。现在，随着生成式AI的发展，使用难度进一步降低，新兴的App和主流的视频软件都增加了类似功能，普及率大大提升，如此一来，线上的“李逵”和“李鬼”日益增多，而且更加真假难辨。

“随着深度伪造技术、扩散模型、生成对抗网络和AI大模型等AI技术的日渐成熟，伪造相关视频、音频、图像等技术门槛大幅降低。”天使投资人、资深人工智能专家郭涛表示，与此同时，大批提供相关服务的第三方应用软件问世，应用门槛进一步降低，哪怕是“AI技术小白”几分钟也能轻松学会“AI换脸”等操作。

“直播换脸软件，有的收费有的免费，收费的从几百到几千上万元，成本各有不同。”张孝荣直言。

北京岳成律师事务所高级合伙人岳屾山表示，换脸直播用于公开传播可能涉嫌侵犯相关明星艺人的肖像权。根据不同情况，承担的后果可能不同。如果把明星肖像用于带货直播，则属于商业行为，如果主观恶性、过错程度比较大，且因此获利，赔偿数额可能会更高。

记者注意到，一些使用换脸技术的直播并不会直接提到相关明星艺人的名字，但也不会主动声明或者否认。岳屾山认为，该行为涉嫌欺诈或是虚假宣传，让公众误以为就是明星在带货。如果货品本身质量不好，或者主播在带货过程中说的话或行为导致公众对被换脸的明星产生负面评价，明星可以主张名誉权的侵权责任。

据专家分析，在“AI换脸”、AI拟声等技术背后存在着一条条黑色产业链。对此，记者总结了近期AI诈骗的4种类型。

声音合成：骗子通过提取某人的声音素材，利用AI技术合成语音，冒充亲友、领导、客服等身份，诱导受害者转账或泄露个人信息。

转发微信语音：骗子在盗取微信号后，便向其好友“借钱”，为取得对方的信任，他们会转发之前的语音，进而骗取钱款。尽管微信没有语音转发功能，但他们通过提取语音文件或安装非官方版本（插件），实现语音转发。

“AI换脸”：骗子通过截取或收集某人的面部视频画面，利用AI技术换脸，制造视频聊天的假象，骗取受害者的信任和钱财。

AI程序筛选受害人：骗子利用AI分析公众发布在网上的各类信息，根据所要实施的骗术对人群进行筛选，在短时间内便可生产出定制化的诈骗脚本，从而实施精准诈骗。


AI技术存在滥用风险
务必保持防范意识

为规范人工智能发展，相关监管一直在持续发力。

去年12月，《互联网信息服务深度合成管理规定》正式发布，明确了合成数据和技术管理规范。其中提到：深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能服务的，应当进行显著标识，避免公众混淆或者误认。

今年4月，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称《管理办法》），这也是国家首次针对生成式AI产业发布规范性政策。《管理办法》提及，利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。尊重他人合法利益，防止伤害他人身心健康，损害肖像权、名誉权和个人隐私，侵犯知识产权。禁止非法获取、披露、利用个人信息和隐私、商业秘密。

5月9日，《抖音关于人工智能生成内容的平台规范暨行业倡议》发布，要求创作者、主播、用户、商家、广告主等平台生态参与者，在抖音应用生成式人工智能技术时，应遵循相关规范，其中包括发布者应对人工智能生成内容进行显著标识，帮助其他用户区分虚拟与现实，特别是易混淆场景；虚拟人需在平台进行注册，虚拟人技术使用者需实名认证等。

8月，国家网信办发布的《人脸识别技术应用安全管理规定(试行)(征求意见稿)》明确，人脸识别技术使用者应每年对图像采集设备、个人身份识别设备的安全性和可能存在的风险进行检测评估，采取有效措施保护图像采集设备、个人身份识别设备免受攻击、侵入、干扰和破坏。

近期，也有平台和企业发布了相关行业倡议，明确禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等，一经发现，平台将严格处罚。

一系列政策的发布实施为广大消费者敲响了警钟，中国科技大学公共事务学院网络空间安全学院教授左晓栋对此表示，目前看来初步遏制了滥用人工智能技术。特别是遏制了违法犯罪的势头，整体治理效果开始显现，而且也有力促进了人工智能技术的规范发展。

一项新技术的落地应用往往会经历一段“成长的烦恼”，这是新事物发展过程中的共性问题。在某些人工智能技术应用门槛不断降低而触达面越来越广的当下，积极着手问题的研判与应对，研究出台有效举措划清新技术使用的边界、相关权责等，都应当快马加鞭，少一些空白、多一些规范。

某种程度上，人工智能技术的使用有多方便，就可能有多少风险和变数。防范包括“AI换脸”在内的人工智能技术被滥用，要加强对人脸、声纹、指纹、步态等生物信息数据的安全防护。这需要每个人提高防范意识，更需要监管部门在完善规制的进程上加快脚步。