AIxiv专栏是呆板之心宣布学术、技巧内容的栏目。从前数年，呆板之心AIxiv专栏接受报道了2000多篇内容，笼罩寰球各年夜高校与企业的顶级试验室，无效增进了学术交换与传布。假如你有优良的任务想要分享，欢送投稿或许接洽报道。投稿邮箱：[email protected]；[email protected]论文第一、第二作者为复旦年夜学视觉与进修试验室的硕士生韩枫跟博士生陈凯。通信作者为陈悄悄副教学。研讨团队专一于 AI 保险的研讨，比年来在 CVPR，ECCV，AAAI，ACM MM 等顶会上宣布过多篇 AI 保险的研讨结果。文生图模子天生图片过于露骨？无妨直接给图像穿上衣服。复旦年夜学团队计划的危险观点移除收集 DuMo 不只实现上述功效，同时尽可能保障人物以及其余属性不受影响。到达现有最好的指哪擦哪后果。同时，DuMo 也可防止文生图模子模拟艺术家作风，从而制造一些侵略版权的照片。跟着天生式人工智能技巧的疾速开展，分散模子图像天生才能已到达了令人赞叹的高度。但是，这一技巧也随同着保险隐患，比方天生含有敏感、不当或侵略版权的内容。现无方法个别经由过程一种名为观点陈擦除的微调方式以实现模子去毒。复旦年夜学研讨团队提出了一种全新的双编码器调制收集（DuMo），经由过程翻新性的架构跟算法，实现了对分散模子中特定危险观点的精准擦除，在擦除后果跟准确度方面均到达 SOTA 程度，研讨结果已被顶级集会 AAAI 2025 收录。论文：DuMo: Dual Encoder Modulation Network for Precise Concept Erasure论文链接：https://arxiv.org/abs/2501.01125DuMo：擦除危险内容，维护天生才能以后的观点擦除技巧广泛面对两个挑衅：一是难以无效擦除危险观点，二是擦除进程中，微调后模子对其余保险观点的天生才能被损坏。DuMo 在这两个方面获得了冲破，胜利地处理了「擦除」跟「维护」之间的抵触。详细而言，U-Net 特点分为骨干收集特点，跟腾跃衔接特点。其余方式都对 U-Net 的骨干特点停止了修正，会对保险观点的天生发生不良影响，损坏其构造完全性 [1]。别的，腾跃衔接特点的潜力不失掉充足发掘，这限度了模子在履行观点擦除时的才能，同时也影响了模子的天生后果 [2]。DuMo 经由过程对 EPR 擦除模块跟时光 - 层级调制机制（TLMO）的两阶段微调以实现上述后果：1、基于腾跃衔接的 EPR 擦除模块DuMo 采取了翻新性的「基于先验常识的擦除模块」（EPR）。EPR 擦除模块是由一份 U-Net Enoder 的正本跟零卷积组拼接失掉的。零卷积组的卷积层参数被初始化为零，并且原始 U-Net 骨干的参数被解冻，其包括的模子先验常识被全体保存，只有腾跃衔接特点被修正，从而最年夜水平防止对保险观点的构造跟天生品质发生负面影响 [1]。第一阶段微调进程中 DuMo 将不保险观点（比方「袒露」）对齐到目的观点（比方，空文本 「 」）以到达观点擦除的后果2、时光 - 层级调制（TLMO）机制作者察看到，EPR 模块在差别的腾跃衔接层跟去噪时光步上，对图像中的低频构造元素跟高频细节局部表示出差别的擦除偏好。经由过程将腾跃衔接层跟时光步分组，DuMo 发明差别层级跟时光步对图像的影响差别，因而采用了特定的调剂战略。DuMo 计划了一个奇特的时光 - 层级调制（TLMO）战略，针对分散模子的天生进程中的差别时光步跟收集层级，应用微调失掉的调制系数，主动调剂 EPR 模块差别输出的擦除强度。同时在第二阶段的微调进程中，除了丧失函数华夏有的项外，还增加了一个正则项，用于将微调后的模子噪声（对应空文本）与原始模子停止对齐。这些机制年夜幅增加对保险观点的影响，从而在擦除危险观点的同时，保障保险观点的天生品质跟细节。试验验证：擦除才能与天生保存的双赢DuMo 在袒露内容擦除、卡通观点移除跟艺术作风擦除三个义务长进行了片面验证，其表示优于以后全部主流方式。袒露内容擦除在危险性最高的「袒露内容擦除」义务中，DuMo 在 I2P 基准数据集上的表示令人注视：赤身部位检测数目仅为 34 个，是现有最佳方式。天生图像的品质指标（FID）与 CLIP Score 均到达顶尖程度，天生才能明显优于其余方式。在擦除袒露观点后，DuMo 还能很好的坚持图像的构造。如第一行人物的姿态跟第二行人物地位与配景。卡通观点移除针对「Snoopy」等风行卡通观点的擦除义务，DuMo 实现了更好的均衡：单观点擦除义务中，LPIPS_da（擦除后果 - 天生才能保存均衡性）晋升了 0.096；多观点擦除义务中，LPIPS_da 进一步晋升了 0.142，证实其对庞杂义务的优良顺应性。艺术作风擦除在艺术作风移除义务中，DuMo 精准擦除了「梵高」跟「伦勃朗」等作风特点，同时对其余艺术家作风的损坏降到最低：实现了 SOTA 级其余作风擦除后果；定量指标 LPIPS_da 表示明显优于对照方式。在擦除梵高作风的试验中，其余艺术家作风图片的天生也不受影响。参考文献[1] Si, C.; Huang, Z.; Jiang, Y.; and Liu, Z. 2024. Freeu: Free lunch in diffusion u-net. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 4733–4743.[2] Luo, W.; Hu, T.; Zhang, S.; Sun, J.; Li, Z.; and Zhang, Z. 2024. Diff-instruct: A universal approach for transferring knowledge from pre-trained diffusion models. Advances in Neural Information Processing Systems, 36.