人工智能生成内容（AIGC）既可以指代与专业生成内容（PGC）和用户生成内容（UGC）相区分的，通过人工智能技术自动生成的文本、图像、视频等信息内容，也可以指代生产这种内容的方式与技术。

AIGC技术从早期追求内容仿真性逐渐演变为追求内容多样性、可控性、实用性，逐渐在各领域辅助甚至代替人类完成内容生产。然而，AIGC技术复杂的应用场景与强大的内容生成能力，使其伴生的信息安全风险呈现类型多样化、覆盖范围广的特征。

近年来，通过AIGC技术生成高仿真钓鱼邮件、发起网络攻击及AI创作侵权等事件层出不穷。在应用AIGC技术助力内容生产的同时，如何防范其带来的信息安全风险，值得各方共同探讨。

针对AIGC技术可能带来的信息安全风险，可采取以下防范措施。

1.侵权与数据伦理问题——明确行业规范

对于训练数据选取带来的问题，应制定相关行业规范或管理条例，明确信息可用范围与程度。我国《生成式人工智能服务管理暂行办法》中要求模型训练数据应具有合法来源，不得侵害他人知识产权，且应依法使用个人信息。在具体实施过程中，可以进一步对来自不同渠道数据的使用限度加以分类规范。此外，可加强数据脱敏与敏感数据识别技术的研发，在保障个体与国家信息安全的前提下尽可能拓宽大模型发展空间。

对不当数据选取、标注或算法薄弱性带来的公平问题，既要求研发方明确标注规范，也应加强对人类反馈强化学习（RLHF）、AI反馈强化学习（RLAIF）和上下文学习（ICL）等技术的开发和应用，从技术上持续纠偏。

2.模型漏洞与数据漂移问题——技术监测与持续评估

模型算法问题导致的漏洞与数据漂移问题应从技术手段入手解决。模型开发阶段推进多模态对齐技术的研发，不断优化模型多模态融合框架；在模型部署后，定期通过模拟攻击与监测技术识别算法漏洞，并及时加以修复。针对数据漂移应引入模型性能持续评估程序，监测漂移指标与模型行为，进而通过定期重训练、修改数据权重等方式加以修正。

3.信息过度获取与留存问题——信息脱敏与信息政策

针对用户信息与情境信息过度获取与留存问题，应从监管与开发两端同时发力。一方面，根据AIGC应用的类型与来源规定其获取信息深度；另一方面，要求服务提供方提高用户信息政策透明度，确保用户了解信息收集程度与去向。技术上探索数据脱敏与大模型数据删除验证的思路，以有效规制信息留存。

对于相关管理部门，首先应严格规定AIGC技术的应用范围并制定追责章程，其次应提高事前预警技术的精准度与灵敏度，通过数字水印等技术对数据予以加密和标识，从技术上预防敏感信息泄露。

4.有害信息生成问题——内容标识

对于AIGC不当信息生成，除对数据算法加以监管外，也应尽快健全AIGC标识的国际标准与行业规范，从技术规则上

确立AIGC与人类生产内容的边界，防范AIGC滥用。

对相关管理部门而言，应严格防范利用AIGC技术实施的窃密与策反，既要通过宣传教育提高工作人员的信息安全意识，也应及时关注AIGC技术对生物识别等安全措施的攻击效果并予以防范。

5.网络攻击问题——技术防御与监测

对于AIGC技术开发与应用各阶段可能面临的网络攻击，应结合潜在威胁机制防御和应对。例如，针对数据投毒，从训练检测、鲁棒训练与数据增强等方法入手展开防御；对于对抗攻击，可通过对抗训练、模型剪枝等方式应对。目前，针对提示注入攻击尚缺乏有效的预防手段，但仍可通过增加提示检测器、加强输出过滤等方式防御部分攻击。

来源：保密科学技术公众号

初审：邢晓霜

复审：王  楠

终审：刘志远