警惕AI“数据投毒”!0.01%虚假训练文本可致有害内容增11.2%

音符科技网

国家安全部今天(5日)发布安全提示文章,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

数据是人工智能的基础

人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

提供AI模型的原料。海量数据为AI模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。

影响AI模型的性能。AI模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,能提升模型应对实际复杂场景的能力。

促进AI模型的应用。数据资源的日益丰富,加速了“人工智能+”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

数据污染冲击安全防线

高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示:

当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;

即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

筑牢人工智能数据底座

加强源头监管,防范污染生成。以《中华人民共和国 *** 安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据,建立AI数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范AI数据安全威胁。

强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。

末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

文章版权声明:除非注明,否则均为音符科技网 wap.luzhiwang.com原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 上市不到一周,理想i8调整为统一配置,售价33.98万元
  • 龙湖完成9.5亿元“20龙湖06”兑付,年内累计兑付公开债超百亿
  • 魔都眼|ChinaJoy 闭幕:千款游戏亮相,观众破41万
  • 制服的暴政:为你想要的工作而打扮
  • 配役、配流、配军——《宋史·刑法志》所见北宋的“配隶”
  • “金道锡行”:中国南方早期的锡业
  • 马上评丨“铁箱锁章”锁住的不仅是村民办事的便利
  • 产能去化能力偏弱致蛋价“旺季不旺”,分析师:短期仍存在下行可能
  • 极端暴雨中如何安全转移群众?湖南桑植县应急管理局局长答澎湃
  • 印度前总理之孙性侵帮佣被判终身监禁,崩溃恳求法官减刑,坚称自己没做错任何事
  • 仪式理论视域下策展与观看的逻辑重构——“金字塔之巅:古埃及文明大展”观察
  • 宽财政推动融资需求增长!红利低波ETF(512890)近5个交易日“吸金”4.8亿
  • 深圳启动三级防汛应急响应,全市公园实施闭园管理
  • 丹诺医药赴港IPO背后:旗下明星产品冲刺上市,资金压力成关键考题
  • 又见大股东加仓!南京高科增持南京银行重回9%,银行股还能强势多久?
  • 理想i8降价更改为单一配置,定价33.98万元
  • 重返3600点,沪指半日强势上涨0.53%
  • 深圳机场航延预警生效中,5日全天航班运行将受影响
  • 四川江油14岁女生被殴打,警方:施暴者为“官二代”等信息不实
  • 西藏自治区主席:去年全区脱贫人口人均纯收入同比增长12.5%以上
  • 山东青岛海螺大爆发,潜水员称十年难遇:根本抓不完,3小时赚3500元
  • 透视美国二季度GDP的“表与里”
  • 月入多少,才甘心做团播燃料
  • 参保人员虚开精神病等药品出售,最高法:绝不姑息骗保行为
  • 西藏自治区主席:今年上半年接待国内外游客超3000万人次
  • 港股午评:恒指涨0.27%,恒生科技指数涨0.33%,原材料板块走强
  • ST联创:公司暂时没有涉及氟化液电子冷却液产品
  • 日本名古屋市市长:希望与友好城市南京恢复交流
  • 暗蓝评《西方宇宙观念的变迁》丨救现象还是救灵魂
  • 价值约2083亿元,马斯克获巨额奖励!特斯拉市值一夜增超1500亿元
  • 以军说拦截一枚从也门发射的导弹
  • 内塔尼亚胡计划全面占领加沙,以色列国际压力和国内矛盾加剧
  • 理想汽车宣布理想i8配置统一版本,售价统一为33.98万元
  • 8月底关闭所有会员店,是什么让盒马选择了放弃
  • 王金盛:降息预期压美指 现货黄金今日走势分析及原油策略
  • 有多少中国情侣,因为AA制闹分手
  • 中央代表团将赴西藏出席自治区成立60周年庆祝活动
  • 提供虚假材料干扰事故调查处理,中国铁路武汉供电段被罚6万
  • PC业务市场份额持续提升 里昂:维持联想集团跑赢大盘评级
  • 大摩:料腾讯控股《无畏契约》手游年收入可达50至60亿元人民币 予“增持”评级
  • 目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码