ITBear旗下自媒体矩阵:

陈恺获杰出青年中关村奖,正攻克AI安全难题,避免大模型“乱说话”

   时间:2024-11-20 15:10:01 来源:新京报作者:新京报编辑:瑞雪 发表评论无障碍通道

在科技创新的浪潮中,北京市科学技术奖近日揭晓,其中,中国科学院信息工程研究所的青年科学家陈恺荣获了2023年度北京市杰出青年中关村奖。这一奖项旨在表彰那些具有引领未来科技发展潜力的青年才俊。

陈恺的研究领域聚焦于信息安全,他的工作不仅关乎个人隐私的保护,更对自动驾驶等前沿技术的安全性有着深远影响。在自动驾驶领域,陈恺指出,由于智能算法的局限性,机器与人眼在识别同一物体时可能存在巨大差异,这种差异为黑客攻击提供了可乘之机。例如,攻击者通过在限速标志上添加微小干扰,便可能误导自动驾驶系统,造成安全隐患。

中国科学院信息工程研究所研究员陈恺

针对这一问题,陈恺研发了创新的防御算法,能够在物理世界中有效抵御此类攻击。他强调,传统研究方法往往局限于模拟环境,难以在现实世界中复现。而他提出的解决方案,则充分考虑了实际环境中的各种变量,如颜色差异、车辆运动状态等,从而大幅提升了防御效果。

在信息安全领域,陈恺还取得了另一项重要突破——他研发的系统能够高效检测未知恶意代码,特别是那些伪装成正规APP的恶意软件。这些假冒APP往往通过微小的图标变化等手段欺骗用户,一旦用户下载并输入个人信息,便可能面临隐私泄露和财产损失的风险。陈恺的系统能够在用户下载恶意文件前进行预警,同时也在应用市场层面进行大规模检测,有效遏制了恶意软件的传播。

陈恺还在人工智能安全领域展开了深入研究。他发现,通过特定的引导语句,可以使大型语言模型陷入“越狱”状态,从而说出违反法律或伦理道德的话。为了规范大模型的行为,他正在与相关企业合作,致力于提升人工智能应用的安全性。

 
举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version