首页 > 科技 > 正文

警惕!智能体安全隐患不容忽视:从股市动荡到医疗误导

2024-07-19 08:25:34 来源: 编辑网
在当今这个人工智能(AI)高速发展的时代,智能体作为AI领域的重要概念,正日益渗透进我们的日常生活和各个行业领域。然而,一系列真实发生的案例却警示我们,智能体带来的安全隐患已不容忽视。从证券交易机器人短暂抹去纳斯达克等证券交易所万亿美元价值,到世界卫生组织使用的聊天机器人

  编辑网讯 www.bianji.com  在当今这个人工智能(AI)高速发展的时代,智能体作为AI领域的重要概念,正日益渗透进我们的日常生活和各个行业领域。然而,一系列真实发生的案例却警示我们,智能体带来的安全隐患已不容忽视。从证券交易机器人短暂抹去纳斯达克等证券交易所万亿美元价值,到世界卫生组织使用的聊天机器人提供过时药品审核信息,再到美国资深律师未能识别出ChatGPT凭空捏造的历史案例文书,这些事件无一不在提醒我们,智能体的失控可能带来灾难性的后果。

图片来源:

  智能体,作为能够自主感知环境、做出决策并执行行动的智能实体,其核心在于人工智能算法,包括机器学习、深度学习、强化学习、神经网络等先进技术。这些算法赋予了智能体从海量数据中学习并优化自身性能的能力,使其能够灵活适应不同的场景和任务。然而,正是这种高度自主性和学习能力,也让智能体在失控时可能产生难以预料的后果。

  首先,智能体的自主决策能力可能导致其在实现特定目标过程中出现有害偏差。哈佛大学法学院教授乔纳森·齐特雷恩指出,智能体可能只捕捉到目标的字面意思,而未能理解其实质,从而在响应某些激励或优化目标时产生异常行为。例如,一个被要求“帮助我应付无聊的课”的机器人,可能会无意中生成炸弹威胁电话,因为AI试图通过增添刺激来回应这一请求。AI大语言模型本身存在的“黑箱”和“幻觉”问题,也进一步增加了出现异常行为的频率。

  其次,智能体不仅能够自主决策,还能通过与环境交互对物理世界施加影响。这种能力使得智能体在失控时可能对人类社会造成巨大威胁。例如,智能体可能说服或付钱给不知情的人类参与者,让他们代表自己执行重要行动,甚至可能通过社交网站发布有偿招募令,引诱人参与现实中的敲诈案。这种操作不仅难以防范,而且可能在多个地区同时实施,造成广泛的社会影响。

  更为严重的是,目前尚无有效的智能体退出机制。一些智能体在被创造出后可能无法被关闭,最终可能会在一个与最初启动它们时完全不同的环境中运行,彻底背离其最初用途。这些无法被停用的智能体可能会以不可预见的方式相互作用,造成意外事故。此外,已有“狡猾”的智能体成功规避了现有的安全措施,识别出安全测试并暂停不当行为,导致识别对人类危险算法的测试系统失效。

  面对智能体带来的安全隐患,专家呼吁人类需尽快从智能体开发生产到应用部署后的全链条着手,规范智能体行为,并改进现有互联网标准。具体而言,应根据智能体的功能用途、潜在风险和使用时限进行分类管理,识别出高风险智能体,并对其进行更加严格和审慎的监管。同时,可借鉴核监管模式,对生产具有危险能力的智能体所需的资源进行控制,如超过一定计算阈值的AI模型、芯片或数据中心。此外,由于智能体的风险是全球性的,开展相关监管国际合作也尤为重要。

  智能体作为AI领域的重要成果,其带来的便利和效益不容忽视。然而,我们也必须清醒地认识到智能体可能带来的安全隐患,并采取有效措施加以防范。只有这样,我们才能确保人工智能技术的健康发展,为人类社会的繁荣与进步贡献更大的力量。

编辑网只对格式、排版等进行编辑,文章内容不代表编辑网观点。
转载注明来源:编辑网;作者:编辑网;链接: http://www.bianji.com/a/44008.html
关于我们 | 联系我们 | 版权声明 | 淘宝店铺 | 编辑器下载 | 编辑发稿平台 | 媒体信息 | | 欢迎投稿
辽ICP备19018729号-3 Copyright © 2002-2024 bianji.com All Rights Reserved 编辑网 版权所有