AI safety
概念词 📚 基础词库 · 存量热词AI 安全
🔍 Google 联想 10 📄 arxiv 782 篇 📅 首次出现 2026-08-28
🧠 AI safety 是什么
AI 安全(AI safety)关注两个层面:近期,让已部署的 AI 系统不出错、不被滥用、不泄露隐私;远期,防止能力超越人类的 AI 在追求目标时对人类造成不可逆的伤害。
2016 年的经典论文《Concrete Problems in AI Safety》把安全议题拆解为规避错误、对抗性攻击、分布外泛化、安全监控等可操作课题,奠定了现代研究框架。2023 年起,OpenAI 超级对齐团队、英国 AI 安全研究所、美国 AI 安全研究所相继成立,安全研究迎来建制化高峰。
与对齐相比,AI 安全的范围更广,还包括能力评估、红队演练、突发事件响应与社会治理;学界普遍认为安全投入的速度必须跟上模型能力的增速。
🔥 为什么现在火
前沿模型能力逼近人类水平,各国政府、实验室与民间机构竞相设立安全研究组织;AI 安全人才供不应求,相关岗位与科研经费快速增长,安全议题频繁进入立法议程。
📄 证据链(交叉验证)
🔍 搜索形态
what is AI safety AI safety meaning
AI safety 常见问题 FAQ
AI 安全与 AI 对齐有何区别?+
对齐是让 AI 目标符合人类意图,是安全的核心环节;安全还涵盖鲁棒性、滥用防范、失控预防、评估与治理等更广议题。
AI 安全最担心什么?+
经典场景是"失控智能":超级智能在错误目标下采取不可逆行动,或安全标准在竞争压力下被系统性放弃。
与 AI safety 相关的搜索
人们搜索 AI safety 时,还会关心这些问题:
- AI 安全 是什么
- 什么是 AI 安全
- AI 安全 是什么意思
- AI 安全 原理
- AI 安全 有什么用
- AI 安全 应用场景
- AI 安全 为什么火
- AI 安全 2026