- 时长
- 25–34 周 + 持续
- 可从事
- AI 安全工程师, AI 红队测试员, 机器学习安全研究员, AI 治理与风险专家
适合已经了解机器学习和安全基础、想在两者交汇处工作的人。
只攻击你自己拥有或已获书面授权测试的模型、应用和系统。请使用下面的实验环境和开源工具。
-
阶段 1: 基础：机器学习与安全入门 ， 4–6 周
学习内容
动手做: 画出一个小型机器学习或 LLM 应用（数据、模型、API、用户）的架构图，标出攻击者可能触及的每个位置。
进入下一阶段的标准: 你能训练一个简单的分类器，并讲清 Web 的 OWASP Top 10 风险。如果还不行，请先完成“AI 与机器学习”和“网络安全”路线的前几个阶段。
-
阶段 2: AI 系统面临的威胁 ， 3–4 周
学习内容
免费资源
动手做: 为第 1 阶段的应用做一份威胁模型，对应到 OWASP LLM 风险和 MITRE ATLAS 技术，并为每一项给出一种缓解措施。
进入下一阶段的标准: 对任何 AI 功能，你都能说出最可能的三种攻击，以及每种攻击从哪里进入。
-
阶段 3: 对抗性机器学习 ， 8–10 周
学习内容
免费资源
动手做: 用 Adversarial Robustness Toolbox 对你自己的图像或文本分类器发起规避攻击，然后加入一种防御，测量它到底能起多大作用。
进入下一阶段的标准: 你能对自己的模型实施规避攻击和投毒攻击，并解释为什么大多数简单防御都会失效。
-
阶段 4: LLM 安全实战 ， 6–8 周
学习内容
免费资源
动手做: 做一个会读取文档的小型 LLM 应用，用 garak 或 PyRIT 对它做红队测试，然后加上护栏，展示前后的结果对比。
进入下一阶段的标准: 你能在别人写的 LLM 应用里找到提示注入，解释根本原因，并提出不只依赖提示词的修复方案。
-
阶段 5: 治理、风险与法规 ， 4–6 周
学习内容
免费资源
动手做: 按照 NIST AI RMF 的四项职能（治理、映射、测量、管理）为你的 LLM 应用写一份两页的风险评估，并说明它在欧盟《人工智能法》下属于哪个风险等级。
进入下一阶段的标准: 你能向管理者解释欧盟《人工智能法》对高风险系统有哪些要求，以及 NIST AI RMF 如何帮助满足这些要求。
-
阶段 6: 深入专精并持续跟进 ， 持续
学习内容
免费资源
动手做: 发布一些对别人有用的东西：一篇 AI CTF 解题记录、复现一篇最新的攻击论文，或者一个小型开源工具。
进入下一阶段的标准: 这个阶段永远不会结束。针对 AI 的新攻击每个月都会出现。