Lernpfad-Bibliothek Grundlagen für die Sicherheit KI und Daten

KI-Sicherheit

Wie KI-Systeme angegriffen und verteidigt werden: von den Bedrohungen für Modelle und LLM-Apps über Adversarial Machine Learning und Red Teaming bis zu den Regeln für KI.

Dauer: 25–34 Wochen + fortlaufend

Alle Lernpfade ansehen

Grundlagen für die Sicherheit

Roadmaps für Cybersicherheit und KI-Sicherheit55

Core domains6
Infrastructure5
Data protection4
Engineering and product5
Defensive security6
Offensive security7
GRC and audit7
AI security7
Specialised and emerging8

Zertifizierungen8

Dauer
25–34 Wochen + fortlaufend
Führt zu
KI-Security-Engineer, KI-Red-Teamer/in, ML-Sicherheitsforschung, KI-Governance und Risiko

Für alle, die die Grundlagen von maschinellem Lernen und Sicherheit kennen und dort arbeiten wollen, wo sich beides trifft.

Greifen Sie nur Modelle, Apps und Systeme an, die Ihnen gehören oder für die Sie eine schriftliche Erlaubnis haben. Nutzen Sie die Labore und Open-Source-Tools unten.

  1. Stufe 1: Grundlagen: maschinelles Lernen und Sicherheit , 4–6 Wochen

    Was Sie lernen

    • Wie Modelle trainiert und bewertet werden
    • Trainings-, Validierungs- und Testdaten
    • Bedrohungsmodellierung
    • Häufige Web- und API-Angriffe
    • Wo KI in einem normalen System sitzt

    Kostenlose Quellen

    Bauen: Zeichnen Sie die Architektur einer kleinen ML- oder LLM-App (Daten, Modell, API, Nutzer) und markieren Sie jede Stelle, die ein Angreifer erreichen könnte.

    Weiter, wenn: Sie können einen einfachen Klassifikator trainieren und die OWASP Top 10 für Web erklären. Wenn nicht, machen Sie zuerst die ersten Etappen von „KI und maschinelles Lernen“ und „Cybersicherheit“.

  2. Stufe 2: Bedrohungen für KI-Systeme , 3–4 Wochen

    Was Sie lernen

    • OWASP Top 10 für LLM-Anwendungen
    • Taktiken und Techniken in MITRE ATLAS
    • Die KI-Lieferkette: Daten, Modelle und Bibliotheken
    • Angriffe über den ganzen ML-Lebenszyklus
    • Echte KI-Vorfälle

    Kostenlose Quellen

    Bauen: Ein Bedrohungsmodell für Ihre App aus Etappe 1, abgebildet auf OWASP-LLM-Risiken und MITRE-ATLAS-Techniken, mit je einer Gegenmaßnahme.

    Weiter, wenn: Für jede KI-Funktion nennen Sie die drei wahrscheinlichsten Angriffe und wo sie jeweils ansetzen.

  3. Stufe 3: Adversarial Machine Learning , 8–10 Wochen

    Was Sie lernen

    • Evasion-Angriffe (Adversarial Examples)
    • Data Poisoning und Backdoors
    • Modell-Extraktion
    • Datenschutzangriffe: Membership Inference und Model Inversion
    • Abwehrmaßnahmen und ihre ehrliche Bewertung

    Kostenlose Quellen

    Bauen: Greifen Sie Ihren eigenen Bild- oder Textklassifikator mit der Adversarial Robustness Toolbox an, fügen Sie dann eine Abwehr hinzu und messen Sie, wie viel sie wirklich bringt.

    Weiter, wenn: Sie führen einen Evasion- und einen Poisoning-Angriff auf Ihr eigenes Modell aus und erklären, warum die meisten einfachen Abwehrmaßnahmen scheitern.

  4. Stufe 4: LLM-Sicherheit in der Praxis , 6–8 Wochen

    Was Sie lernen

    • Direkte und indirekte Prompt Injection
    • Jailbreaks
    • Unsichere Ausgabeverarbeitung und zu viele Befugnisse
    • Red Teaming von LLM-Apps
    • Guardrails, Eingabe- und Ausgabeprüfungen
    • Versteckter Text in Dokumenten und Webseiten

    Kostenlose Quellen

    Bauen: Bauen Sie eine kleine LLM-App, die Dokumente liest, testen Sie sie mit garak oder PyRIT, fügen Sie Guardrails hinzu und zeigen Sie die Ergebnisse vorher und nachher.

    Weiter, wenn: Sie finden eine Prompt Injection in einer fremden LLM-App, erklären die Ursache und schlagen eine Lösung vor, die nicht nur auf dem Prompt beruht.

  5. Stufe 5: Governance, Risiko und Regulierung , 4–6 Wochen

    Was Sie lernen

    • NIST AI Risk Management Framework
    • Das Profil für generative KI
    • Grundlagen des EU AI Act: Risikostufen und Pflichten
    • ISO/IEC 42001 KI-Managementsysteme
    • Leitlinien für sichere KI-Entwicklung

    Kostenlose Quellen

    Bauen: Eine zweiseitige Risikobewertung Ihrer LLM-App nach den Funktionen des NIST AI RMF (Govern, Map, Measure, Manage), mit der Risikostufe nach EU AI Act.

    Weiter, wenn: Sie erklären einer Führungskraft, was der EU AI Act von einem Hochrisikosystem verlangt und wie das NIST AI RMF dabei hilft.

  6. Stufe 6: Spezialisieren und dranbleiben , fortlaufend

    Was Sie lernen

    • KI im SOC
    • KI-Red-Teaming
    • Sicherheit von Agenten und Tools
    • Neue Forschungsarbeiten lesen
    • KI-Sicherheits-CTFs

    Kostenlose Quellen

    Bauen: Veröffentlichen Sie etwas Nützliches: ein Write-up zu einem KI-CTF, den Nachbau eines aktuellen Angriffs-Papers oder ein kleines Open-Source-Tool.

    Weiter, wenn: Diese Etappe endet nie. Jeden Monat gibt es neue Angriffe auf KI.

Specialise: security roadmaps Zertifizierungspfade Zurück zu allen Pfaden

Zuletzt geprüft: . Einen kaputten Link gefunden oder einen Pfad vermisst? Kontakt