AI سیکیورٹی

وقت

25–34 ہفتے + مسلسل

اس سے پہلے

AI اور مشین لرننگ, سائبر سیکیورٹی

کن کاموں تک لے جاتا ہے

AI سیکیورٹی انجینئر, AI ریڈ ٹیمر, ML سیکیورٹی محقق, AI گورننس اور رسک ماہر

ان لوگوں کے لیے جو مشین لرننگ اور سیکیورٹی دونوں کی بنیادی باتیں جانتے ہیں اور وہاں کام کرنا چاہتے ہیں جہاں یہ دونوں ملتے ہیں۔

صرف انہی ماڈلز، ایپس اور سسٹمز پر حملہ کریں جو آپ کے ہیں یا جن کی تحریری اجازت ہے۔ نیچے دی گئی لیبز اور اوپن سورس ٹولز استعمال کریں۔

1. مرحلہ 1: بنیاد: مشین لرننگ اور سیکیورٹی کی بنیادی باتیں ، 4–6 ہفتے

   کیا سیکھنا ہے

   • ماڈلز کی تربیت اور جانچ کیسے ہوتی ہے
   • تربیتی، توثیقی اور ٹیسٹ ڈیٹا
   • تھریٹ ماڈلنگ
   • ویب اور API کے عام حملے
   • ایک عام سسٹم میں AI کہاں ہوتی ہے

   مفت وسائل

   • Machine Learning Crash Course کورس، Google
   • OWASP Top 10 دستاویزات، OWASP Foundation
   • Threat Modeling Cheat Sheet دستاویزات، OWASP Foundation

   بنائیں: ایک چھوٹی ML یا LLM ایپ (ڈیٹا، ماڈل، API، صارفین) کا خاکہ بنائیں اور ہر وہ جگہ نشان زد کریں جہاں حملہ آور پہنچ سکتا ہے۔

   آگے تب بڑھیں جب: آپ ایک سادہ کلاسیفائر تربیت دے سکتے ہیں اور ویب کے OWASP Top 10 خطرات سمجھا سکتے ہیں۔ اگر نہیں، تو پہلے "مصنوعی ذہانت اور مشین لرننگ" اور "سائبر سیکیورٹی" کے پہلے مراحل کریں۔

2. مرحلہ 2: AI سسٹمز کو درپیش خطرات ، 3–4 ہفتے

   کیا سیکھنا ہے

   • LLM ایپلیکیشنز کے لیے OWASP Top 10
   • MITRE ATLAS کی حکمت عملیاں اور تکنیکیں
   • AI سپلائی چین: ڈیٹا، ماڈلز اور لائبریریاں
   • ML کے پورے لائف سائیکل میں حملے
   • AI کے حقیقی واقعات

   مفت وسائل

   • OWASP Top 10 for LLM Applications دستاویزات، OWASP Foundation
   • MITRE ATLAS دستاویزات، MITRE
   • OWASP AI Exchange دستاویزات، OWASP Foundation
   • Adversarial Machine Learning: A Taxonomy and Terminology (AI 100-2) مقالہ، NIST

   بنائیں: مرحلہ 1 والی ایپ کے لیے تھریٹ ماڈل، جو OWASP LLM خطرات اور MITRE ATLAS تکنیکوں سے جڑا ہو، اور ہر ایک کا ایک بچاؤ۔

   آگے تب بڑھیں جب: کسی بھی AI فیچر کے لیے آپ تین سب سے ممکنہ حملے بتا سکتے ہیں اور یہ کہ ہر ایک کہاں سے داخل ہوتا ہے۔

3. مرحلہ 3: ایڈورسیریل مشین لرننگ ، 8–10 ہفتے

   کیا سیکھنا ہے

   • ایویژن حملے (ایڈورسیریل مثالیں)
   • ڈیٹا پوائزننگ اور بیک ڈورز
   • ماڈل کی چوری (ایکسٹریکشن)
   • پرائیویسی حملے: ممبرشپ انفرنس اور ماڈل انورژن
   • دفاع اور ان کی ایمانداری سے جانچ

   مفت وسائل

   • Adversarial Robustness: Theory and Practice کورس، Zico Kolter and Aleksander Madry
   • Adversarial Robustness Toolbox ٹول، Linux Foundation AI & Data
   • Explaining and Harnessing Adversarial Examples مقالہ، Goodfellow, Shlens and Szegedy (ICLR 2015)
   • Membership Inference Attacks against Machine Learning Models مقالہ، Shokri et al. (IEEE S&P 2017)
   • Stealing Machine Learning Models via Prediction APIs مقالہ، Tramèr et al. (USENIX Security 2016)

   بنائیں: Adversarial Robustness Toolbox سے اپنے تصویری یا متنی کلاسیفائر پر ایویژن حملہ کریں، پھر ایک دفاع شامل کریں اور ناپیں کہ وہ واقعی کتنا مدد کرتا ہے۔

   آگے تب بڑھیں جب: آپ اپنے ماڈل پر ایویژن اور پوائزننگ حملہ کر سکتے ہیں اور بتا سکتے ہیں کہ زیادہ تر سادہ دفاع کیوں ناکام ہوتے ہیں۔

4. مرحلہ 4: عملی LLM سیکیورٹی ، 6–8 ہفتے

   کیا سیکھنا ہے

   • براہ راست اور بالواسطہ پرامپٹ انجیکشن
   • جیل بریکس
   • آؤٹ پٹ کی غیر محفوظ ہینڈلنگ اور حد سے زیادہ اختیارات
   • LLM ایپس کی ریڈ ٹیمنگ
   • گارڈ ریلز، ان پٹ اور آؤٹ پٹ کی جانچ
   • دستاویزات اور ویب صفحات میں چھپا متن

   مفت وسائل

   • Web LLM attacks (free labs) مشق، PortSwigger Web Security Academy
   • LLM Prompt Injection Prevention Cheat Sheet دستاویزات، OWASP Foundation
   • garak: LLM vulnerability scanner ٹول، NVIDIA (open source)
   • PyRIT: Python Risk Identification Tool ٹول، Microsoft (open source)
   • Hidden text and prompt injection finder ٹول، This site

   بنائیں: ایک چھوٹی LLM ایپ بنائیں جو دستاویزات پڑھے، garak یا PyRIT سے اس کی ریڈ ٹیمنگ کریں، پھر گارڈ ریلز لگائیں اور پہلے اور بعد کے نتائج دکھائیں۔

   آگے تب بڑھیں جب: آپ کسی دوسرے کی LLM ایپ میں پرامپٹ انجیکشن ڈھونڈ سکتے ہیں، اصل وجہ بتا سکتے ہیں اور ایسا حل تجویز کر سکتے ہیں جو صرف پرامپٹ پر انحصار نہ کرے۔

5. مرحلہ 5: گورننس، رسک اور قوانین ، 4–6 ہفتے

   کیا سیکھنا ہے

   • NIST AI Risk Management Framework
   • جنریٹو AI پروفائل
   • EU AI Act کی بنیادی باتیں: رسک کی سطحیں اور ذمہ داریاں
   • ISO/IEC 42001 AI مینجمنٹ سسٹمز
   • محفوظ AI ڈیولپمنٹ کی ہدایات

   مفت وسائل

   • AI Risk Management Framework دستاویزات، NIST
   • Generative AI Profile (NIST AI 600-1) دستاویزات، NIST
   • AI Act: regulatory framework دستاویزات، European Commission
   • ISO/IEC 42001 overview دستاویزات، ISO
   • Guidelines for secure AI system development دستاویزات، UK NCSC, CISA and partners

   بنائیں: NIST AI RMF کے افعال (Govern، Map، Measure، Manage) کے مطابق اپنی LLM ایپ کا دو صفحات کا رسک جائزہ، جس میں یہ بھی ہو کہ EU AI Act میں یہ کس رسک سطح میں آتی ہے۔

   آگے تب بڑھیں جب: آپ کسی مینیجر کو سمجھا سکتے ہیں کہ EU AI Act ہائی رسک سسٹم سے کیا مانگتا ہے اور NIST AI RMF اس میں کیسے مدد کرتا ہے۔

6. مرحلہ 6: مہارت حاصل کریں اور باخبر رہیں ، مسلسل

   کیا سیکھنا ہے

   • SOC کے لیے AI
   • AI ریڈ ٹیمنگ
   • ایجنٹس اور ٹولز کی سیکیورٹی
   • نئے تحقیقی مقالے پڑھنا
   • AI سیکیورٹی CTFs

   مفت وسائل

   • LLM and generative AI security roadmap دستاویزات، This site
   • AI red teaming and evaluation roadmap دستاویزات، This site
   • AI for security operations roadmap دستاویزات، This site
   • Agentic AI and MCP security roadmap دستاویزات، This site
   • AI Village مشق، AI Village (DEF CON, non-profit)
   • Cryptography and Security papers (latest) مقالہ، arXiv (Cornell University)

   بنائیں: کچھ ایسا شائع کریں جو دوسروں کے کام آئے: کسی AI CTF کا رائٹ اپ، کسی حالیہ حملے کے مقالے کی نقل، یا ایک چھوٹا اوپن سورس ٹول۔

   آگے تب بڑھیں جب: یہ مرحلہ کبھی ختم نہیں ہوتا۔ AI پر نئے حملے ہر مہینے سامنے آتے ہیں۔

Specialise: security roadmaps سرٹیفکیشن روڈ میپ سب راستوں پر واپس جائیں