Cum se poate măsura riscul cu un OKR mai bun.

Am devenit un mare fan al Obiectivului și al Rezultatului Cheie (OKR) la companiile care le iau în serios. Voi descrie o metodă opinată care se încadrează într-un OKR și măsoară reducerea (sau creșterea) unui risc ales. Aceasta va informa decizia unei echipe de a reduce sau de a spori eforturile de inginerie pentru a diminua riscul de a merge înainte.

Această metodă este similară cu modul în care un meteorolog prognozează vremea.

Pentru scufundări profunde în OKR, puteți citi acest lucru, urmăriți acest lucru sau citiți acest lucru.

OKR-urile reprezintă o modalitate simplă de a exprima un obiectiv motivațional și de a se angaja într-o listă scurtă de rezultate măsurabile care împing un grup către acest obiectiv. Uneori, ei fac parte din managementul executiv la toți angajații. OKR sunt o practică comună între companiile de tehnologie și multe echipe de securitate cu care lucrez.

Luăm, de exemplu:

Obiectiv: Îmbunătățirea autentificării de la laptopurile dezvoltatorilor în producție.

Acest obiectiv nu este rău, dar multe oportunități de măsurare a riscurilor sunt ratate.

Vom reduce un risc rar, de impact, cu o metodă cuantificabilă.

Aceste tipuri de riscuri sunt în mod normal dificil de măsurat.

Datele istorice (nu s-au întâmplat niciodată) informează prost viitorul nostru (s-ar putea întâmpla?).

Prin metode de prognoză și estimare, putem măsura cât de probabil ar putea să apară un scenariu viitor, chiar dacă în trecut nu avem date istorice pentru acel scenariu. Folosim „incertitudinea” unui grup ca proxy pentru risc și îl vom măsura. Vom gestiona prejudecățile cognitive asociate cu prognozele.

OBIECTIV: Scrieți un obiectiv cu un „scenariu de risc”.

Obiectivul tău este de a reduce riscul exprimat într-un scenariu.

Mai jos este prezentat obiectivul menționat anterior care a fost scris pentru a reduce riscul. Este scris cu ceva spațiu de îmbunătățire:

Obiectiv: Îmbunătățirea autentificării de la laptopurile dezvoltatorilor în producție

Acesta nu este neapărat un obiectiv rău, deși poate fi îmbunătățit prin rescrierea acestuia ca scenariu.

Obiectiv: Reducerea riscului „Un adversar a accesat producția de la un laptop dezvoltator din Q3.”

Par similare, nu?

  • Diferența majoră este că un scenariu este probabilistic. Pot fi prognozate fraze probabilistice. Prognoza este bine cercetată, înțeleasă în mod obișnuit (ex: vremea), cantitativă și măsoară incertitudinea.

Incertitudinea este acel lucru din creierul tău care te face să ridici din umeri la un set de opțiuni sau să te simți puternic în legătură cu una dintre ele. După cum se dovedește, incertitudinea unui grup poate fi măsurată într-un mod simplu. Vom face din incertitudinea experților un reprezentant pentru obiectivul nostru de măsurare.

  • Diferenta minora este ca scenariul rasplateste creativitatea unui inginer.

De exemplu, reducerea cantității de dezvoltatori care necesită credențe de producție îmbunătățește autentificarea? Nu, asta atinge un pic. Dar ar reduce riscul, iar rezultatul cheie este mai compatibil cu obiectivul modificat. Acesta a fost obiectivul mai bun, așa că poate rezultatele noastre cheie vor fi mai bune.

Un obiectiv „scenariu de risc” nu prevede o soluție. Doar stabilește o prognoză curată. Un scenariu poate face o treabă mai bună definind un risc ca eveniment viitor care trebuie evitat.

Un scenariu prognozabil bun implică un amestec atent de amenințare, un vector, un activ sau un impact. Puteți decide în mod creativ asupra unui domeniu sau risc specific adăugând specificitate de restrângere sau lărgire. O previziune trebuie să decidă asupra unui interval de timp concret.

REZULTATE CHEIE: alegeți repere sau valori și angajați-vă la o prognoză.

În primul rând, lucrurile ușoare. Rezultatele cheie trebuie să fie măsurabile. În primele zile ale lui Google, Marisa Meyer a spus:

„Nu este un rezultat cheie decât dacă are un număr.”

O simplă formă de măsurare sunt realizările binare: 1 pentru finalizat, 0 dacă nu este finalizat. De exemplu: „Am adăugat aplicația de afaceri XYZ la platforma noastră Single Sign On”. Dacă ai făcut-o, primești un „1”!

Un alt lucru este să alegeți o valoare cantitativă cum ar fi „reparați bug-uri X” sau „reduceți incidentele X” sau „angajați ingineri N”. Acestea sunt necesare, comune și reprezintă obiectivele proiectului și valorile operaționale. Probabil ești obișnuit cu acestea. De asemenea, pot avea rezultate cheie frumoase.

Cu toate acestea, ei nu măsoară într-adevăr o reducere a riscurilor asociate scenariului nostru. Mai degrabă, acestea sunt un indicator în retard al lucrărilor efectuate. Această lucrare a creat valoare pentru atenuarea unui risc, dar nu ați măsurat de fapt o reducere a riscului. Pur și simplu presupuneți că riscul scade, datorită eforturilor depuse.

Dar cât de mult? Dacă se mărește de fapt?

Compararea unei valori de securitate versus o măsurare a certitudinii

Valorile tradiționale de securitate sunt foarte utile pentru valoarea lor informativă. Ele informează incertitudinea noastră față de un risc, dar nu reprezintă natura probabilistică a riscului și adesea nu exprimă incertitudinile masive pe care le putem avea cu privire la un scenariu specific.

De exemplu, cred că un număr istoric de vulnerabilități sau frecvență de regresie nu exprimă în mod direct un risc, dar cu siguranță ajută să-mi informez incertitudinea cu privire la faptul dacă un scenariu asociat ar apărea sau nu ca urmare a acestor date.

Acest lucru se datorează faptului că valoarea pe care o atribuim unei valori individuale este într-un flux constant.

Orice măsură specifică poate fi cel mai informativ punct de date ... până când ceva îl înlocuiește. Judecata mea ar dezactiva datele anterioare imediat după ce am auzit informații noi care strigă „oh crap” în fața datelor vechi sau orice model fragil pe care am încercat să îl creăm pentru această chestiune.

Acum să trecem la „partea grea”. Să facem acest OKR.

Acest lucru este cu adevărat ușor atunci când obțineți blocajul.

Un exemplu OKR care este proiectat pentru a fi măsurat:

După cum am menționat, vom crea acest OKR, astfel încât să fie compatibil pentru măsurarea riscurilor cu tehnici de estimare și estimare.

Iată un exemplu OKR pentru o echipă mică de securitate AWS:

Obiectiv:

Reduceți probabilitatea ca „O acreditare de producție AWS să fie expusă publicului în al treilea trimestru”.

Rezultate cheie:

  1. Angajamentele care menționează AWS_SECRET_KEY apar în slăbirea #security.
  2. Conducta fotobackup va fi mutată într-un rol AWS.
  3. O conductă completă de alertare a maimuței de securitate către detectarea noastră la apel.
  4. Finalizați o previziune înainte și după, și vânătoarea CloudTrail.

Primele rezultate cheie (1–3) nu necesită discuții. Acestea sunt doar lucrări de inginerie ale morii și puteți alege orice doriți. Ultimul rezultat cheie (# 4) este ceea ce ne vom concentra pe a merge mai departe.

Pentru a măsura acest scenariu de risc, vom folosi un panou de prognoză. Acest lucru va consolida capacitatea noastră de a măsura scenariul de risc al RAPO în mod probabilistic.

1. Înainte de a începe munca: o prognoză „de bază”.

Să presupunem că acesta este un OKR pentru al treilea trimestru al anului. La începutul lunii iunie, câțiva indivizi diferiți și instruiți, familiarizați cu OKR vor prognoza probabilitatea scenariului în termeni probabilistici (Un procent de credință).

Participanții noștri sunt Maimuță (), Unicorn (), Vacă () și Pinguin (). Le calibrăm pe scurt pentru a gândi în termeni probabilistici (instruire online). Ei au acces la valorile, modelele, post-mortem-urile, auditul consultanților sau diagramele de infrastructură disponibile. Este util și informează prognoza lor.

Prognoza de mai sus are o certitudine de 78% că vânătoarea CloudTrail nu va dezvălui niciun incident. Există o certitudine de 14% că poate fi descoperit un incident și 6% siguranță că vom avea probleme mari.

Acum, luați în considerare că un răspuns de 33% din grupul pentru fiecare categorie ar fi indicat o incertitudine totală, de parcă nu ar avea literalmente informații sau avize. Scenariul ar fi putut fi scris într-o altă limbă, de exemplu. Nu este cazul aici, participanții nu cred că fiecare opțiune este egală cu cealaltă. Ei consideră că este foarte probabil să nu aibă loc niciun incident, având în vedere cunoștințele lor despre mediu și posibilele amenințări.

Astfel, acest grup își exprimă o opinie în termeni probabilistici că este foarte probabil să nu existe un incident în acest interval de timp. Dar, un incident descoperit nu este în totalitate scos din discuție. Se întâmplă la multe alte companii. Ei trebuie să creadă că există o mică probabilitate că s-ar putea întâmpla.

De fapt, un panelist (Monkey ) pare mai sigur că se va găsi ceva sigur.

Este în regulă că Maimuța are o opinie diferită față de grup. Vom discuta asta mai târziu - nu este nevoie ca grupul să fie de acord!

2. Acum fă-ți munca, fă progrese ca de obicei.

Mijlocul trimestrului se concentrează pe îndeplinirea obiectivelor tale, de obicei. Doar lucrează.

După cum au precizat obiectivele noastre, echipa creează alerte, refactorizează o aplicație pentru a utiliza rolurile AWS și implementează Security Monkey. Sper să se descurce bine și să le termine pe toate!

Această metodă nu are nicio influență asupra muncii de zi cu zi. Pur și simplu, ghidează activitatea spre un rezultat măsurabil. Atacați riscul, oricum ar fi în mod normal.

3. EOQ. Am făcut progrese! Acum comparăm cu linia de bază.

Ne-am angajat să facem două lucruri la sfârșitul trimestrului.

În primul rând, facem eforturi de vânătoare a jurnalelor CloudTrail cu scrutin și vedem dacă putem scăpa de incidentele P0 din eforturile noastre de investigare.

În al doilea rând, panoul măsoară din nou, cu excepția incertitudinii noastre pentru trimestrul următor (T4).

Panoul nostru este înarmat cu noi cunoștințe. Progresul acestui trimestru și rezultatul vânătorii CloudTrail ne-au schimbat foarte mult părerile cu privire la acest scenariu.

Să presupunem că echipa a reușit în celelalte rezultate ale acestora, iar evaluarea încălcării a revenit curată.

Prognozăm din nou. Iată rezultatele.

Acum putem observa câtă siguranță a câștigat sau a pierdut panoul, pe baza eforturilor depuse. În acest exemplu, convingerile noastre au evoluat favorabil chiar și mai mult spre certitudine (departe de 33%). Activitatea noastră a influențat certitudinea grupului nostru? Acest panou consideră că da.

În acest caz, ne-am îmbunătățit certitudinea în legătură cu acest risc. Avem o îmbunătățire cantitativă de 5% în direcția corectă.

4. Luati o decizie de conducere ghidata de date.

Acum sunteți înarmați pentru luarea eficientă a deciziilor.

Acest lucru pare să prevadă o încălcare a unuia din zece sferturi.

  • Este destul de bun?
  • Vrem să o îmbunătățim în continuare sau avem alte riscuri?
  • Care este pragul nostru acceptabil?
  • Ce efort și resursă avem nevoie pentru a o depăși?

De ce această abordare?

Oamenii sunt construiți pentru a prelucra surse diferite de informații și absorb rapid informații noi pentru a lua decizii.

De-a lungul trimestrului, vom obține, fără îndoială, informații care ne schimbă nivelul de certitudine cu privire la riscurile pe care le-am ales.

Aceste informații provin dintr-o mulțime de locuri: munca practică în sine, tendințele industriei, încălcări, poate rapoarte de vulnerabilitate în alte domenii ale infrastructurii, cercetarea noastră de exploatare, un tweet de dezvăluire a bombelor etc.

Cu toate acestea, încrederea noastră în aceste surse de informații este dinamică. Nu putem depinde de valori individuale, statice, care să ne reprezinte riscul, deoarece valoarea luării deciziilor se schimbă rapid. Am putea folosi propria noastră certitudine ca un reprezentant pentru aceste riscuri, care este cunoscut a fi măsurabil, intens cercetat, cu îndrumări crescânde privind îmbunătățirea metodelor de prognoză ca instrument de măsurare.

De fapt, elicitarea experților este un factor important în evaluarea riscurilor probabilistice în alte industrii, cum ar fi nucleare, aerospațiale și de mediu.

Nu este nou, ci nou pentru noi.

Izolant împotriva riscurilor de prejudecată.

Prognoza este periculoasă atunci când nu este abordată cu rigoare. Preocuparea cognitivă este bine cercetată, iar aceste descoperiri trebuie repetate des. Există diferite atenuări pentru riscurile prognozelor proaste.

Cercetările apără că prognoza poate fi îmbunătățită atunci când:

  1. Panelii sunt instruiți să gândească probabilistic și despre prejudecăți.
  2. Panelistii sunt echipați pentru a combina și a ușura impactul prejudecății. Diversitatea în perspectivă este esențială!
  3. Componenții se confruntă în mod repetat cu rezultatul prognozelor lor (calibrare). (Instruire online, judecată deschisă deschisă, calibrare a încrederii)
  4. Panelistilor sunt încurajați să descompună un scenariu în părți mai granulare și li se oferă acces transparent la datele disponibile de care au nevoie pentru a le înțelege.
  5. O înțelegere fermă a adevăratei lebede negre. Înșală predatorii.
  6. Nu încercați să prognozați și să diminuați fiecare risc, fiți pregătiți pentru un eșec inevitabil.
  7. Decuplați promovarea și salariul din rezultatele OKR și prognoză pentru a evita baghetarea cu nisip, ceea ce este deja o problemă în managementul performanței angajaților.

Pur și simplu, cererea comisarilor pentru prognoze „gândește-te repede!” Vă va oferi cu siguranță rezultate proaste. O abordare riguroasă are un cost de măsurare mai mare (ședințe), dar este mult mai ușoară decât metodele cu foi de calcul matrice de risc urât.

Dar ... întotdeauna „îmi asum încălcarea”, deci nu funcționează!

Este perfect valid să presupunem că ați fost încălcat. Aș da oricărei organizații o probabilitate foarte mare (99%) că, undeva, în orice gravitate, are un fel de activitate adversă pe un sistem pe care îl dețin. Asta înseamnă „presupune o încălcare” pentru mine.

Cu toate acestea, este nesănătos să credem că fiecare componentă a fiecărui sistem este compromisă de fiecare adversar la fiecare moment. Oamenii raționali, chiar și zgâlțâitorii FUD, nu ajung atât de departe până la capăt.

O minte profund pesimistă, care este rațională, lasă încă loc pentru îndoieli, mai mult sau mai puțin decât altele. Dacă aveți credința că eforturile indivizilor vor îmbunătăți riscurile, atunci puteți măsura această reducere a incertitudinii în termeni probabilistici. Un pesimist, cu siguranță, nu crede că munca lor înrăutățește lucrurile, de exemplu.

Pe scurt, poate fi îmbunătățită chiar și o bază de bază pesimistă și faptul că un cuplu de pesimiști într-un panou este de fapt un lucru foarte, foarte bun.

Viitorul estimării și prognozei riscurilor

Pe parcursul mai multor trimestre, putem consolida și mai mult o metodă probabilistică. Putem introduce echipe roșii, scoruri Brier și eșantionare din industrie pentru a ne ghida prognozele. Putem fi de acord cu privire la valoarea datelor și urmărirea fluctuării acestora. Putem „Chatham House” sau anonimiza prognozele pentru a partaja cu echipele de securitate de la egal la egal.

Putem alimenta rezultatele prognozelor în simulări de la Monte Carlo, permițându-ne să tragem lecții și expertiză de la NASA, licențe nucleare și alte domenii care sunt mai îndepărtate decât cibersecuritatea în înțelegerea riscurilor extreme.

Există o mulțime de oportunități pentru organizații de a adopta o practică de previziune a riscurilor. Energia cutremurătoare nu este necesară pentru a da rezultate bune. Începând de la mic, cum ar fi OKR-urile bazate pe risc, poate reduce în mod evident riscul pentru organizația dvs. și vă poate organiza organizația pe o cale către un risc cantitativ.

Concluzie

OKR-urile sunt o modalitate comună de a ghida o echipă de inginerie. Crearea OKR-urilor compatibile cu tehnicile de estimare și previziune ne poate permite să măsurăm mai bine progresul în reducerea riscului.

Aceste metode nu interferează cu „modul” în care o echipă își face munca, ci doar măsoară „cât de mult” se poate schimba ca urmare. Dacă în prezent nu aveți nicio metodă de măsurare a riscului, atunci orice metodă cantitativă ar trebui să fie mai bună decât ceea ce aveți. Această strategie are un impact minim asupra practicilor de inginerie, în timp ce alinierea echipei la o rată măsurabilă de reducere a riscurilor.

Lectură ulterioară

Prognozarea riscurilor: prezentare la nivel înalt a acestei metode.

Analiza simplă a riscului: o scufundare profundă asupra riscului de prognoză.

Uciderea puilor puțin: explorarea limitărilor și a posibilităților de prognoză a riscurilor.

Descompunerea riscului de securitate în scenarii: descompunerea riscurilor într-o ierarhie a scenariilor, de la cele largi la cele mai granulare.

Gândirea rapidă și lentă: cercetarea câștigată de premiul Nobel pentru erorile cognitive ale omului, în cea mai mare parte sub formă de prejudecăți.

Superforecasting: Cercetarea modului în care erorile cognitive pot fi atenuate și armate în echipe eficiente de prognoză.

Cum se poate măsura orice în ceea ce privește riscul de securitate cibernetică: o sursă excelentă în apărarea prognozei ca metodă de măsurare. Dezbatere puternică care promovează rolul măsurătorilor în luarea deciziilor.

Ryan McGeehan scrie despre securitate pe Medium.