Nyereség:
- Képes változtatási kérelmet, kockázatértékelést és visszaállítási tervet készíteni mesterséges intelligenciával, és biztonságossá és kiszámíthatóvá tenni a változtatást
- Képes a tartomány saját függőségi információival bővítésére, a visszakereshetőség osztályozására, valamint a Canary segítségével fokozatos telepítés megtervezésére.
- Képes annak megértésére, hogy az ember az, aki jóváhagyja, ütemezi és viseli a változást, és elsajátítja azt a fegyelmet, hogy azt sikerkritériumok és visszaút nélkül ne hajtsa végre.
Változáskezelés: kockázatértékelés, visszaállítás és karbantartási ablak AI-val
Az éles rendszerekben előforduló katasztrófák túlnyomó többsége nem támadásból, hanem változásból ered: javítás, konfigurációfrissítés, kiadás kihelyezése, „kisebb” javítás. Ezért van minden érett szervezetben változásmenedzsment: a termelési változtatások tervezésének, kockázatának felmérésének, jóváhagyásának, végrehajtásának és szükség esetén visszagörgetésének fegyelmezési folyamata. A cél nem a változás megakadályozása, hanem a biztonságos és kiszámíthatóvá tétel. Itt az AI hatékony asszisztens a változtatási kérelmek megfogalmazásában, a kockázatok és az érintett rendszerek felsorolásában, a visszaállítási terv keretrendszerének létrehozásában és a telepítési ellenőrzőlista elkészítésében. De az alapszabály megmarad: az AI tervezetet készít a változások és a kockázatok dokumentálására; Az a személy, aki jóváhagyja, ütemezi és vállalja a változást.
Ebben az egységben a változtatási kérelem, a kockázatértékelés, a visszaállítási terv, a karbantartási időszak, a kanári/szakaszos elosztás és a CAB (Change Advisory Board) fogalmak; Megtanulja, hogyan tervezhet biztonságos változást az AI segítségével.
Egy jó változtatási kérelem anatómiája
Ellenőrizetlen változás a "frissítettem ezt" mondat; A kontrollált változtatás egy terv. Egy jó változtatási kérelem választ ad ezekre a kérdésekre: Mi változik? (hatókör), Miért? (indoklás), Mely rendszereket érinti? (domain és függőségek), Mi a kockázati szint? (alacsony/közepes/magas), Mikor? (karbantartási ablak), Hogyan lehet jelentkezni? (lépések), Hogyan kell ellenőrizni? (teljesítési feltétel), Hogyan lehet visszaszerezni, ha elromlik? (visszagörgetés), Ki hagyja jóvá? (hatóság). A mesterséges intelligencia gyorsan kitölti ezt a vázat – de Ön ismeri igazán a területet és a kockázatot, és ismeri a szervezetet; A mesterséges intelligencia listáját saját függőségi ismereteivel egészíti ki.
Tipp: A változtatás két leggyakrabban figyelmen kívül hagyott része a „visszaállítási terv” és a „sikerellenőrzési feltételek”. Ha a változtatás végrehajtása előtt nem kap írásos választ a "pontosan hova forduljak melyik paranccsal, ha elromlik" és "hogyan bizonyítom, hogy sikeres volt" kérdésekre a változtatás végrehajtása előtt, az a változtatás még nincs kész.
Rollback: minden változtatás kijárati kapuja
A változásmenedzsment szíve a fordulat terv. Minden módosításnak rendelkeznie kell egy visszaállítási útvonallal: visszaállítási javítás, korábbi konfiguráció visszaállítása, verzió visszaállítása az előző verzióra, visszaállítás pillanatképről. A kritikus megkülönböztetés a következő: néhány változtatás könnyen visszaállítható (konfigurációs sor), néhány visszafordíthatatlan vagy nagyon nehéz (adatbázisséma áttelepítése, adattörlés). A visszafordíthatatlan változtatások a legmagasabb kockázati osztályba tartoznak, és a legtöbb odafigyelést, a legtöbb biztonsági mentést, a legszűkebb karbantartási időszakot igénylik. Kérdezd meg az AI-tól: „visszaállítható-e ez a változás, és ha nem, milyen további biztonsági intézkedéseket kell tennem?”
Karbantartási ablak és szakaszos üzembe helyezés
A karbantartási időszak egy előre bejelentett időszak, amely alatt a változás a legkevesebb felhasználót érinti – jellemzően éjszaka vagy hétvégén, amikor alacsony a forgalom. De nem elég jól megválasztani az időt; A változtatás fokozatos bevezetése tovább csökkenti a kockázatot. A Canary telepítése során először egy kis részre (egy szerver, a felhasználók 5%-a) alkalmazzák a változtatást, figyelik és terjesztik, ha nincs probléma. Így a hiba nem a teljes flottát érinti, hanem egy kis részét, és korán elkapják. Kérhet mesterséges intelligencia szakaszos telepítési tervet és mérőszámokat, amelyeket minden fázisban nyomon követhet.
Lépésről lépésre: AI által támogatott változtatás
- Készítse el a kérelmet. Dokumentálja a változást az AI-val a fenti címsorokban.
- Bővítse a hatást. Egészítse ki az AI érintett rendszerek listáját saját függőségi térképével; "Mi kapcsolódik még ehhez a szolgáltatáshoz?"
- Osztályozza a kockázatot. Alacsony/közepes/magas és megfordítható? Ehhez a legszigorúbb eljárásra van szükség, amely magas és visszafordíthatatlan.
- Írjon visszaállítást és tesztelje. Írja le a visszaállítási lépéseket, és lehetőség szerint próbálja meg visszagörgetni tesztkörnyezetben – a vissza nem gurítható „visszaállítási terv” nem számít tervnek.
- Tervezze meg az ablakokat és szinteket. Határozza meg a karbantartási időszakot és a kanári szakaszokat, valamint az egyes szakaszokban figyelendő mutatókat.
- Megerősítés és kommunikáció. Szerezze be a hatósági jóváhagyást (ha szükséges), tájékoztassa az érintetteket, hajtsa végre, ellenőrizze, ellenőrizze.
három mini tok
1. eset – A visszaállítási terv mentette meg az éjszakát. Az egyik csapat webszerver-javítást alkalmazott; A javítás váratlanul megszakította a függőséget, és a webhely 500-as hibát kezdett adni. De volt egy egyértelmű visszaállítási lépés a mesterséges intelligencia segítségével a változtatási kérelemben: "távolítsa el a javítást, állítsa vissza az előző csomagot, töltse be újra a szolgáltatást." A csapat 6 perc múlva tért vissza. A visszaállítási terv nélkül a leállás órákig tartott volna, miközben az éjszaka közepén keresték a kiváltó okot.
2. eset – Canary hibát észlelt 5%-nál. Új verzió kerül majd terjesztésre. A csapat lépcsőzetes telepítési tervet kért az AI-tól: először 1 szerver, óra, majd 25%, aztán minden. A válaszidő megduplázódott a Canary szerveren; terjesztése leállt. A hiba csak egy szerveren maradt fenn, a felhasználók 95%-át nem érintette. Ha egyszerre terjedt volna el, az egész szolgáltatás összeomlott volna.
3. eset – A visszafordíthatatlan változás további mértéke. Az adatbázisséma áttelepítését tervezték – ezt a változást nagyon nehéz lenne visszaállítani. A mérnök megkérdezte az MI-t a kockázatról; YZ kijelentette, hogy a változás visszafordíthatatlan, és teljes biztonsági mentést, külön tesztfutást és szűk ablakot javasolt. A csapat közvetlenül az áttelepítés előtt készített egy teljes biztonsági másolatot, először egy másolaton próbálta ki. A migráció során probléma lépett fel, de a biztonsági mentésnek köszönhetően 20 percen belül helyreállt a konzisztencia.
Négy másolható sablon
1) Változási kérelem tervezet:
Az Ön szerepköre: változásmenedzsment szakértő. Készítsen változtatási kérelmet a következő módosításhoz: [módosítás]. Rovatok: Mi/Miért, Érintett rendszerek és függőségek, Kockázati szint (alacsony/közepes/magas + indoklás), Visszaállítás, Megvalósítási lépések, Sikerellenőrzési kritériumok, Visszavonási lépések, Karbantartási ablak ajánlása, Kötelező jóváhagyás. Jelölje be azt a függőséget, amelyben nem biztos, „ellenőrzésként”.
2) Kockázat- és hatásvizsgálat:
Értékelje a következő változást a kockázat szempontjából: [változás]. (1) Sorolja fel a közvetlenül és közvetve érintett rendszereket, (2) mi a legrosszabb forgatókönyv, (3) visszafordítható-e, ha nem, milyen további intézkedéseket kell hoznom, (4) igazolja a kockázat mértékét. Magyarázza el, hogy ez egy előzetes értékelés, és a döntés az enyém.
3) Visszaállítási terv készítése:
Írjon lépésről lépésre visszaállítási tervet a [módosítás] számára. Győződjön meg arról, hogy minden lépés lemásolható és ellenőrizhető. Ha vannak visszafordíthatatlan részei a változásnak, világosan jelezze, és írja le, hogy melyik biztonsági másolatot kell készítenem azokhoz. Adja meg, hogyan ellenőrizheti a visszaállítás sikerességét.
4) Fázisos elosztási (kanári) terv:
Javasoljon [telepítési] szakaszos tervet a következő telepítéshez: mely fázisok (pl. 1 szerver -> 25% -> összes), mennyi ideig kell várnom az egyes fázisoknál, és MILYEN mérőszámokat kell követnem (válaszidő, hibaarány stb.)? Milyen küszöbértéket állítsak le és állítsam vissza a telepítést, ha azt túllépik? Írja le világosan a döntési szempontjait.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Fel kell helyeznem ezt a tapaszt?
Nincs kontextus, nincs hatás, nincs redundancia, nincsenek ablakok. Az AI nem ismeri sem a rendszerét, sem a kockázatait; Az „igen/nem” felelőtlen találgatás.
Erőteljes felszólítás:
Az Ön szerepköre: változásmenedzsment szakértő. Biztonsági javítást fogok alkalmazni egy éles webszerver flottára (8 szerver, terheléselosztó mögött). Adja meg nekem a következőket: (1) a változtatási kérelem vázlata, (2) az érintett függőségek (megerősítem), (3) a visszaállítási lépések, (4) a kanári terv 1 szerverként -> 25% -> az összes és az egyes szakaszokban figyelni fogó mutatók. Indokolja a kockázat mértékét. jóváhagyom és döntök.
Funkció módosítása
alacsony kockázat
magas kockázatú
visszafordíthatóság
könnyű visszaállítás
visszavonhatatlan/nehéz
domain
Egyszeri kiszolgálás, elszigetelt
Multi-szolgáltatás, függőségi lánc
Elosztás
közvetlen lehet
Kötelező kanári + keskeny ablak
Jóváhagyás
a csapaton belül
CAB / felső jóváhagyás
tartalék
Szabványos
További teljes biztonsági mentés + tesztfutás
Gyakori hibák
- Megvalósítás visszaállítási terv nélkül. A változás szerencsejáték, ha a visszaút nincs leírva.
- A befolyási övezet szűk tartása. A szolgáltatáshoz kapcsolódó rejtett függőségek megkerülése váratlan mellékmegszakításokat eredményez.
- Összetéveszti a visszafordíthatatlan változást a hétköznapival. Az olyan változtatások, mint a sémaköltöztetés és az adatok törlése, a legszigorúbb eljárást és teljes biztonsági mentést igényelnek.
- Egyszerre az egész flottára terjesztve. A Canary nélkül egy hiba egyszerre minden felhasználót érintene.
- Nem határozza meg a siker kritériumait. Ha nincs megírva, hogy mit jelent a „sikeres”, akkor a hibás változtatást összetévesztheti a „befejezett”-vel.
Figyelem: Az érintett rendszerek AI által készített listája előzetes, nem teljes lista. Az AI nem ismeri a szervezet függőségeit; A pontos válasz a "Ha ez a szolgáltatás összeomlik, mi más fog összeomlani?" vállalati tudásában rejlik. Tegyük fel, hogy az AI listája nem teljes, és bővítse ki.
Összefoglalva
A legtöbb termelési katasztrófa nem támadásból, hanem változásból ered; A változásmenedzsment nem akadályozza meg a változást, hanem biztonságossá és kiszámíthatóvá teszi azt. AI; Gyorsan elkészíti a változtatási kérelmeket, kockázatértékeléseket, visszaállítási terveket és szakaszos üzembe helyezési ellenőrző listákat. De bővítse a tartományt valódi függőségi ismereteivel, osztályozza a reverzibilitást, írjon vissza és tesztelje le, ha lehetséges, ossza el a kockázatot karbantartási ablakkal és kanárival, határozzon meg sikerkritériumokat. Az emberi lény az, aki jóváhagyja, ütemezi és viseli a felelősséget a változásért; Az AI az a partner, aki felgyorsítja a tervet.
Pályázati feladat
Válasszon ki egy gyártásmódosítást, amelyet hamarosan végrehajtani szeretne (vagy nemrég hajtott végre). A mesterséges intelligencia készítse elő a teljes módosítási kérelmet a fenti „Változási kérelem vázlat” sablonnal. Bővítse ki az AI által előállított "érintett rendszerek" listáját legalább két elemmel a saját függőségi információival. Nyomtassa ki a visszaállítási lépéseket a „Visszaállítási terv létrehozása” sablon segítségével, és állapítsa meg, hogy van-e olyan része a változtatásnak, amelyet nem lehet visszaállítani. Végül álljon elő egy kanári tervet. Foglalja össze a teljes tervet 6 pontban, és jegyezze fel, mely jóváhagyások szükségesek.
ellenőrző lista
- [ ] Készítettem-e olyan változtatási kérelmet, amely tartalmazza a mit/miért, a hatást, a kockázatot, a lépéseket, az ellenőrzést és a visszaállítást?
- [ ] Kibővítettem az AI érintett rendszerek listáját a saját függőségi információimmal?
- [ ] Besoroltam, hogy a változás visszafordítható vagy visszafordíthatatlan?
- [ ] Megírtam a visszaállítási lépéseket és kipróbáltam a tesztkörnyezetben, ha lehetséges?
- [ ] Meghatároztam a karbantartási időszakot és a kanári telepítési tervet, valamint az egyes fázisokhoz tartozó megfigyelési mutatókat?
- [ ] Meghatároztam a sikeresség ellenőrzési kritériumait, és megkaptam a szükséges jóváhagyásokat?