Nyereség:
- Képes a probléma típusának (osztályozás, regresszió, klaszterezés) és sikerkritériumok meghatározására a munka valós költsége szerint
- Képes az adatok őszinte felosztására (a tesztkészlet érintése nélkül; kronologikusan az idősorokban) és szivárgásmentes értékelési alap kialakítására
- Képes értelmezhető modellt választani úgy, hogy egy egyszerű alapvonallal kezdjük, és csak akkor adjuk hozzá a bonyolultságot, amikor az megérdemli.
Eddig adatokat gyűjtöttünk, tisztítottunk, feltártunk és funkciókat állítottunk elő. Most pedig elérkeztünk az igazi munkához, a modellépítéshez. A modell egy matematikai struktúra, amely az adatokból tanul mintát, és előrejelzéseket készít új helyzetekre. De a modell felépítésének legkritikusabb része nem maga a kód, hanem az azt megelőző két döntés: a megfelelő probléma meghatározása és az adatok helyes felosztása. Az AI hatékony tanácsadó az algoritmusok kiválasztásában, a kódírásban és a paraméterek hangolásában; de az ember maga dönti el, mit jósol és mit jelent a siker. Egy rosszul definiált probléma még egy tökéletesen megírt modell esetén sem működik.
Először a probléma meghatározása: mit jósolunk
Minden modellezési munka egy kérdéssel kezdődik, és ez a kérdés határozza meg a modell típusát. Osztályozás – a kimenet egy kategória: "Ez az ügyfél távozik vagy marad?", "Ez a tranzakció hamis?". Regresszió (angolul regression - a kimenet egy szám): "Mennyit ér ez a ház?", "Hány rendelés érkezik a következő hónapban?". Klaszterezés (a címkézetlen adatok természetes csoportokra osztása): "Hány természetes szegmensre vannak felosztva ügyfeleim?".
A problémafelvetés második része a sikerkritérium: mit jelent az, hogy ez a modell "jó"? A csalási modellben a csalót kihagyni sokkal drágább, mint egy becsületes vásárló véletlenül blokkolása; Ezért nem az "általános pontosság", hanem "a csalók elfogásának aránya" kerül előtérbe. Ha nem határozza meg ezt a kritériumot kezdettől fogva, a vállalkozás tulajdonosával együtt, akkor egy „nagyon pontos” modellt kap, amely nem működik (a 7. fejezetben részletesebben kitérünk a mérőszámokra).
Figyelem: A „pontosság” félrevezető lehet. Ha 1000 tranzakcióból 10 csalás, egy hülye modell, amely azt mondja, hogy "egyik sem csaló", 99%-os pontosságot ad, de egyetlen csalót sem fog elkapni. Válassza ki a siker kritériumait a probléma valós költsége alapján.
Képzés/teszt felosztás: a modell őszinte vizsgálata
Egy modell tesztelése a tanult adatokkal olyan, mintha ugyanazokat a kérdéseket tenné fel a hallgatónak, mint a vizsgán; Magas pontszámokat kap, de nem mutatja meg, mit tud valójában. Tehát az adatokat két részre bontjuk (gyakran háromra):
- Edzőkészlet (angol nyelvű tréningkészlet, általában 70-80%): A modell ezen tanul.
- Tesztkészlet (tesztkészlet, általában 20-30%): A modell ezt egyáltalán nem látja; itt mérik a valódi teljesítményt.
- Érvényesítési készlet: A modell beállításához használt köztes készlet (melyik paraméter jobb); hogy a tesztkészlet "tisztán" maradjon.
A legalapvetőbb szabály: a tesztkészlethez edzés közben soha nem szabad hozzányúlni. Méretezés, kódolás, jellemzők kiválasztása – mindezt egyszerűen megtanulják a betanítókészletből, majd tesztelik (a szivárgás elve az 5. részből). A tesztkészlet az első alkalom, amikor a modell meglátja a valós világot; Ha túl korán bekapcsolja, soha nem tudhatja meg az igazi teljesítményt.
Idősor kivétel: Ha az adatok időfüggőek (eladások, tőzsde, kereslet), a véletlenszerű felosztás nem történik meg. Mivel a véletlenszerű felosztás hatására a modell látja a jövőt és megjósolja a múltat – ez szivárgás. Ehelyett időrendileg oszd meg: edd a régi időszakot, teszteld az új időszakot.
Algoritmusválasztás: az egyszerűtől a bonyolultig
A kezdők leggyakoribb hibája, hogy a legbonyolultabb modellel kezdik. A helyes megközelítés az ellenkezője: először állítsunk fel egy egyszerű alapvonalat. „mindig a többségi osztályt találja ki” egy osztályozásban; "mindig becsüld meg az átlagot" regresszióban. Ez a hülye modell ad egy alapvonalat; Ha a tényleges modell ezt nem tudja átadni, akkor probléma van. Ezután térjen át az egyszerű és értelmezhető modellekre.
modell
A probléma típusa
erős pontja
gyengeség
Alapállapot (többség/átlag)
mindkettőt
Referenciát ad
nem tanul
Logisztikai regresszió
Osztályozás
Egyszerű, értelmezhető
Csak lineáris kapcsolat
Lineáris regresszió
regresszió
Egyszerű, gyors
lineáris feltevés
döntési fa
mindkettőt
értelmezhető
Könnyű memorizálás
véletlenszerű erdő
mindkettőt
Erős, strapabíró
Kevésbé értelmezhető
Gradiens kiemelés (XGBoost stb.)
mindkettőt
nagyon erős
Nehéz beállítani, memorizálás veszélye
Szabály: válassza ki a legegyszerűbb „elég jó” modellt. Az értelmezhetőség a legtöbb üzleti környezetben értékesebb, mint a hatalom; Jobb, ha a hitel elutasítását "mert az adósság/jövedelem aránya magas", mint "mert a fekete doboz ezt írta".
három mini tok
1. eset – Helytelen problémameghatározás. Egy csapat az „elégedett-e az ügyfél” alapján egy besorolási modellt, de a „pontosság”-ot választotta sikerkritériumnak. Az adatok szerint a vásárlók 88%-a elégedett; A modell 88%-os pontosságot ért el azzal, hogy mindenkit "elégedettnek" nevezett, és soha nem fogta el az elégedetleneket – pedig az igazi cél az volt, hogy megtalálják őket. Tanulság: válasszon sikerkritériumokat a valós cél alapján.
2. eset – Időszivárgás a rekeszben. Egy kereslet-előrejelzési projektben az adatokat véletlenszerűen osztották fel. A modell 93%-os pontosságot adott, de a gyártás során összeomlott, mert a képzésen januárt, majd novembert jósolt decemberi adatokkal – látta a jövőt. Amikor áttértünk a kronológiai felosztásra, a tényleges teljesítmény 74%-ra nőtt. Tanulság: időrendi felosztás az idősorokban.
3. eset – Felesleges bonyolultság. Az egyik elemző közvetlenül egy mély neurális hálózattal kezdte, hetekig hangolta, és 81%-os pontosságot kapott. Aztán egy kolléga 80%-ot kapott 20 logisztikai regresszióval – sokkal gyorsabb, értelmezhető és könnyebben karbantartható. Tanulság: kezdje egy alapvonallal és egy egyszerű modellel, és tegye bonyolultabbá, amikor megérdemli.
Négy másolható sablon
1) A probléma definíciójának pontosítása:
Az Ön szerepe: modelltanácsadó. Segítsen meghatározni ezt a feladatot: „Csökkenteni szeretném az ügyfelek lemorzsolódását.” Kérdezd meg, és tisztázd: (1) ez osztályozás vagy regresszió, (2) pontosan mi a célváltozó és hogyan kell meghatározni, (3) mik legyenek a sikerkritériumok és miért. A döntés az enyém; bemutatod a kérdéseket és a lehetőségeket.
2) Biztonságos oktató/vizsgatér:
Oszd fel a df-emet edzésre/tesztelésre 80%/20%. Osztályeloszlás fenntartása (rétegezés).random_state=42. Ez NEM IDŐSOROZAT (független megfigyelések). Nyomtassa ki az egyes halmazok osztályarányát osztás után. Csak adja meg a felosztási kódot a tesztkészletnek anélkül, hogy bármilyen átalakítást alkalmazna.
3) Idősorok kronológiai felosztása:
Az adatok időfüggőek (dátum oszlop: order_date). NEM véletlenszerű, időrendi felosztás: legrégebbi 80% edzés, legújabb 20% tesztelés. Nyomtassa ki a képzési és tesztelési dátumtartományokat, hogy ellenőrizhessem, nem szivárgott-e ki a jövő.
4) Alapvonal beállítása:
Osztályozási problémám van (cél: lemorzsolódás 0/1). Először állítson fel egy alapvonalat: mérje meg a képzési/tesztelési pontosságot a DummyClassifier segítségével, amely mindig előrejelzi a többségi osztályt. Ezután gyakoroljon egy egyszerű logisztikus regressziót, és hasonlítsa össze, hogy felülmúlja-e az alapvonalat. Mutasd egymás mellett a kettő mérőszámait.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Építse meg a legjobb modellt ezekkel az adatokkal.
A "legjobb" nem definiált; Nincs problématípus, nincs cél, nincs sikerkritérium és nincs felosztási stratégia. Az AI véletlenszerű mintát generál, amely esetleg szivárog.
Erőteljes felszólítás:
Az Ön szerepe: modellező asszisztens. Probléma: besorolás, cél "lemorzsolódás" (0/1), osztály kiegyensúlyozatlanság (~12% lemorzsolódás). Sikerkritérium: A lemorzsolódók visszahívása prioritás. Adatfüggetlen megfigyelés (nem idősor). Feladat: (1) 80/20%-os rétegzett felosztás, (2) DummyClassifier alapvonal, (3) logisztikus regresszió, minden transzformáció folyamatban van, és csak a képzésből tanultam. Felosztás előtt ne érintse meg a tesztkészletet.
Itt egyértelmű a probléma típusa, az egyensúlyhiány, a kritérium és a szivárgás mértéke.
Gyakori hibák
- Nem a valós célnak megfelelően választja meg a sikerkritériumokat. A kiegyensúlyozatlan adatok „pontossága” félrevezető; Ha meg akarod ragadni a kisebbségi osztályt, akkor a felidézés kerül előtérbe.
- A tesztkészlet érintése edzés közben. A felosztás előtti skálázás/kódolás szivárog, és elrejti a valódi teljesítményt.
- Véletlenszerű felosztás idősorokban. A modell látja a jövőt, összeomlik a termelés; A kronológiai felosztás elengedhetetlen.
- Egy összetett modellbe ugrás alapvonal megállapítása nélkül. Benchmarkok nélkül nem lehet tudni, hogy egy modell valóban jó-e vagy sem.
- Az értelmezhetőség figyelmen kívül hagyása. Az üzleti döntésekben egy egyszerű, megmagyarázható modell gyakran értékesebb, mint egy fekete doboz.
Tipp: Mielőtt elkezdené a modell felépítését, írjon egy mondatot: „Ez a modell megjósolja _____, sikerét a _____ mérőszám fogja mérni, mivel a munka valódi költsége _____.” Ha nem tudja kitölteni ezt a mondatot, akkor még nem áll készen a kódírásra.
Összefoglalva
A modell felépítésének legkritikusabb része nem a kód, hanem az azt megelőző döntések: a megfelelő probléma meghatározása (osztályozás vagy regresszió, mi a cél, mi a sikerkritérium) és az adatok igazságos felosztása (a tesztkészlet érintése nélkül; az idősorokban kronologikusan). Mindig egy egyszerű alapvonallal kezdje, és csak akkor tegye bonyolulttá, ha megérdemli; Az értelmezhetőséget a legtöbb üzleti kontextusban a hatalom felett értékelik. Az AI hatékony tanácsadó az algoritmusok kiválasztásában és kódolásában, de az ember dönti el, hogy mit és miért jósol.
Pályázati feladat
Határozzon meg egy előrejelzési problémát, és fejezze be írásban a következő mondatot: „Ez a modell ___-t (osztályozás/regresszió) jósol meg, a cél ___, a sikerkritérium ___, mert ___.” Ezután ossza fel az adatokat a megfelelő stratégiával (ha idősorról van szó időrendben), állítson fel egy alapvonalat, és mérje meg, hogy egy egyszerű minta megtöri-e az alapvonalat.
ellenőrző lista
- [ ] Világosan meghatároztam a probléma típusát (osztályozás/regresszió) és a célt?
- [ ] A sikerességi kritériumokat a munka tényleges költsége alapján választottam?
- [ ] Érintetlenül hagytam a tesztkészletet edzés közben?
- [ ] Ha idősorról van szó, akkor kronologikusan osztottam fel?
- [ ] Megállapítottam egy alapvonalat, mielőtt áttérnék az összetett modellre?