Jednotka 4 / 11

Business Intelligence (BI), reporting a návrh metrik

zisky:

  • Schopnost vysvětlit vrstvy business intelligence (zdroj, ETL, datový sklad, report) a správnou definici klíčových obchodních metrik (KPI).
  • Schopnost používat umělou inteligenci k vytvoření metrické definice, návrhu SQL a vyprávění zprávy a poskytnout výsledek se skutečnými daty
  • Schopnost rozpoznat rizika záměny korelace a příčiny a zavádějících metrik ve výstupech analýzy podporované umělou inteligencí

Business intelligence (BI) je disciplína, která shromažďuje rozptýlená data organizace, připravuje je na analýzu a vytváří z těchto dat informace podporující rozhodování. Pro profesionála v oblasti MIS je BI vrstvou, kde se „data mění v rozhodnutí“. Samotné záznamy o nezpracovaných zakázkách nemají smysl; ale "ve kterém regionu se tento měsíc snížil obrat, proč?" Vytváří hodnotu, když se stane zprávou, která dokáže odpovědět na otázku. V tomto celku uvidíme vrstvy BI, správný metrický design a kde je umělá inteligence akcelerátorem a pastí v tomto procesu.

Architektura BI se obecně skládá z následujících vrstev. Zdrojové systémy: Místa, odkud data pocházejí, jako ERP, CRM, e-commerce. ETL proces (anglicky Extract-Transform-Load): Proces, který extrahuje data ze zdrojů (Extract), vyčistí je a převede na standardní strukturu (Transform) a načte je do cíle (Load). Datový sklad: Centrální úložiště, kde se shromažďují historická a konzistentní data určená pro analýzu. Vrstva sestavování/vizualizace: řídicí panely, sestavy a ad-hoc dotazy. V tomto řetězci kvalita každé vrstvy určuje další; Pokud je špinavý zdroj, je špinavá i zpráva.

Správné definování metrik a KPI

Metrika je měřená číselná hodnota: celkový obrat, počet objednávek. KPI (Key Performance Indicator) je kritická metrika, která měří výkon vůči cíli: „měsíční míra odchodu zákazníků pod 5 %. Ne každá metrika je KPI; KPI je metrika, která je svázána s obchodním cílem a spouští rozhodnutí.

Nejzáludnějším problémem BI projektů je vágní definice metrik. Co znamená „aktivní zákazník“? Objednáno za posledních 30 dnů nebo 90 dnů? Počítají se navrátilci? Pokud dva týmy znamenají různé věci pod pojmem „počet aktivních zákazníků“, stejný řídicí panel zobrazuje dvě různé skutečnosti. Proto by každý KPI ​​měl mít jednovětou široce přijímanou definici. AI rychle vytváří návrhy těchto definic; ale je na obchodní jednotce, aby rozhodla, která definice je „správná“.

Tip: Při navrhování KPI si zapište tři věci: (1) vzorec (co přesně je čitatel/jmenovatel), (2) časové okno, (3) vyloučené případy. Když AI řekne „extrahovat nejednoznačnosti v definici tohoto KPI jako otázky“, odhalí skryté předpoklady.

Krok za krokem: Generování zpráv s umělou inteligencí

Krok 1 – Vysvětlete otázku. K jakému rozhodnutí bude zpráva sloužit? Konkrétní cíl typu „my rozhodneme, do kterého kraje přesuneme rozpočet“, nikoli „to by mělo vypadat hezky“.

Krok 2 — Definujte metriky. Napište požadované KPI se vzorci, okny a výjimkami. Umělá inteligence může vytvářet návrhy definic.

Krok 3 — Vygenerujte návrh SQL. Poskytněte informace o schématu umělé inteligenci a vytvořte návrh dotazu. Než dotaz spustíte, přečtěte si ho a pochopte jej.

Krok 4 — Ověření pomocí malých dat. Spusťte dotaz nejprve na malém vzorku se známými výsledky; Zkontrolujte součty ručně. SQL AI může být syntakticky správné, ale logicky nesprávné.

Krok 5 — Přidejte narativní, otestujte tvrzení. Umělá inteligence může pro zprávu vytvořit narativní text; ale dokažte každé kauzální tvrzení („to je důvod, proč prodeje klesly“).

Past korelace a příčinnosti

Nejnebezpečnější chybou v BI je interpretovat dvě metriky, které fungují společně jako „jedna vytváří druhou“. Korelace je, když se dvě hodnoty mění společně; Kauzalita je, když jeden způsobí druhého. Věta „S rostoucím prodejem zmrzliny přibývaly případy utonutí“ je pravdivá, ale zmrzlina nezpůsobuje utonutí; Častou příčinou je léto (horké počasí). Umělá inteligence může snadno vytvářet kauzální věty při vytváření příběhu zprávy; Expert MIS na tato tvrzení reaguje otázkou: "Existuje nějaké jiné vysvětlení?" Měl by to otestovat. Jinak bude učiněno špatné rozhodnutí na základě nesprávného důvodu.

Tři mini případy: Podle čísel

Případ 1 – Náklady na nedefinovanou metriku. V telekomunikační společnosti byl počet „aktivních předplatitelů“ předložených představenstvu 2,1 milionu a zpráva finančního týmu byla 1,7 milionu. Rozdíl byl v tom, že jeden počítal 90 dní jako „aktivní“, zatímco druhý počítal 30 dní. O nesprávném tempu růstu se diskutovalo dva týdny, dokud nebyla objasněna společná definice. Jednovětová definice KPI by tomuto zmatku zabránila.

Případ 2 — AI má chybný SQL. U jednoho prodejce AI při generování dotazu „průměrný košík na zákazníka“ přidala k celkovému počtu řádky pro vrácení. Výsledek byl 12 % nad skutečnou hodnotou. SQL bylo syntakticky dokonalé. Když odborník ručně ověřil známý součet za den, zachytil odchylku a nechal přidat filtr vracení.

Případ 3 – Omyl kauzality. U společnosti zabývající se elektronickým obchodováním se na řídicím panelu psalo „prodeje jsou o 18 % vyšší ve dnech, kdy je odeslána e-mailová kampaň“, a tým se chystal zvýšit rozpočet kampaně. Analýza ukázala, že kampaně již byly načasovány tak, aby se shodovaly se dny kampaně s vysokou návštěvností (období slev). Prodej táhlo období, nikoli e-mail. Pokud by byl rozpočet navýšen bez testování s kontrolní skupinou, peníze by byly vyhozené.

Slabá výzva / Silná výzva

Slabá výzva:

Z této tabulky zapište SQL report prodeje.

Výkonná výzva:

Vaše role: Jste pozorný BI analytik. Napište NÁVRH SQL dotazu podle níže uvedeného schématu.Pravidla:- Používejte pouze dané tabulky/pole; nevyhovující pole.- VYLOUČTE návraty (status='Return') z celkového počtu.- Časové okno: posledních 30 dní.- Komentář řádek po řádku, co dotaz dělá.- Navrhněte 1 ukázkový řádek, který lze na konci ručně ověřit pro testování.Schema:Order(id, customer_id, date, number, status)Customer(id, name, net turn, segment)

Výkonná výzva omezuje schéma, ukládá obchodní pravidlo (s výjimkou návratu), určuje okno a požaduje ověřitelný výstup.

Čtyři kopírovatelné šablony

1) Vyjasnění definice KPI:

Napište úplný popis pro následující KPI: vzorec (čitatel/jmenovatel), časové okno, vyloučené případy. Případnou nejednoznačnost v definici přidejte jako otázku.KPI: [jméno, např. "míra odchodu zákazníků"]

2) Kontrola logiky SQL:

Prozkoumejte následující SQL dotaz: existuje riziko logických chyb, nesprávných JOINů, chybějících filtrů nebo dvojího započítání? Ke každému zjištění napište zdůvodnění. Dotaz neměňte, pouze jej zkontrolujte. SQL: [dotaz]

3) Popis zprávy + kontrola nároku:

Napište stručné shrnutí z výsledkové tabulky níže. Označte [POŽADOVANÝ DŮKAZ] vedle každého kauzálního tvrzení a navrhněte alternativní vysvětlení. Stačí se spolehnout na údaje v tabulce. Tabulka: [data]

4) Kontrola metrické konzistence:

Ve dvou níže uvedených přehledech poskytují metriky se stejným názvem různé hodnoty. Jsou uvedeny možné rozdíly v definici (časové okno, filtr, výpočet). Přehledy: [A] [B]

Srovnávací tabulka: Dobré a špatné KPI

funkce

Špatné KPI

Dobré KPI

Popis

"aktivní zákazník"

"Zákazník s ≥1 dokončenou objednávkou za posledních 30 dní"

pouto s cílem

žádný

"Zůstat pod 5% mírou ztrát"

měřitelnosti

nejednoznačný

vzorec jasný

výjimka

nejistý

Včetně vratek

Vyvolává to rozhodnutí?

ne

Ano

Časté chyby

  • Metrika zůstane nedefinovaná. Pokud se slova jako „aktivní“, „úspěšný“, „dokončený“ použijí bez vzorce, každý tým se počítá jinak.
  • Spuštění SQL AI bez ověření. Syntakticky správný dotaz může být logicky nesprávný; dvojí počítání a nesprávné JOIN jsou běžné.
  • Matoucí korelace s kauzalitou. Myslet si, že „s tím se zvýšilo“ znamená „to způsobilo to“, by vedlo k nesprávnému rozhodnutí.
  • Marnost metrické pronásledování. Zavádějící efektní, ale nerozhodující metriky, jako je „celkový počet kliknutí“ jako KPI.
  • Prezentace čísel bez kontextu. Jen „obrat 4,2 milionu“ je nesmyslný; Kontext je potřeba na základě minulého měsíce, cíle nebo rozpočtu.
Upozornění: Příběhy zpráv vytvořené umělou inteligencí jsou přesvědčivé a plynulé; To přesně zvyšuje riziko. Plynulá věta může nést falešné tvrzení o příčinné souvislosti. Otestujte každé tvrzení „protože“ a „proto“ s důkazy.

V souhrnu

Business Intelligence je vrstva, která transformuje rozptýlená data na rozhodnutí a skládá se ze zdroje, ETL, datového skladu a reportovacího řetězce. KPI je kritická metrika spojená s obchodním cílem s jasně definovaným vzorcem a výjimkami; nedefinovaná metrika je nejčastější chybou BI. Umělá inteligence poskytuje významnou rychlost při vytváření definic KPI, návrhu SQL a vyprávění sestav; ale každý SQL musí být logicky zdůvodněn, každé číslo musí být podpořeno známými údaji a každé kauzální tvrzení musí být testováno důkazy. Korelace není kauzalita; Fluidní vyprávění nezaručuje přesnost.

Aplikační úkol

Navrhněte KPI „míru dokončení“ pro platformu online kurzů. (1) Napište jednovětový popis se vzorcem, časovým oknem a výjimkami (např. počítají se zrušené registrace?). (2) Vytvořte jednoduché schéma (Registrace, Kurz, Průběh) a nechte si vygenerovat návrh SQL pro tento KPI pomocí výkonné výzvy. (3) Najděte v dotazu alespoň jedno možné riziko dvojího započítání nebo nesprávného filtrování. (4) Vytiskněte shrnutí závěru a označte v něm každý kauzální nárok. (5) Nastavte příklad pasti korelace-kauzalita a vysvětlete, jak byste ji otestovali.

kontrolní seznam

  • [ ] Zapisuje se vzorec, časové okno a výjimka každého KPI.
  • [ ] Přečetl jsem a porozuměl SQL generovanému AI řádek po řádku.
  • [ ] Ručně jsem ověřil dotaz s málo známými údaji.
  • [ ] Testoval jsem každé kauzální tvrzení ve zprávě s důkazy.
  • [ ] Každé číslo jsem uvedl do kontextu s benchmarkem (cíl/poslední období).
  • [ ] Dosáhl jsem mezitýmového konsenzu ohledně definic metrik.