Jednostka 4 / 11

Business Intelligence (BI), raportowanie i projektowanie metryk

Zyski:

  • Umiejętność wyjaśnienia warstw Business Intelligence (źródło, ETL, hurtownia danych, raport) i prawidłowego zdefiniowania kluczowych wskaźników biznesowych (KPI).
  • Możliwość wykorzystania sztucznej inteligencji do tworzenia definicji metryk, wersji SQL i narracji raportów oraz dostarczania wyników w postaci rzeczywistych danych
  • Umiejętność rozpoznawania ryzyka pomylenia korelacji z przyczynami i wprowadzających w błąd wskaźników w wynikach analiz wspieranych przez sztuczną inteligencję

Business Intelligence (BI) to dyscyplina, która gromadzi rozproszone dane organizacji, przygotowuje je do analizy i generuje z tych danych informacje wspierające podejmowanie decyzji. Dla specjalisty MIS BI to warstwa, w której „dane zamieniają się w decyzje”. Same surowe zapisy zamówień nie mają znaczenia; ale „w jakim regionie spadły obroty w tym miesiącu, dlaczego?” Tworzy wartość, gdy staje się raportem, który może odpowiedzieć na pytanie. W tej jednostce zobaczymy warstwy BI, właściwy projekt metryki oraz to, gdzie sztuczna inteligencja jest akceleratorem i pułapką w tym procesie.

Architektura BI zazwyczaj składa się z następujących warstw. Systemy źródłowe: Miejsca pochodzenia danych, takie jak ERP, CRM, e-commerce. Proces ETL (ang. Extract-Transform-Load): Proces, który wyodrębnia dane ze źródeł (Extract), czyści je i konwertuje do standardowej struktury (Transform) oraz ładuje do celu (Load). Hurtownia danych: Centralne repozytorium, w którym gromadzone są historyczne i spójne dane przeznaczone do analizy. Warstwa raportowania/wizualizacji: dashboardy, raporty i zapytania ad hoc. W tym łańcuchu jakość każdej warstwy determinuje następną; Jeśli źródło jest brudne, raport też jest brudny.

Prawidłowe definiowanie wskaźników i wskaźników KPI

Metryka to mierzona wartość liczbowa: całkowity obrót, liczba zamówień. KPI (Key Performance Indicator) to kluczowy wskaźnik mierzący wydajność w stosunku do celu: „miesięczny wskaźnik rezygnacji klientów poniżej 5%”. Nie każdy wskaźnik jest KPI; KPI to wskaźnik powiązany z celem biznesowym, który umożliwia podjęcie decyzji.

Najbardziej podstępnym problemem projektów BI jest niejasna definicja metryk. Co oznacza „aktywny klient”? Zamówiłeś w ciągu ostatnich 30 dni czy 90 dni? Czy osoby powracające są liczone? Jeśli dwa zespoły mają na myśli różne rzeczy, mówiąc „liczba aktywnych klientów”, ten sam pulpit nawigacyjny pokazuje dwa różne fakty. Dlatego każdy KPI powinien mieć jednozdaniową, powszechnie akceptowaną definicję. AI szybko tworzy projekty tych definicji; ale to jednostka biznesowa decyduje, która definicja jest „poprawna”.

Wskazówka: Projektując KPI, zapisz trzy rzeczy: (1) wzór (czym dokładnie jest licznik/mianownik), (2) okno czasowe, (3) przypadki wykluczone. Jeśli sztuczna inteligencja powie „wydobądź niejasności z definicji tego KPI w postaci pytań”, ujawnia ukryte założenia.

Krok po kroku: generowanie raportów w oparciu o sztuczną inteligencję

Krok 1 – Wyjaśnij pytanie. Jakiej decyzji będzie służyć raport? Konkretny cel typu „zdecydujemy, na który region przesuniemy budżet”, a nie „ma to ładnie wyglądać”.

Krok 2 — Zdefiniuj metryki. Zapisz wymagane wskaźniki KPI za pomocą formuł, okien i wyjątków. Sztuczna inteligencja może tworzyć projekty definicji.

Krok 3 — Wygeneruj wersję roboczą SQL. Przekaż informacje o schemacie sztucznej inteligencji i przygotuj wersję roboczą zapytania. Ale przeczytaj i zrozum zapytanie przed jego uruchomieniem.

Krok 4 — Weryfikacja przy użyciu małych danych. Najpierw uruchom zapytanie na małej próbce ze znanymi wynikami; Sprawdź sumy ręcznie. SQL AI może być składniowo poprawny, ale logicznie niepoprawny.

Krok 5 — Dodaj narrację, przetestuj twierdzenia. Sztuczna inteligencja może przygotować tekst narracyjny do raportu; ale udowodnij każde twierdzenie przyczynowe („dlatego sprzedaż spadła”).

Pułapka korelacji i przyczynowości

Najniebezpieczniejszym błędem w BI jest interpretowanie dwóch metryk, które współdziałają w ten sposób, że „jedna tworzy drugą”. Korelacja ma miejsce, gdy dwie wartości zmieniają się razem; Przyczynowość ma miejsce wtedy, gdy jedno powoduje drugie. Zdanie „Wraz ze wzrostem sprzedaży lodów wzrosła liczba przypadków utonięć” jest prawdziwe, ale lody nie powodują utonięć; Najczęstszą przyczyną jest lato (gorąca pogoda). Sztuczna inteligencja może z łatwością tworzyć zdania przyczynowe podczas tworzenia narracji raportu; Ekspert MIS odpowiada na te twierdzenia, zadając pytanie „czy jest jakieś inne wyjaśnienie?” Powinien to przetestować. W przeciwnym razie zostanie podjęta zła decyzja na podstawie niewłaściwego powodu.

Trzy mini etui: w liczbach

Przypadek 1 – Koszt niezdefiniowanego miernika. W spółce telekomunikacyjnej liczba „aktywnych abonentów” przedstawiona zarządowi wyniosła 2,1 mln, a raport zespołu finansowego – 1,7 mln. Różnica polegała na tym, że jeden liczył 90 dni jako „aktywne”, a drugi 30 dni. Przez dwa tygodnie do czasu wyjaśnienia wspólnej definicji dyskutowano o nieprawidłowym tempie wzrostu. Jednozdaniowa definicja KPI pozwoliłaby uniknąć tego zamieszania.

Przypadek 2 — sztuczna inteligencja myli SQL. U jednego sprzedawcy sztuczna inteligencja dodała wiersze zwrotu do sumy podczas generowania zapytania „średni koszyk na klienta”; Wynik był o 12% wyższy od wartości rzeczywistej. SQL był syntaktycznie doskonały. Kiedy ekspert ręcznie zweryfikował znaną sumę dni, wychwycił odchylenie i kazał dodać filtr zwrotów.

Przypadek 3 — Błąd przyczynowości. W firmie zajmującej się handlem elektronicznym na panelu widniała informacja „sprzedaż jest o 18% wyższa w dni, w których wysyłana jest kampania e-mailowa”, a zespół miał właśnie zwiększyć budżet kampanii. Analiza wykazała, że ​​czas trwania kampanii pokrywał się już z dniami kampanii o dużym natężeniu ruchu (okresy rabatowe). To okres, a nie e-mail, napędzał sprzedaż. Gdyby budżet został zwiększony bez przeprowadzenia badań z grupą kontrolną, pieniądze zostałyby zmarnowane.

Słaba podpowiedź/silna podpowiedź

Słaba zachęta:

Zapisz raport SQL raportu sprzedaży z tej tabeli.

Potężny monit:

Twoja rola: Jesteś uważnym analitykiem BI. Napisz SZEROKOŚĆ zapytania SQL według poniższego diagramu. Zasady: - Korzystaj tylko z podanych tabel/pól; pole niepasujące.- WYŁĄCZ zwroty (status='Zwrot') z sumy.- Okno czasowe: ostatnie 30 dni.- Skomentuj wiersz po wierszu, co robi zapytanie.- Zasugeruj 1 przykładową linię, która może zostać ręcznie zatwierdzona do testowania na końcu.Schemat:Zamówienie(id, identyfikator_klienta, data, kwota, status)Klient(id, nazwa, segment)Cel: obrót netto z ostatnich 30 dni według segmentu.

Potężny monit ogranicza schemat, narzuca regułę biznesową (wyłączając zwrot), określa okno i żąda sprawdzalnych wyników.

Cztery szablony do kopiowania

1) Wyjaśnienie definicji KPI:

Napisz pełny opis dla następujących KPI: formuła (licznik/mianownik), okno czasowe, wyłączone przypadki. Dodaj dowolną niejednoznaczność w definicji jako pytanie.KPI: [nazwa, np. „wskaźnik odejść klientów”]

2) Kontrola logiki SQL:

Sprawdź następujące zapytanie SQL: czy istnieje ryzyko błędów logicznych, nieprawidłowych połączeń JOIN, brakujących filtrów lub podwójnego liczenia? Do każdego ustalenia napisz uzasadnienie. Nie zmieniaj zapytania, po prostu je sprawdź. SQL: [zapytanie]

3) Narracja raportu + kontrola roszczeń:

Napisz krótkie podsumowanie na podstawie poniższej tabeli wyników. Oznacz [WYMAGANE DOWODY] obok każdego twierdzenia przyczynowego i zasugeruj alternatywne wyjaśnienie. Wystarczy polegać na danych w tabeli. Tabela: [dane]

4) Kontrola spójności metryk:

W dwóch poniższych raportach dane o tej samej nazwie dają różne wartości. Podano możliwe różnice w definicji (okno czasowe, filtr, obliczenia). Raporty: [A] [B]

Tabela porównawcza: dobry i zły KPI

funkcja

Zły KPI

Dobry KPI

Opis

„Aktywny klient”

„Klient z ≥1 zrealizowanym zamówieniem w ciągu ostatnich 30 dni”

więź z celem

Żadne

„Pozostanie poniżej 5% wskaźnika strat”

wymierność

niejednoznaczne

formuła jasna

wyjątek

niepewny

Z wyłączeniem zwrotów

Czy powoduje podjęcie decyzji?

nie

Tak

Typowe błędy

  • Pozostawienie metryki niezdefiniowanej. Jeśli słowa takie jak „aktywny”, „udany”, „ukończony” zostaną użyte bez formuły, każdy zespół będzie liczony inaczej.
  • Uruchamianie SQL AI bez weryfikacji. Zapytanie poprawne składniowo może być niepoprawne logicznie; podwójne liczenie i nieprawidłowe JOIN są częste.
  • Mylimy korelację z przyczynowością. Myślenie, że „wzrosło wraz z tym” oznacza, że ​​„to spowodowało tamto”, prowadziłoby do błędnej decyzji.
  • Pogoń za próżnością. Mylenie wymyślnych, ale niedecydujących wskaźników, takich jak „łączna liczba kliknięć”, ze wskaźnikami KPI.
  • Prezentowanie liczb bez kontekstu. Samo „obrót 4,2 mln” jest bez znaczenia; Kontekst jest potrzebny w zależności od ostatniego miesiąca, celu lub budżetu.
Uwaga: narracje raportów tworzone przez sztuczną inteligencję są przekonujące i płynne; To dokładnie zwiększa ryzyko. Płynne zdanie może zawierać fałszywe twierdzenie o przyczynowości. Przetestuj każde stwierdzenie „ponieważ” i „dlatego” za pomocą dowodów.

Podsumowując

Business Intelligence to warstwa, która przekształca rozproszone dane w decyzje i składa się ze źródła, ETL, hurtowni danych i łańcucha raportowania. KPI to krytyczny miernik powiązany z celem biznesowym, z jasno określoną formułą i wyjątkami; niezdefiniowana metryka to najczęstszy błąd BI. Sztuczna inteligencja zapewnia znaczną szybkość tworzenia definicji KPI, wersji SQL i narracji raportów; ale każdy SQL musi być logicznie uzasadniony, każda liczba musi być poparta znanymi danymi, a każde twierdzenie przyczynowe musi zostać sprawdzone dowodami. Korelacja nie jest przyczynowością; Płynna narracja nie gwarantuje dokładności.

Zadanie aplikacji

Zaprojektuj KPI „wskaźnika ukończenia” dla platformy kursów online. (1) Napisz jednozdaniowy opis zawierający wzór, okno czasowe i wyjątki (np. czy anulowane rejestracje są liczone?). (2) Utwórz prosty schemat (rejestracja, kurs, postęp) i wygeneruj wersję roboczą SQL dla tego KPI za pomocą potężnego podpowiedzi. (3) Znajdź przynajmniej jedno możliwe ryzyko podwójnego liczenia lub nieprawidłowego filtrowania w zapytaniu. (4) Wydrukuj streszczenie wniosku i zaznacz w nim każde roszczenie przyczynowe. (5) Podaj przykład pułapki korelacja-przyczyna i wyjaśnij, w jaki sposób można ją przetestować.

lista kontrolna

  • [ ] Zapisano formułę, okno czasowe i wyjątek dla każdego KPI.
  • [ ] Przeczytałem i zrozumiałem kod SQL wygenerowany przez AI wiersz po wierszu.
  • [ ] Ręcznie zweryfikowałem zapytanie na podstawie mało znanych danych.
  • [ ] Sprawdziłem każde twierdzenie przyczynowe zawarte w raporcie za pomocą dowodów.
  • [ ] Do każdej liczby dodałem kontekst (punkt docelowy/ostatni okres).
  • [ ] Osiągnąłem konsensus między zespołami w sprawie definicji metryk.