Jednostka 10 / 11

Analiza wydajności i raportowanie: metryki, atrybucja i spostrzeżenia

Zyski:

  • Umiejętność zrozumienia wskaźników wydajności, takich jak CTR, konwersja, CPA, ROAS i atrybucja, oraz wykorzystania sztucznej inteligencji do podsumowania danych i szkiców spostrzeżeń
  • Możliwość anonimowego przekazywania danych kampanii sztucznej inteligencji oraz tworzenia komentarzy, wykrywania anomalii i projektów propozycji optymalizacji
  • Zrozumienie, że obowiązkowe jest porównanie i weryfikacja każdej liczby i zdania o przyczynowości wytworzonego przez sztuczną inteligencję z danymi źródłowymi

Gdy kampania jest już wdrożona, zaczyna się prawdziwa praca: zrozumienie jej działania. Pomiar skuteczności reklamy jest niezbędny zarówno do przesunięcia budżetu w odpowiednie miejsce, jak i lepszego skonfigurowania kolejnej kampanii. Ale pomiar to nie stos liczb; Dobra analiza pozwala odkryć historię i powód liczb. Nazywa się to wglądem. Sztuczna inteligencja jest na tym etapie świetnym akceleratorem: w ciągu kilku minut podsumowuje setki linijek danych kampanii, wskazuje anomalie (nieoczekiwane odchylenia), pisze projekty raportów. Ale niezmienna zasada tej jednostki jest następująca: każda liczba i każde zdanie przyczynowe wyprodukowane przez sztuczną inteligencję nie trafia do raportu, dopóki nie zostanie porównane i zweryfikowane z danymi źródłowymi. Modele językowe mogą generować płynne, ale zmyślone liczby, jeśli nie mają pełnego dostępu do danych lub nieprawidłowo je obliczają.

Kluczowe wskaźniki wydajności

Język analizy wydajności składa się z kilku metryk. CTR (Click-Through Rate) to liczba osób, które zobaczyły reklamę, kliknęły w nią (kliknięcia ÷ wyświetlenia). Zainteresowanie jest miarą atrakcyjności. Współczynnik konwersji to liczba kliknięć, która podejmie pożądaną akcję (zakup, rejestracja). CPA (Cost Per Acquisition) to koszt pozyskania (wydatki ÷ liczba przejęć). ROAS (Return on Ad Spend) to zwrot z wydatków na reklamę: uzyskane przychody ÷ wydatki na reklamę; Na przykład, jeśli wydałeś 10 000 TL i zarobiłeś 40 000 TL, ROAS wynosi 4. Istnieje również atrybucja: kwestia, do której reklamy/kanału przypisać konwersję. Jeśli klient najpierw zobaczył reklamę na Instagramie, następnie wyszukał w Google i kupił, na jakim kanale opublikujesz tę ofertę? Model cytowań podejmuje tę decyzję i bezpośrednio wpływa na analizę.

Poniższa tabela podsumowuje kluczowe wskaźniki i ich treść:

metryczny

formuła

co to mówi

CTR (współczynnik klikalności)

Kliknięcia ÷ Wyświetlenia

Czy reklama przyciąga uwagę?

Współczynnik konwersji

Konwersja ÷ Kliknij

Czy ktoś, kto kliknie, kupi?

CPA

Wydatki ÷ Nabycie

Ile kosztuje klient

ROAS

Dochody ÷ Wydatki

Czy wydatek jest opłacalny?

częstotliwość

Ekspozycja ÷ Zasięg

Ile razy widziała to ta sama osoba?

Wskazówka: nie podejmuj decyzji na podstawie tylko jednego wskaźnika. Wysoki CTR, ale niska konwersja oznacza, że ​​„reklama przyciąga, ale strona/oferta nie trzyma”. Wspólne czytanie wskaźników daje prawdziwy obraz.

Krok po kroku: od danych przez wgląd do raportu

Krok 1 — Zbieraj i anonimizuj dane. Pobieraj dane z dashboardów platform (Google Ads, Meta) i analityki; Usuń dane osobowe (identyfikator klienta, adres e-mail).

Krok 2 — Oblicz i zweryfikuj metryki. Sam potwierdź szanse; Określ formułę, przekazując ją AI.

Krok 3 — Poszukaj anomalii i wzorców. Niech sztuczna inteligencja zapyta „który kanał/dzień/segment odbiega od oczekiwań”; następnie potwierdź to danymi.

Krok 4 — Ustal związek przyczynowy, ale ostrożnie. Obsługa zdań „CTR spadł, ponieważ…” z danymi; Nie myl korelacji z przyczynowością.

Krok 5 — Projekt raportu i rekomendacji. Wygeneruj streszczenie i projekt propozycji optymalizacji za pomocą sztucznej inteligencji; Zweryfikuj i potwierdź każdy numer i roszczenie.

trzy mini etui

Przypadek 1 — Szybkie podsumowanie, zweryfikowany problem. Ekspert ds. wydajności anonimowo przekazał AI 300 linii tygodniowych danych z 6 kanałów i poprosił o projekt streszczenia. AI podsumowane w 5 minut; Ekspert porównał każdą wartość ROAS i CPA ze swoim dashboardem, korygując dwie błędne interpretacje. Czas trwania: 1 godzina zamiast pół dnia. AI dała projekt, weryfikacja pozostała przy człowieku.

Przypadek 2 — Zmyślona pułapka liczbowa. Zespół powiedział sztucznej inteligencji: „Nasz ROAS nie trafił w zeszłym miesiącu, skomentuj”, nie podając surowych danych. „Około 3,5, dobry wynik” – napisała pewnie AI. Rzeczywisty ROAS wyniósł 1,8, a kampania faktycznie przyniosła straty. Raport został poprawiony, ale zaufanie klientów zostało zachwiane. Błąd: oczekiwanie na metryki od AI bez podania danych.

Przypadek 3 — Błąd atrybucji. Jedna marka przypisała całą sprzedaż na podstawie ostatniego kliknięcia, wpisał całą sprzedaż do wyszukiwarki Google i obcięła budżet na Instagramie. Sprzedaż spadła w następnym miesiącu; ponieważ Instagram stworzył świadomość i napędzał wyszukiwanie. Ślepe poleganie na modelu pojedynczego cytowania doprowadziło do błędnej decyzji. Lekcja: atrybucja jest modelem, a nie prawdą absolutną; Konieczne jest porównanie różnych modeli.

Cztery szablony do kopiowania

1) Podsumowanie danych (z naciskiem na walidację):

Poniżej znajdują się anonimowe dane kampanii (bez identyfikatora klienta): [wklej dane/tabelę] Zadanie: (1) Oblicz i wyświetl CTR, współczynnik konwersji, CPA, ROAS wraz z ich wzorami. (2) Wskaż 2 kanały o najlepszej i najgorszej skuteczności. (3) Wyraźnie określ, gdzie nie masz pewności lub których brakuje w danych. Nie wymyślaj żadnych liczb, których nie ma w danych. Potwierdzę konto.

2) Łowca anomalii/wzorców:

Poniżej znajdują się codzienne dane z ostatnich 4 tygodni: [dane].Zadanie: Wykryj nieoczekiwane odchylenia (nagły spadek/wzrost). Dla każdej anomalii: który dzień/kanał, jak duże jest odchylenie, możliwe wyjaśnienia (hipoteza). Podaj, że są to hipotezy, a nie ostateczne przyczyny.

3) Sprawdzanie przyczynowości:

Moja obserwacja jest taka: „[np. CTR spadł z 2% do 1,3%]”. Zadanie: wypisz możliwe przyczyny tego spadku (zmęczenie reklamami, pora roku, zmiana kierowania, aktywność konkurencji itp.). Powiedz mi, z jakimi danymi mogę przetestować dla każdego powodu. Nie przedstawiaj korelacji jako związku przyczynowego; Nie powołuj się na ostateczną przyczynę.

4) Streszczenie + projekt wniosku:

Metryki, które zweryfikowałem: [wartości CTR, konwersja, CPA, ROAS]. Zadanie: Napisz 1-stronicową wersję streszczenia dla kadry kierowniczej: (1) co wydarzyło się w tym terminie (3 pozycje), (2) co zadziałało/nie zadziałało, (3) 3 sugestie optymalizacji na następny okres. Po prostu użyj zweryfikowanych liczb, które podałem; generowanie nowych liczb.

Słaba zachęta/silna zachęta

Słaba zachęta:

Oceń skuteczność mojej kampanii i podaj mój ROAS.

Brak danych; Sztuczna inteligencja może wymyślać jedynie „ROAS”. Wynik jest gładki, ale nierealistyczny.

Potężny monit:

Twoja rola: asystent analityka specjalisty ds. marketingu efektywnościowego. Poniżej znajdują się anonimowe dane tygodniowe (bez nazwisk/identyfikacji): Wydatki na reklamę: 25 000 TL. Dochód: 60 000 TL. Wyświetlenia: 500 000. Kliknięcia: 12 000. Konwersja: 480.Zadanie: (1) Oblicz i wyświetl CTR, współczynnik konwersji, CPA i ROAS za pomocą wzoru.(2) Napisz wersję roboczą komentarza w jednym akapicie.(3) Nie wymyślaj żadnych liczb, których nie ma w danych; Powiedz, że nie jesteś pewien.

W tym żądaniu jasne jest oczekiwanie danych, formuła i zakaz „uzupełniania”. Ponownie weryfikujesz wynik: CTR = 12 000 ÷ 500 000 = 2,4%; współczynnik konwersji = 480 ÷ 12 000 = 4%; CPA = 25 000 ÷ 480 ≈ 52 TL; ROAS = 60 000 ÷ 25 000 = 2,4.

Typowe błędy

  • Żądanie metryk bez podawania danych. AI nie może uzyskać dostępu do Twoich danych; Numer, który podaje, jest fałszywy.
  • Patrząc na jeden wskaźnik. Jeśli CTR jest wysoki, a konwersja niska, problem może dotyczyć strony/oferty, a nie reklamy.
  • Mylimy korelację z przyczynowością. To, że dwie rzeczy współdziałają, nie oznacza, że ​​jedna powoduje drugą.
  • Opieranie się na modelu pojedynczego cytowania. Atrybucja jest modelem; Różne modele prowadzą do różnych decyzji.
  • Umieszczenie w raporcie stwierdzenia przyczynowości AI bez jego potwierdzenia. Zdania „Ponieważ…” muszą być poparte danymi.
  • Mylenie surowej liczby z wglądem. Raport nie zawiera liczb; powie ci, co to oznacza i co robić.
Uwaga: najniebezpieczniejszym zdaniem w raporcie jest niepotwierdzone „ponieważ”. AI może wymyślić płynny powód; Jeśli przedstawisz tę przyczynę kierownictwu, nie potwierdzając tego danymi, możesz podjąć błędną decyzję.

Podsumowując

Analiza wydajności to zadanie polegające na przełożeniu danych kampanii na decyzje, a jej podstawą są takie wskaźniki jak CTR, współczynnik konwersji, CPA, ROAS oraz kwestia atrybucji. Sztuczna inteligencja to potężna pomoc w podsumowywaniu setek linii danych, znajdowaniu anomalii i sporządzaniu raportów. Jednak każda liczba i każde zdanie o przyczynowości, jakie ona daje, nie są uwzględniane w raporcie, dopóki nie zostaną zweryfikowane z danymi źródłowymi; Model językowy może się dostosować, gdy nie może uzyskać dostępu do danych. Wspólne czytanie metryk, oddzielanie korelacji od związku przyczynowego i nie wiązanie atrybucji z jednym modelem to oznaki dobrej analizy. Raport przedstawia znaczenie i sugestie, a nie listę liczb.

Zadanie aplikacji

Przygotuj rzeczywiste lub hipotetyczne dane kampanii (wydatki, przychody, wyświetlenia, kliknięcia, konwersje). (1) Anonimizuj dane. (2) Oblicz metryki za pomocą „Podsumowania danych” i samodzielnie potwierdź je za pomocą wzoru. (3) Znajdź odstępstwo za pomocą „łowcy anomalii”; powiązać to z hipotezą. (4) Za pomocą narzędzia do sprawdzania związku przyczynowego zapisz możliwe przyczyny tego odchylenia i sposób sprawdzenia każdej z nich. (5) Przygotuj projekt „streszczenia wykonawczego” i sprawdź, czy zawiera on wyłącznie zweryfikowane przez Ciebie liczby; Poprzyj zdanie „ponieważ” danymi.

lista kontrolna

  • [ ] Zanonimizowałem dane kampanii przed przekazaniem ich do narzędzia.
  • [ ] Sam zweryfikowałem każdą metrykę za pomocą jej wzoru.
  • [ ] Czytam dane razem, a nie pojedynczo.
  • [ ] Twierdzenia o przyczynowości poparłem danymi; Nie pomyliłem tego z korelacją.
  • [ ] Nie przypisałem odniesienia do jednego modelu, porównywałem.
  • [ ] W raporcie umieszczam tylko zweryfikowane liczby; Nie ma fałszywych numerów.