Jednotka 10 / 11

Analýza výkonnosti a prehľady: metriky, pripisovanie a štatistiky

zisky:

  • Schopnosť porozumieť metrikám výkonnosti, ako sú CTR, konverzia, CZA, ROAS a atribúcia, a používať umelú inteligenciu na zhrnutie údajov a návrhov štatistík
  • Schopnosť anonymne poskytnúť údaje o kampani umelej inteligencii a vytvárať komentáre, detekciu anomálií a návrhy optimalizácie
  • Pochopenie, že je povinné porovnávať a overovať každé číslo a vetu o príčinnej súvislosti vytvorenú umelou inteligenciou so zdrojovými údajmi

Po spustení kampane sa začína skutočná práca: pochopenie toho, čo robí. Meranie výkonnosti reklamy je nevyhnutné pre presun rozpočtu na správne miesto a pre lepšie nastavenie ďalšej kampane. Ale meranie nie je hromada čísel; Dobrá analýza nájde príbeh a dôvod za číslami. Tomu sa hovorí vhľad. Umelá inteligencia je v tejto fáze veľkým akcelerátorom: v priebehu niekoľkých minút sumarizuje stovky riadkov údajov o kampani, upozorňuje na anomálie (neočakávané odchýlky), píše návrhy správ. Ale nemenné pravidlo tejto jednotky je toto: Každé číslo a každá veta kauzality vytvorená AI sa nedostane do správy, kým sa neporovná a neoverí so zdrojovými údajmi. Jazykové modely môžu produkovať plynulé, ale vymyslené čísla, keď nemajú úplný prístup k údajom alebo ich nesprávne vypočítavajú.

Kľúčové metriky výkonnosti

Jazyk analýzy výkonnosti tvorí niekoľko metrík. CTR (Click-Through Rate) vyjadruje, koľko ľudí, ktorí videli reklamu, na ňu kliklo (kliknutia ÷ zobrazenia). Záujem je meradlom príťažlivosti. Konverzný pomer je to, koľko klikačov vykoná požadovanú akciu (nákup, registrácia). CPA (Cost Per Acquisition) je cena za akvizíciu (výdavky ÷ počet akvizícií). ROAS (návratnosť výdavkov na reklamu) je návratnosť výdavkov na reklamu: zarobené príjmy ÷ výdavky na reklamu; Ak ste napríklad minuli 10 000 TL a zarobili ste na výnosoch 40 000 TL, ROAS je 4. Existuje aj pripisovanie: otázka, ktorej reklame alebo kanálu pripísať konverziu. Ak zákazník najprv videl reklamu na Instagrame, potom vyhľadal na Googli a kúpil, na ktorom kanáli zverejníte tento predaj? Citačný model robí toto rozhodnutie a priamo ovplyvňuje analýzu.

Nasledujúca tabuľka sumarizuje kľúčové metriky a ich vyjadrenia:

metrický

vzorec

čo to hovorí

CTR (miera prekliknutia)

Kliknutia ÷ Zobrazenia

Priťahuje reklama pozornosť?

Konverzný pomer

Konverzia ÷ Kliknutie

Kúpi si to niekto, kto klikne?

CZA

Výdavky ÷ Akvizícia

Koľko stojí zákazník

ROAS

Príjem ÷ Výdavky

Sú výdavky ziskové?

frekvencia

Expozícia ÷ Dosah

Koľkokrát to videl ten istý človek?

Tip: Nerozhodujte sa len na základe jednej metriky. Vysoká CTR, ale nízka konverzia znamená „reklama zaujme, ale stránka/ponuka neobstojí“. Spoločné čítanie metrík dáva skutočný príbeh.

Krok za krokom: od údajov cez prehľad až po prehľad

Krok 1 – Zhromažďujte a anonymizujte údaje. Získajte údaje z informačných panelov platforiem (Google Ads, Meta) a analýzy; Odstráňte osobné údaje (ID zákazníka, email).

Krok 2 – Vypočítajte a overte metriky. Potvrďte šance sami; Zadajte vzorec, keď ho dáte AI.

Krok 3 — Hľadajte anomálie a vzory. Požiadajte AI, aby sa spýtala „ktorý kanál/deň/segment sa odchyľuje od toho, čo sa očakáva“; potom to potvrďte údajmi.

Krok 4 – Stanovte kauzalitu, ale opatrne. Podpora viet „CTR klesla, pretože…“ s údajmi; Nezamieňajte si koreláciu s príčinnou súvislosťou.

Krok 5 – Návrh správy a odporúčania. Vytvorte zhrnutie a návrh optimalizácie pomocou AI; Overte a potvrďte každé číslo a nárok.

tri mini prípady

Prípad 1 – Rýchle zhrnutie, overený problém. Expert na výkon anonymne poskytol AI 300 riadkov týždenných údajov zo 6 kanálov a vyžiadal si návrh zhrnutia. AI zhrnuté do 5 minút; Expert porovnal každú hodnotu ROAS a CPA so svojím panelom a opravil dve chybné interpretácie. Trvanie: 1 hodina namiesto pol dňa. AI dala návrh, overenie zostalo na človeku.

Prípad 2 – Vymyslená pasca na čísla. Tím povedal AI: „Náš návratnosť výdavkov na reklamu minulý mesiac zmeškala, komentuj“ bez poskytnutia nespracovaných údajov. "Asi 3,5, dobrý výkon," napísala AI s istotou. Skutočná ROAS bola 1,8 a kampaň bola v skutočnosti stratová. Správa bola opravená, ale dôvera zákazníkov bola otrasená. Chyba: čakanie na metriky od AI bez poskytnutia údajov.

Prípad 3 – Chyba pripisovania. Jedna značka pripísala všetky predaje na základe posledného kliknutia, zadala všetky predaje do vyhľadávania Google a znížila rozpočet na Instagram. Predaj klesol nasledujúci mesiac; pretože Instagram vytvoril povedomie a podporil vyhľadávanie. Slepé spoliehanie sa na model jedinej citácie prinieslo nesprávne rozhodnutie. Poučenie: pripisovanie je model, nie absolútna pravda; Je potrebné porovnávať rôzne modely.

Štyri kopírovateľné šablóny

1) Sumár údajov (s dôrazom na validáciu):

Nižšie sú uvedené anonymné údaje o kampani (bez ID zákazníka):[prilepte údaje/tabuľku]Úloha: (1) Vypočítajte a zobrazte mieru prekliknutia, mieru konverzie, CZA, ROAS pomocou ich vzorcov.(2) Uveďte 2 kanály s najlepšou a najhoršou výkonnosťou.(3) Jasne uveďte, kde si nie ste istí alebo kde v údajoch chýbajú. Nevymýšľajte čísla, ktoré nie sú v údajoch. Účet potvrdím.

2) Lovec anomálií/vzorov:

Nižšie sú uvedené denné údaje za posledné 4 týždne: [údaje]. Úloha: Zistiť neočakávané odchýlky (náhly pokles/nárast). Pre každú anomáliu: ktorý deň/kanál, o koľko sa odchýlil, možné vysvetlenia (hypotéza). Uveďte, že ide o hypotézy, nie definitívne príčiny.

3) Kontrola príčinnosti:

Postreh, ktorý mám, je: „[napr. CTR klesla z 2 % na 1,3 %]“. Úloha: Uveďte možné dôvody tohto poklesu (únava z reklamy, sezóna, zmena zacielenia, aktivita konkurenta atď.). Povedzte mi, s akými údajmi môžem testovať z jednotlivých dôvodov. Neprezentujte koreláciu ako príčinnú súvislosť; Neuvádzajte definitívnu príčinu.

4) Zhrnutie + návrh:

Metriky, ktoré som overil: [CTR, konverzia, CZA, hodnoty ROAS]. Úloha: Napíšte jednostranový návrh súhrnného súhrnu: (1) čo sa stalo v tomto výraze (3 položky), (2) čo fungovalo/nefungovalo, (3) 3 návrhy na optimalizáciu pre nasledujúci výraz. Stačí použiť overené čísla, ktoré som uviedol; generovanie nových čísel.

Slabá výzva / Silná výzva

Slabá výzva:

Vyhodnoťte výkonnosť mojej kampane a povedzte mi moje ROAS.

Nie sú uvedené žiadne údaje; Umelá inteligencia môže tvoriť iba „ROAS“. Výstup je hladký, ale nereálny.

Výkonná výzva:

Vaša úloha: analytický asistent špecialistu na výkonnostný marketing. Nižšie sú anonymné týždenné údaje (bez mien/identifikácie): Výdavky na reklamu: 25 000 TL. Príjem: 60 000 TL. Videnia: 500 000. Kliknutia: 12 000. Konverzia: 480. Úloha: (1) Vypočítajte a zobrazte CTR, konverzný pomer, CPA a ROAS pomocou vzorca. (2) Napíšte návrh komentára k jednému odseku. (3) Nevymýšľajte čísla, ktoré nie sú v údajoch; Uveďte, že si nie ste istí.

V tejto žiadosti je jasné očakávanie údajov, vzorca a zákaz „vymýšľania“. Opäť overíte výstup: CTR = 12 000 ÷ 500 000 = 2,4 %; miera konverzie = 480 ÷ 12 000 = 4 %; CPA = 25 000 ÷ 480 ≈ 52 TL; ROAS = 60 000 ÷ 25 000 = 2,4.

Časté chyby

  • Žiadosť o metriky bez poskytnutia údajov. AI nemá prístup k vašim údajom; Číslo, ktoré uvádza, je falošné.
  • Pri pohľade na jednu metriku. Ak je CTR vysoká a konverzia nízka, problém môže byť na stránke/ponuke, nie v reklame.
  • Mätúca korelácia s príčinnou súvislosťou. To, že dve veci pôsobia spolu, neznamená, že jedna spôsobuje druhú.
  • Spoliehanie sa na model jednej citácie. Atribúcia je model; Rôzne modely prinášajú rôzne rozhodnutia.
  • Uvedenie kauzálneho vyhlásenia AI do správy bez potvrdenia. „Pretože…“ vety musia byť podložené údajmi.
  • Zámena surového čísla za pochopenie. Správa neuvádza čísla; vám povie, čo to znamená a čo máte robiť.
Pozor: Najnebezpečnejšia veta v správe je nepodložené „pretože“. AI môže prísť s plynulým dôvodom; Ak tento dôvod predložíte vedeniu bez toho, aby ste ho preukázali údajmi, môžete viesť k nesprávnemu rozhodnutiu.

V súhrne

Analýza výkonnosti je úlohou premeny údajov kampane na rozhodnutia a jej jadrom sú metriky ako MP, konverzný pomer, CZA, ROAS a problém pripisovania. Umelá inteligencia je výkonným pomocníkom pri sumarizácii stoviek riadkov údajov, hľadaní anomálií a vytváraní správ. Ale každé číslo a každá veta o príčinnej súvislosti, ktorú uvádza, nie sú zahrnuté v správe, kým nie sú overené so zdrojovými údajmi; Jazykový model sa môže prispôsobiť, keď nemá prístup k údajom. Spoločné čítanie metrík, oddelenie korelácie od príčinnej súvislosti a neviazanie pripisovania na jeden model sú znakmi dobrej analýzy. Správa prináša význam a návrhy, nie zoznam čísel.

Aplikačná úloha

Pripravte si skutočné alebo hypotetické údaje o kampani (výdavky, výnosy, zobrazenia, kliknutia, konverzie). (1) Anonymizovať údaje. (2) Nechajte si vypočítať metriky pomocou „Súhrnníka údajov“ a každú si sami potvrďte pomocou vzorca. (3) Nájdite odchýlku pomocou „hľadača anomálií“; spojiť to s hypotézou. (4) Pomocou „kontroly príčin“ zapíšte možné príčiny tejto odchýlky a ako by ste každú z nich otestovali. (5) Vytvorte návrh „zhrnutia“ a skontrolujte, či obsahuje iba čísla, ktoré ste overili; Podporte vetu „pretože“ údajmi.

kontrolný zoznam

  • [ ] Pred odovzdaním do nástroja som anonymizoval údaje kampane.
  • [ ] Sám som overil každú metriku pomocou jej vzorca.
  • [ ] Metriky čítam spolu, nie jednu po druhej.
  • [ ] Prehlásenia o príčinnej súvislosti som podporil údajmi; Nepomýlil som si to s koreláciou.
  • [ ] Odkaz som nepripisoval jedinému modelu, porovnával som ho.
  • [ ] Do správy som uviedol len overené čísla; Neexistujú žiadne falošné čísla.