Jedinica 10 / 11

Analiza učinka i izvještavanje: metrika, atribucija i uvid

Dobici:

  • Sposobnost razumijevanja metrike učinka kao što su CTR, konverzija, CPA, ROAS i atribucija i korištenje umjetne inteligencije za sumiranje podataka i nacrta uvida
  • Sposobnost anonimnog davanja podataka o kampanji umjetnoj inteligenciji i izrade komentara, otkrivanja anomalija i nacrta prijedloga optimizacije
  • Razumijevanje da je obavezno usporediti i provjeriti svaki broj i kauzalnu rečenicu koju je proizvela umjetna inteligencija s izvornim podacima

Kada kampanja postane aktivna, počinje pravi posao: razumijevanje onoga što ona radi. Mjerenje učinka oglasa je od suštinskog značaja kako za prebacivanje budžeta na pravo mjesto tako i za bolje postavljanje sljedeće kampanje. Ali mjerenje nije gomila brojeva; Dobra analiza pronalazi priču i razloge iza brojeva. Ovo se zove uvid. Umjetna inteligencija je odličan akcelerator u ovoj fazi: sažima stotine redova podataka kampanje u minutima, ukazuje na anomalije (neočekivana odstupanja), piše nacrte izvještaja. Ali nepromjenjivo pravilo ove jedinice je sljedeće: svaki broj i svaka kauzalna rečenica koju proizvede AI ne ulazi u izvještaj dok se ne uporedi i provjeri s izvornim podacima. Jezički modeli mogu proizvesti tečne, ali izmišljene brojeve kada ne pristupaju u potpunosti podacima ili ih pogrešno izračunaju.

Ključni pokazatelji učinka

Nekoliko metrika čine jezik analize učinka. CTR (Click-Through Rate) je koliko je ljudi koji su vidjeli oglas kliknulo na njega (klikovi ÷ impresije). Interes je mjera privlačnosti. Stopa konverzije je koliko klikera poduzima željenu radnju (kupovina, registracija). CPA (Cost Per Acquisition) je trošak po akviziciji (potrošnja ÷ broj akvizicija). ROAS (Return on Ad Spend) je povrat ulaganja u oglašavanje: zarađeni prihod ÷ potrošnja na oglašavanje; Na primjer, ako ste potrošili 10.000 TL i zaradili 40.000 TL prihoda, ROAS je 4. Postoji i atribucija: pitanje kojem oglasu/kanalu pripisati konverziju. Ako je kupac prvo vidio oglas na Instagramu, a zatim pretražio na Googleu i kupio, na kojem kanalu ćete objaviti ovu prodaju? Model citiranja donosi ovu odluku i direktno utiče na analizu.

Sljedeća tabela sažima ključne metrike i ono što oni govore:

metrički

formula

šta kaže

CTR (klikovna stopa)

Klikovi ÷ Impresije

Privlači li reklama pažnju?

Stopa konverzije

Konverzija ÷ Kliknite

Da li neko ko klikne to kupuje?

CPA

Potrošnja ÷ Nabavka

Koliko košta kupac

ROAS

Prihodi ÷ Rashodi

Da li je trošak isplativ?

frekvencija

Ekspozicija ÷ Doseg

Koliko puta je ista osoba to vidjela?

Savjet: Nemojte donositi odluku na osnovu samo jedne metrike. Visok CTR, ali niska konverzija znači "reklama privlači, ali stranica/ponuda ne drži". Zajedničko čitanje metrike daje pravu priču.

Korak po korak: od podataka do uvida do izvještaja

Korak 1 — Prikupite i anonimizirajte podatke. Dobijte podatke sa nadzornih ploča platforme (Google Ads, Meta) i analitike; Uklonite lične podatke (korisnički ID, email).

Korak 2 — Izračunajte i potvrdite metriku. Sami potvrdite šanse; Navedite formulu kada je dajete AI.

Korak 3 — Potražite anomalije i obrasce. Neka AI pita "koji kanal/dan/segment odstupa od očekivanog"; zatim potvrdite podacima.

Korak 4 — Uspostavite uzročnost, ali oprezno. Podrška “CTR pao jer…” rečenice sa podacima; Ne brkajte korelaciju sa uzročno-posledičnošću.

Korak 5 — Nacrt izvještaja i preporuke. Generirajte izvršni sažetak i nacrt prijedloga optimizacije pomoću AI; Provjerite i potvrdite svaki broj i zahtjev.

tri mini kofera

Slučaj 1 — Kratki sažetak, provjereno pitanje. Stručnjak za performanse anonimno je dao 300 redova sedmičnih podataka sa 6 kanala AI i zatražio nacrt izvršnog sažetka. AI sažet u 5 minuta; Stručnjak je uporedio svaku vrijednost ROAS-a i CPA-a sa svojom kontrolnom tablom, ispravljajući dva pogrešna tumačenja. Trajanje: 1 sat umjesto pola dana. AI je dao nacrt, verifikacija je ostala kod čoveka.

Slučaj 2 — Izrađena zamka brojeva. Tim je rekao AI: "naš ROAS je promašen prošlog mjeseca, komentirajte" bez davanja sirovih podataka. „Oko 3,5, dobre performanse“, samouvereno je napisao AI. Stvarni ROAS je bio 1,8 i kampanja je zapravo bila na gubitku. Izvještaj je ispravljen, ali je povjerenje kupaca poljuljano. Greška: čeka se metrika od AI bez davanja podataka.

Slučaj 3 — Zabluda atribucije. Jedan brend je pripisao svu prodaju na osnovu posljednjeg klika, unio svu prodaju u Google pretragu i smanjio svoj Instagram budžet. Prodaja je pala sljedećeg mjeseca; jer je Instagram stvorio svijest i podstakao pretragu. Slijepo oslanjanje na model jednog citata dovelo je do pogrešne odluke. Pouka: atribucija je model, a ne apsolutna istina; Potrebno je uporediti različite modele.

Četiri šablona za kopiranje

1) Sažetak podataka (sa naglaskom na validaciju):

Ispod su anonimni podaci o kampanji (bez korisničkog ID-a): [zalijepi podatke/tabelu]Zadatak: (1) Izračunajte i prikažite CTR, stopu konverzije, CPA, ROAS sa njihovim formulama. (2) Istaknite 2 najbolja i najlošija kanala. (3) Jasno navedite gdje niste sigurni ili nedostaje u podacima. Ne izmišljajte podatke koji nisu u podacima. Ja ću potvrditi račun.

2) Lovac na anomalije/uzorke:

Ispod su dnevni podaci za posljednje 4 sedmice: [podaci]. Zadatak: Otkriti neočekivana odstupanja (nagli pad/rast). Za svaku anomaliju: koji dan/kanal, koliko je odstupio, moguća objašnjenja (hipoteze). Navesti da su to hipoteze, a ne definitivni uzroci.

3) Provjera uzročnosti:

Zapažanje koje imam je: "[npr. CTR je pao sa 2% na 1,3%]". Zadatak: Navedite moguće razloge za ovaj pad (zamor od reklama, sezona, promjena ciljanja, aktivnost konkurenata, itd.). Recite mi koje podatke mogu testirati za svaki razlog. Ne predstavljajte korelaciju kao uzročnost; Ne tvrdite konačan uzrok.

4) Izvršni sažetak + nacrt prijedloga:

metrike koje sam provjerio: [CTR, konverzija, CPA, ROAS vrijednosti]. Zadatak: Napišite nacrt sažetka od 1 stranice: (1) šta se dogodilo u ovom terminu (3 stavke), (2) šta je uspjelo/nije radilo, (3) 3 prijedloga za optimizaciju za sljedeći termin. Samo koristite provjerene brojeve koje sam dao; generisanje novih brojeva.

Slaba prompt / Jaka prompt

Slab upit:

Procijenite učinak moje kampanje i recite mi moj ROAS.

Nema podataka; AI može činiti samo “ROAS”. Rezultat je gladak, ali nerealan.

Snažan upit:

Vaša uloga: pomoćnik u analitici stručnjaku za marketing performansi. Ispod su anonimni sedmični podaci (bez imena/identifikacije): Potrošnja na oglašavanje: 25.000 TL. Prihod: 60.000 TL. Pregledi: 500.000. Klikovi: 12.000. Konverzija: 480. Zadatak: (1) Izračunajte i prikažite CTR, stopu konverzije, CPA i ROAS sa formulom. (2) Napišite nacrt komentara u jednom pasusu. (3) Ne izmišljajte brojeve koji nisu u podacima; Navedite da niste sigurni.

U ovom zahtjevu jasno je očekivanje podataka, formula i zabrana "šminkanja". Ponovo potvrđujete izlaz: CTR = 12.000 ÷ 500.000 = 2,4%; stopa konverzije = 480 ÷ 12.000 = 4%; CPA = 25.000 ÷ 480 ≈ 52 TL; ROAS = 60.000 ÷ 25.000 = 2.4.

Uobičajene greške

  • Zahtjev za metriku bez davanja podataka. AI ne može pristupiti vašim podacima; Broj koji daje je lažan.
  • Gledajući jednu metriku. Ako je CTR visok, a konverzija niska, problem može biti u stranici/ponudi, a ne u oglasu.
  • Zbunjujuća korelacija s uzročno-posljedičnim. Samo zato što dvije stvari djeluju zajedno ne znači da jedna uzrokuje drugu.
  • Oslanjajući se na model pojedinačnog citata. Atribucija je model; Različiti modeli donose različite odluke.
  • Stavljanje izjave o uzročnosti AI u izvještaj bez potvrđivanja. “Zato što…” rečenice moraju biti potkrijepljene podacima.
  • Pogrešio sirovi broj za uvid. Izvještaj ne navodi brojeve; govori vam šta to znači i šta da radite.
Oprez: najopasnija rečenica u izvještaju je nepotkrijepljeno "zato". AI može doći do tečnog razloga; Ako taj razlog iznesete upravi, a da to ne dokažete podacima, možete dovesti do pogrešne odluke.

Ukratko

Analiza učinka je zadatak pretvaranja podataka kampanje u odluke, a u njenoj osnovi su metrike kao što su CTR, stopa konverzije, CPA, ROAS i problem atribucije. Umjetna inteligencija je moćan pomoćnik u sažimanju stotina redova podataka, pronalaženju anomalija i izradi izvještaja. Ali svaki broj i svaka kauzalna rečenica koju daje nije uključena u izvještaj dok se ne provjeri izvornim podacima; Jezički model se može prilagoditi kada ne može pristupiti podacima. Zajedničko čitanje metrike, odvajanje korelacije od uzročne veze i nevezivanje atribucije za jedan model su znakovi dobre analize. Izvještaj daje značenje i prijedloge, a ne listu brojeva.

Zadatak aplikacije

Pripremite stvarne ili hipotetičke podatke kampanje (potrošnja, prihod, pojavljivanja, klikovi, konverzije). (1) Anonimizirati podatke. (2) Neka metrika bude izračunata pomoću "Sažetka podataka" i svaku sami potvrdite formulom. (3) Pronađite odstupanje pomoću "lovca na anomalije"; povezati to sa hipotezom. (4) Uz „provjeru uzročnosti“, zapišite moguće uzroke ovog odstupanja i kako biste ih testirali. (5) Napravite nacrt “izvršnog sažetka” i provjerite da li sadrži samo brojeve koje ste provjerili; Podatke poduprite rečenicu „zato što“.

kontrolna lista

  • [ ] Anonimizirao sam podatke kampanje prije nego što sam ih dao alatu.
  • [ ] Svaku metriku sam provjerio svojom formulom.
  • [ ] Čitam metriku zajedno, a ne jednu po jednu.
  • [ ] Potkrepio sam izjave o uzročnosti podacima; Nisam to pobrkao sa korelacijom.
  • [ ] Nisam pripisao referencu jednom modelu, uporedio sam ga.
  • [ ] U izvještaj sam stavio samo provjerene brojeve; Nema lažnih brojeva.