Jedinica 10 / 11

Analiza izvedbe i izvješćivanje: metrika, atribucija i uvid

Dobici:

  • Sposobnost razumijevanja mjernih podataka o izvedbi kao što su CTR, konverzija, CPA, ROAS i atribucija te korištenje umjetne inteligencije za sažimanje podataka i izradu nacrta uvida
  • Sposobnost anonimnog davanja podataka o kampanji umjetnoj inteligenciji i izrade komentara, otkrivanja anomalija i nacrta prijedloga optimizacije
  • Razumijevanje da je obavezno usporediti i provjeriti svaki broj i rečenicu uzročnosti koju je proizvela umjetna inteligencija s izvornim podacima

Nakon što je kampanja aktivna, počinje pravi posao: razumijevanje što ona radi. Mjerenje izvedbe oglasa ključno je kako za prebacivanje proračuna na pravo mjesto tako i za bolje postavljanje sljedeće kampanje. Ali mjerenje nije hrpa brojeva; Dobra analiza pronalazi priču i razlog iza brojeva. To se zove uvid. Umjetna inteligencija je izvrstan akcelerator u ovoj fazi: sažima stotine redaka podataka o kampanji u minutama, ukazuje na anomalije (neočekivana odstupanja), piše nacrte izvješća. Ali nepromjenjivo pravilo ove jedinice je sljedeće: Svaki broj i svaka rečenica uzročnosti koju je proizvela umjetna inteligencija ne ulazi u izvješće dok se ne usporedi i provjeri s izvornim podacima. Jezični modeli mogu proizvesti tečne, ali izmišljene brojeve kada ne pristupe u potpunosti podacima ili ih netočno izračunaju.

Ključne metrike učinka

Nekoliko metrika oblikuje jezik analize učinka. CTR (Click-Through Rate) je koliko je ljudi koji su vidjeli oglas kliknulo na njega (klikovi ÷ pojavljivanja). Interes je mjera privlačnosti. Stopa konverzije je koliko klikera izvrši željenu akciju (kupnja, registracija). CPA (Cost Per Acquisition) je trošak po akviziciji (potrošnja ÷ broj akvizicija). ROAS (Return on Ad Spend) je povrat ulaganja u oglase: zarađeni prihod ÷ potrošnja na oglase; Na primjer, ako ste potrošili 10.000 TL i zaradili 40.000 TL prihoda, ROAS je 4. Tu je i atribucija: pitanje kojem oglasu/kanalu pripisati konverziju. Ako je kupac prvo vidio oglas na Instagramu, zatim pretražio na Googleu i kupio, na kojem kanalu ćete objaviti ovu prodaju? Model citiranja donosi ovu odluku i izravno utječe na analizu.

Sljedeća tablica sažima ključne metrike i ono što one govore:

metrički

formula

što kaže

CTR (klikovni postotak)

Klikovi ÷ pojavljivanja

Privlači li oglas pažnju?

Stopa pretvorbe

Pretvorba ÷ Kliknite

Kupuje li netko tko klikne?

CPA

Trošenje ÷ Stjecanje

Koliko košta kupac

ROAS

Prihod ÷ Rashod

Je li trošak isplativ?

učestalost

Izloženost ÷ doseg

Koliko puta ga je ista osoba vidjela?

Savjet: nemojte donositi odluku na temelju samo jedne metrike. Visok CTR, ali niska konverzija znači "oglas privlači, ali stranica/ponuda ne drži". Zajedničko čitanje metrike daje pravu priču.

Korak po korak: od podataka do uvida do izvješća

Korak 1 — Prikupite i anonimizirajte podatke. Dohvatite podatke s nadzornih ploča platforme (Google Ads, Meta) i analitike; Uklonite osobne podatke (korisnički ID, email).

Korak 2 — Izračunajte i potvrdite metriku. Potvrdite izglede sami; Navedite formulu kada je dajete AI-u.

Korak 3 — Potražite anomalije i uzorke. Neka AI pita "koji kanal/dan/segment odstupa od očekivanog"; zatim to potvrdite podacima.

Korak 4 — Utvrdite uzročnost, ali oprezno. Podrška "CTR pao jer..." rečenice s podacima; Ne brkajte korelaciju s uzročnom vezom.

Korak 5 — Nacrt izvješća i preporuke. Generirajte izvršni sažetak i nacrt prijedloga optimizacije s AI; Provjerite i potvrdite svaki broj i zahtjev.

tri mini kućišta

Slučaj 1 — Kratki sažetak, provjereni problem. Stručnjak za izvedbu anonimno je AI-ju dao 300 redaka tjednih podataka sa 6 kanala i zatražio nacrt izvršnog sažetka. AI sažeto u 5 minuta; Stručnjak je usporedio svaku vrijednost ROAS-a i CPA-a sa svojom nadzornom pločom, ispravljajući dva pogrešna tumačenja. Trajanje: 1 sat umjesto pola dana. AI je dao nacrt, provjera je ostala na čovjeku.

Slučaj 2 — Izmišljena zamka brojeva. Tim je AI-ju rekao: "naš ROAS je propustio prošli mjesec, komentar" bez davanja sirovih podataka. "Oko 3,5, dobre performanse", samouvjereno je napisao AI. Stvarni ROAS bio je 1,8 i kampanja je zapravo bila u gubitku. Izvješće je ispravljeno, ali je povjerenje kupaca poljuljano. Pogreška: čekanje metrike od AI bez davanja podataka.

Slučaj 3 — Pogreška pripisivanja. Jedan je brend pripisao svu prodaju na temelju zadnjeg klika, upisao svu prodaju u Google pretraživanje i smanjio proračun za Instagram. Prodaja je pala sljedeći mjesec; jer je Instagram stvorio svijest i potaknuo pretraživanje. Slijepo oslanjanje na model jednog citata dovelo je do pogrešne odluke. Lekcija: atribucija je model, a ne apsolutna istina; Potrebno je usporediti različite modele.

Četiri predloška za kopiranje

1) Sažetak podataka (s naglaskom na provjeru valjanosti):

Ispod su anonimni podaci o kampanji (bez korisničkog ID-a):[zalijepite podatke/tablicu]Zadatak: (1) Izračunajte i prikažite CTR, stopu konverzije, CPA, ROAS s njihovim formulama.(2) Istaknite 2 kanala s najboljom i najlošijom izvedbom.(3) Jasno navedite gdje niste sigurni ili vam nedostaju podaci. Nemojte izmišljati brojeve koji nisu u podacima. Potvrdit ću račun.

2) Lovac na anomalije/uzorke:

Ispod su dnevni podaci za zadnja 4 tjedna: [podaci]. Zadatak: Otkrijte neočekivana odstupanja (nagli pad/porast). Za svaku anomaliju: koji dan/kanal, koliko je odstupio, moguća objašnjenja (hipoteza). Navedite da su to hipoteze, a ne konačni uzroci.

3) Provjera uzročnosti:

Moje opažanje je: "[npr. CTR je pao s 2% na 1,3%]". Zadatak: Navedite moguće razloge za ovaj pad (zamor od oglasa, sezona, promjena ciljanja, aktivnost konkurenata itd.). Recite mi koje podatke mogu testirati za svaki razlog. Ne predstavljajte korelaciju kao uzročnost; Ne tvrdite da je točan uzrok.

4) Izvršni sažetak + nacrt prijedloga:

Mjerni podaci koje sam provjerio: [CTR, konverzija, CPA, ROAS vrijednosti]. Zadatak: Napišite nacrt izvršnog sažetka na 1 stranici: (1) što se dogodilo u ovom razdoblju (3 stavke), (2) što je funkcioniralo/nije funkcioniralo, (3) 3 prijedloga optimizacije za sljedeće razdoblje. Samo koristite provjerene brojke koje sam dao; generiranje novih brojeva.

Slab upit / Jak upit

Slab upit:

Ocijenite izvedbu moje kampanje i recite mi moj ROAS.

Nema podataka; AI može napraviti samo "ROAS". Rezultat je gladak, ali nerealan.

Snažan upit:

Vaša uloga: analitički asistent stručnjaka za marketing učinka. Ispod su anonimni tjedni podaci (bez imena/identifikacije): Potrošnja na oglašavanje: 25.000 TL. Prihod: 60 000 TL. Pregleda: 500.000. Klikovi: 12.000. Konverzija: 480. Zadatak: (1) Izračunajte i prikažite CTR, stopu konverzije, CPA i ROAS s formulom. (2) Napišite nacrt komentara za jedan odlomak. (3) Ne izmišljajte brojeve koji nisu u podacima; Navedite da niste sigurni.

U ovom zahtjevu jasno je očekivanje podataka, formula i zabrana "izmišljanja". Ponovno provjeravate izlaz: CTR = 12 000 ÷ 500 000 = 2,4%; stopa konverzije = 480 ÷ 12.000 = 4%; CPA = 25.000 ÷ 480 ≈ 52 TL; ROAS = 60 000 ÷ 25 000 = 2,4.

Uobičajene greške

  • Traženje metrike bez davanja podataka. AI ne može pristupiti vašim podacima; Broj koji daje je lažan.
  • Gledajući jednu metriku. Ako je CTR visok, a konverzija niska, problem može biti u stranici/ponudi, a ne u oglasu.
  • Zbunjujuća korelacija s uzročnom vezom. Samo zato što dvije stvari djeluju zajedno ne znači da jedna uzrokuje drugu.
  • Oslanjajući se na model jednokratnog citiranja. Pripisivanje je model; Različiti modeli donose različite odluke.
  • Stavljanje AI-jeve izjave o uzročnosti u izvješće bez potvrđivanja. Rečenice "Jer..." moraju biti potkrijepljene podacima.
  • Zamjena sirovog broja za uvid. Izvješće ne navodi brojke; govori vam što to znači i što učiniti.
Oprez: najopasnija rečenica u izvješću je nepotkrijepljeno "zato". AI može smisliti tečan razlog; Ako taj razlog predočite upravi, a da ga niste dokazali podacima, možete dovesti do pogrešne odluke.

Ukratko

Analiza izvedbe zadatak je pretvaranja podataka o kampanji u odluke, a u njezinoj su srži metrike kao što su CTR, stopa konverzije, CPA, ROAS i problem atribucije. Umjetna inteligencija moćan je pomoćnik u sažimanju stotina redaka podataka, pronalaženju anomalija i izradi izvješća. Ali svaki broj i svaka rečenica uzročnosti koju daje nije uključena u izvješće dok se ne provjeri s izvornim podacima; Jezični model se može prilagoditi kada ne može pristupiti podacima. Zajedničko čitanje metrike, odvajanje korelacije od uzročnosti i nevezivanje atribucije uz jedan model znakovi su dobre analize. Izvješće daje značenje i prijedloge, a ne popis brojeva.

Zadatak aplikacije

Pripremite stvarne ili hipotetske podatke o kampanji (potrošnja, prihod, pojavljivanja, klikovi, konverzije). (1) Anonimizirajte podatke. (2) Izračunajte metriku s "Sažimačem podataka" i svaku sami potvrdite formulom. (3) Pronađite odstupanje s "lovcem na anomalije"; povezati s hipotezom. (4) Pomoću "provjeritelja uzročnosti" zapišite moguće uzroke ovog odstupanja i kako biste testirali svaki od njih. (5) Napravite nacrt "izvršnog sažetka" i provjerite sadrži li samo brojeve koje ste provjerili; Podržite rečenicu "jer" podacima.

popis za provjeru

  • [ ] Anonimizirao sam podatke o kampanji prije nego što sam ih dao alatu.
  • [ ] Sam sam provjerio svaku metriku svojom formulom.
  • [ ] Čitam metriku zajedno, a ne jednu po jednu.
  • [ ] Potkrijepio sam izjave o uzročnosti podacima; Nisam to pobrkao s korelacijom.
  • [ ] Referencu nisam pripisao niti jednom modelu, nego sam je usporedio.
  • [ ] U izvješće stavljam samo provjerene brojeve; Nema lažnih brojeva.