Yunit 10 / 11

Pagsusuri at Pag-uulat sa Pagganap: Mga Sukatan, Pagpapatungkol at Pananaw

Mga nadagdag:

  • Kakayahang maunawaan ang mga sukatan ng performance gaya ng CTR, conversion, CPA, ROAS at attribution at gumamit ng artificial intelligence para buod ng data at draft ng mga insight
  • Kakayahang hindi nagpapakilalang magbigay ng data ng kampanya sa artificial intelligence at gumawa ng mga komento, pagtuklas ng anomalya at mga draft ng panukala sa pag-optimize
  • Pag-unawa na ipinag-uutos na ihambing at i-verify ang bawat numero at causality sentence na ginawa ng artificial intelligence gamit ang source data

Kapag live na ang isang kampanya, magsisimula ang tunay na gawain: pag-unawa sa ginagawa nito. Ang pagsukat sa pagganap ng ad ay mahalaga kapwa upang ilipat ang badyet sa tamang lugar at upang mas mahusay na mai-set up ang susunod na kampanya. Ngunit ang pagsukat ay hindi isang tumpok ng mga numero; Ang mahusay na pagsusuri ay nahahanap ang kuwento at dahilan sa likod ng mga numero. Ito ay tinatawag na insight. Ang artificial intelligence ay isang mahusay na accelerator sa yugtong ito: nagbubuod ito ng daan-daang linya ng data ng kampanya sa loob ng ilang minuto, nagtuturo ng mga anomalya (hindi inaasahang paglihis), nagsusulat ng mga draft na ulat. Ngunit ang hindi nababagong tuntunin ng yunit na ito ay ito: Ang bawat numero at bawat causality sentence na ginawa ng AI ay hindi pumapasok sa ulat hangga't hindi ito naikukumpara at na-verify sa source data. Ang mga modelo ng wika ay maaaring makabuo ng matatas ngunit gawa-gawang mga numero kapag hindi nila ganap na na-access ang data o nakalkula ito nang hindi tama.

Mga pangunahing sukatan ng pagganap

Maraming sukatan ang bumubuo sa wika ng pagsusuri sa pagganap. Ang CTR (Click-Through Rate) ay kung gaano karaming mga tao na nakakita sa ad ang nag-click dito (mga pag-click ÷ impression). Ang interes ay ang sukatan ng pagiging kaakit-akit. Ang rate ng conversion ay kung gaano karaming mga nag-click ang gagawa ng gustong aksyon (pagbili, pagpaparehistro). Ang CPA (Cost Per Acquisition) ay ang cost per acquisition (paggastos ÷ bilang ng mga acquisition). Ang ROAS (Return on Ad Spend) ay ang return on ad spend: kita na nakuha ÷ ad spend; Halimbawa, kung gumastos ka ng 10,000 TL at nakakuha ka ng 40,000 TL sa kita, ang ROAS ay 4. Mayroon ding attribution: ang isyu kung saang ad/channel i-attribute ang isang conversion. Kung unang nakakita ng Instagram ad ang isang customer, pagkatapos ay naghanap sa Google at bumili, saang channel mo ipo-post ang sale na ito? Ang modelo ng pagsipi ay gumagawa ng desisyong ito at direktang nakakaapekto sa pagsusuri.

Ang sumusunod na talahanayan ay nagbubuod sa mga pangunahing sukatan at kung ano ang sinasabi nila:

panukat

pormula

ano ang sinasabi nito

CTR (click-through rate)

Mga Pag-click ÷ Mga Impression

Nakakaakit ba ng pansin ang ad?

Rate ng conversion

Conversion ÷ Pag-click

May bumibili ba nito?

CPA

Paggastos ÷ Pagkuha

Magkano ang halaga ng isang customer

ROAS

Kita ÷ Paggasta

Kumita ba ang paggasta?

dalas

Exposure ÷ Abot

Ilang beses itong nakita ng parehong tao?

Tip: Huwag gawin ang iyong desisyon batay sa isang sukatan lang. Ang mataas na CTR ngunit mababa ang conversion ay nangangahulugang "ang ad ay umaakit ngunit ang pahina/alok ay hindi humahawak." Ang pagbabasa ng mga sukatan nang sama-sama ay nagbibigay ng totoong kuwento.

Hakbang-hakbang: mula sa data hanggang sa insight upang iulat

Hakbang 1 — Kolektahin at i-anonymize ang data. Kumuha ng data mula sa mga dashboard ng platform (Google Ads, Meta) at analytics; Alisin ang personal na data (customer ID, email).

Hakbang 2 — Kalkulahin at patunayan ang mga sukatan. Kumpirmahin ang mga logro sa iyong sarili; Tukuyin ang formula kapag ibibigay ito sa AI.

Hakbang 3 — Maghanap ng mga anomalya at pattern. Itanong sa AI "kung aling channel/araw/segment ang lumilihis sa inaasahan"; pagkatapos ay kumpirmahin ito gamit ang data.

Hakbang 4 - Magtatag ng sanhi, ngunit maingat. Suportahan ang "CTR ay bumaba dahil..." mga pangungusap na may data; Huwag malito ang ugnayan sa sanhi.

Hakbang 5 — Bumuo ng ulat at rekomendasyon. Bumuo ng executive summary at optimization proposal draft gamit ang AI; I-verify at kumpirmahin ang bawat numero at claim.

tatlong mini case

Case 1 — Mabilis na buod, na-verify na isyu. Isang eksperto sa pagganap ang hindi nagpapakilalang nagbigay ng 300 linya ng lingguhang data mula sa 6 na channel patungo sa AI at humiling ng draft na executive summary. AI summarized sa 5 minuto; Inihambing ng eksperto ang bawat halaga ng ROAS at CPA sa kanyang dashboard, itinatama ang dalawang maling interpretasyon. Tagal: 1 oras sa halip na kalahating araw. Ibinigay ng AI ang draft, nanatili ang pag-verify sa tao.

Kaso 2 — Gawa-gawang bitag ng numero. Sinabi ng isang team sa AI, "na-miss ang aming ROAS noong nakaraang buwan, magkomento" nang hindi nagbibigay ng raw data. "Mga 3.5, magandang pagganap," kumpiyansa ang isinulat ng AI. Ang aktwal na ROAS ay 1.8 at ang kampanya ay talagang nalugi. Ang ulat ay naitama, ngunit ang kumpiyansa ng customer ay nayanig. Error: naghihintay ng mga sukatan mula sa AI nang hindi nagbibigay ng data.

Case 3 — Attribution fallacy. Isang brand ang nag-attribute ng lahat ng benta batay sa huling pag-click, nag-type ng lahat ng benta sa paghahanap sa Google, at pinutol ang badyet nito sa Instagram. Bumagsak ang mga benta noong sumunod na buwan; dahil ang Instagram ay lumikha ng kamalayan at pinalakas ang paghahanap. Ang bulag na pag-asa sa iisang modelo ng pagsipi ay nagbunga ng maling desisyon. Aral: ang pagpapatungkol ay isang modelo, hindi ganap na katotohanan; Ito ay kinakailangan upang ihambing ang iba't ibang mga modelo.

Apat na maaaring kopyahin na mga template

1) Summarizer ng data (na may diin sa pagpapatunay):

Nasa ibaba ang anonymous na data ng campaign (walang customer ID):[paste data/table]Gawain: (1) Kalkulahin at ipakita ang CTR, rate ng conversion, CPA, ROAS kasama ng kanilang mga formula.(2) Ituro ang 2 pinakamahusay at pinakamasamang performance na channel.(3) Malinaw na sabihin kung saan ka hindi sigurado o nawawala sa data. Huwag gumawa ng anumang numero na wala sa data. Kukumpirmahin ko ang account.

2) Anomalya/pattern hunter:

Nasa ibaba ang pang-araw-araw na data para sa huling 4 na linggo: [data].Gawain: Tuklasin ang mga hindi inaasahang paglihis (biglaang pagbaba/pagtaas). Para sa bawat anomalya: aling araw/channel, kung gaano ito nalihis, mga posibleng paliwanag (hypothesis). Sabihin na ang mga ito ay mga hypothesis, hindi mga tiyak na dahilan.

3) Tagasuri ng sanhi:

Ang obserbasyon ko ay: "[e.g. bumaba ang CTR mula 2% hanggang 1.3%]". Gawain: Ilista ang mga posibleng dahilan para sa pagbaba na ito (pagkapagod sa ad, season, pagbabago sa pag-target, aktibidad ng kakumpitensya, atbp.). Sabihin sa akin kung anong data ang maaari kong subukan para sa bawat dahilan. Huwag ipakita ang ugnayan bilang sanhi; Huwag mag-claim ng tiyak na dahilan.

4) Executive summary + proposal draft:

Mga Sukat na na-verify ko: [CTR, conversion, CPA, ROAS values].Gawain: Sumulat ng 1-pahinang executive summary draft:(1) ano ang nangyari sa terminong ito (3 item), (2) kung ano ang gumana/hindi gumana, (3) 3 suhestyon sa pag-optimize para sa susunod na termino. Gamitin lang ang mga na-verify na numero na ibinigay ko; pagbuo ng mga bagong numero.

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Suriin ang pagganap ng aking kampanya at sabihin sa akin ang aking ROAS.

Walang ibinigay na data; Ang AI ay maaari lamang gumawa ng "ROAS." Ang output ay makinis ngunit hindi makatotohanan.

Napakahusay na prompt:

Ang iyong tungkulin: analytics assistant sa isang performance marketing specialist. Nasa ibaba ang anonymous na lingguhang data (walang mga pangalan/pagkakakilanlan): Gastos sa advertising: 25,000 TL. Kita: 60,000 TL. Views: 500,000. Mga pag-click: 12,000. Conversion: 480.Task: (1) Kalkulahin at ipakita ang CTR, rate ng conversion, CPA at ROAS na may formula.(2) Sumulat ng isang draft ng komento sa talata.(3) Huwag gumawa ng anumang numero na wala sa data; Sabihin na hindi ka sigurado.

Sa kahilingang ito, malinaw ang inaasahan ng data, formula at ang pagbabawal sa "paggawa". Muli mong i-verify ang output: CTR = 12,000 ÷ 500,000 = 2.4%; rate ng conversion = 480 ÷ 12,000 = 4%; CPA = 25,000 ÷ 480 ≈ 52 TL; ROAS = 60,000 ÷ 25,000 = 2.4.

Mga karaniwang pagkakamali

  • Paghiling ng mga sukatan nang hindi nagbibigay ng data. Hindi ma-access ng AI ang iyong data; Fake ang number na binibigay niya.
  • Pagtingin sa isang sukatan. Kung mataas ang CTR at mababa ang conversion, maaaring nasa page/alok ang problema, hindi ang ad.
  • Nakalilito ang ugnayan sa sanhi. Dahil lamang sa dalawang bagay na magkasama ay hindi nangangahulugan na ang isa ay sanhi ng isa pa.
  • Umaasa sa solong modelo ng pagsipi. Ang pagpapatungkol ay isang modelo; Ang iba't ibang mga modelo ay gumagawa ng iba't ibang mga desisyon.
  • Ang paglalagay ng causality statement ng AI sa ulat nang hindi ito kinukumpirma. “Dahil…” ang mga pangungusap ay dapat na suportado ng data.
  • Napagkamalan ang raw na numero para sa insight. Ang ulat ay hindi naglilista ng mga numero; nagsasabi sa iyo kung ano ang ibig sabihin nito at kung ano ang gagawin.
Babala: Ang pinaka-mapanganib na pangungusap sa isang ulat ay isang hindi napapatunayang "dahil." AI ay maaaring makabuo ng isang matatas na dahilan; Kung ipapakita mo ang dahilan na iyon sa pamamahala nang hindi ito pinatutunayan ng data, maaari kang humantong sa isang maling desisyon.

Sa buod

Ang pagtatasa ng performance ay ang gawain ng pag-convert ng data ng campaign sa mga desisyon, at sa kaibuturan nito ay ang mga sukatan gaya ng CTR, rate ng conversion, CPA, ROAS at ang isyu sa attribution. Ang artificial intelligence ay isang makapangyarihang katulong sa pagbubuod ng daan-daang linya ng data, paghahanap ng mga anomalya at pagbalangkas ng mga ulat. Ngunit ang bawat numero at bawat sanhi ng pangungusap na ibinibigay nito ay hindi kasama sa ulat hangga't hindi ito napatunayan sa pinagmulang data; Maaaring umangkop ang modelo ng wika kapag hindi nito ma-access ang data. Ang pagbabasa ng mga sukatan nang sama-sama, paghihiwalay ng ugnayan mula sa sanhi, at hindi pag-uugnay ng pagpapatungkol sa isang modelo ay mga palatandaan ng mahusay na pagsusuri. Ang ulat ay gumagawa ng kahulugan at mga mungkahi, hindi isang listahan ng mga numero.

Gawain ng aplikasyon

Maghanda ng totoo o hypothetical na data ng campaign (paggastos, kita, mga impression, pag-click, mga conversion). (1) I-anonymize ang data. (2) Ipakalkula ang mga sukatan gamit ang "Data summarizer" at kumpirmahin ang bawat isa gamit ang formula. (3) Maghanap ng isang paglihis sa "anomaly hunter"; ikonekta ito sa isang hypothesis. (4) Gamit ang “causation checker,” isulat ang mga posibleng dahilan ng paglihis na ito at kung paano mo susuriin ang bawat isa. (5) Gumawa ng draft ng “executive summary” at suriin na naglalaman lamang ito ng mga numerong na-verify mo; Suportahan ang isang "dahil" na pangungusap na may data.

checklist

  • [ ] Ginawa kong anonymize ang data ng campaign bago ito ibigay sa tool.
  • [ ] Ako mismo ang nag-verify ng bawat sukatan gamit ang formula nito.
  • [ ] Sabay-sabay kong binasa ang mga sukatan, hindi isa-isa.
  • [ ] Sinuportahan ko ang mga causality statement na may data; Hindi ko ito nalilito sa ugnayan.
  • [ ] Hindi ko ini-attribute ang reference sa isang modelo, inihambing ko ito.
  • [ ] Naglalagay lang ako ng mga na-verify na numero sa ulat; Walang pekeng numero.