Yunit 6 / 11

Pagsusuri ng Komento at Sentimento: Pagkuha ng Tibok ng Komunidad

Mga nadagdag:

  • Kakayahang bigyang-kahulugan ang polarity, intensity at theme outputs ng sentiment analysis at pag-uri-uriin ang daan-daang komento gamit ang artificial intelligence
  • Pag-alam sa mga hangganan tulad ng irony, slang at halo-halong emosyon at ma-verify ang mga porsyento gamit ang mga tunay na halimbawa
  • Kakayahang ikonekta ang negatibiti sa isang tema at gawing kongkretong aksyon at subukan ang dahilan bilang hypothesis

Kung ano ang pinag-uusapan ng isang tatak sa social media ay kasinghalaga ng kung ano ang pinag-uusapan. Ang pagpapanatili ng pulso ng brand sa daan-daang komento, libu-libong pagbanggit at patuloy na dumadaloy na mga mensahe ay isang tumpok ng data na masyadong malaki para masubaybayan nang manu-mano. Dito pumapasok ang pagsusuri ng damdamin. Ang pamamaraang ito, na tinatawag na sentiment analysis sa Ingles, ay ang proseso ng awtomatikong pag-uuri ng emosyonal na tono (positibo, negatibo, neutral) ng isang teksto. Ang artificial intelligence ay makakabasa ng daan-daang review sa loob ng ilang segundo at makabuo ng buod tulad ng "62% ang mga positibong komento ngayong linggo, negatibong 28%, neutral 10%; karamihan sa mga negatibo ay tungkol sa pagpapadala." Nagbibigay ito ng isang social media manager ng isang napakahalagang tool para sa maagang babala at insight. Ngunit ang pagsusuri ng damdamin ay isang hula din: maaari itong maling basahin ang kabalintunaan, katatawanan, at lokal na slang. Mahalagang tingnan hindi ang numero, ngunit ang mga halimbawa sa likod ng numero.

Ano ang sinusukat ng sentiment analysis at ano ang hindi nito sinusukat?

Nagbibigay ang pagsusuri ng sentimento ng tatlong pangunahing output. Polarity: ang teksto ay positibo, negatibo o neutral. Intensity: ang lakas ng emosyon (banayad na kawalang-kasiyahan o galit). Tema/paksa: tungkol saan ang damdamin (presyo, pagpapadala, kalidad, serbisyo). Ang pinakamahalagang resulta ay ang pangatlo: "nadagdagan ang negatibiti" lamang ay hindi isinasalin sa pagkilos; "70% ng negatibiti ay tungkol sa pagkaantala ng kargamento" ay gumagawa ng direktang aksyon.

Mahalagang malaman ang mga limitasyon ng pagsusuri ng damdamin. Irony at panunuya: Maaaring ituring ng AI ang pangungusap na "Mahusay, hindi na ito gumagana ulit 👏" bilang positibo. Balbal at katutubong wika: maaaring maling basahin ang mga idyoma ng rehiyon. Konteksto: Ang salitang "bomba" ay positibo sa isang produkto at negatibo sa isang balita. Magkahalong damdamin: "Ang produkto ay maganda ngunit mahal" ay may parehong positibo at negatibo. Kaya gamitin ang pagsusuri ng damdamin bilang panimulang punto, hindi bilang tiyak na katotohanan.

output

Ano ang ginagawa nito?

Limitahan / panganib

Polarity (positibo/negatibo/neutral)

makita ang pangkalahatang kalagayan

Nakaka-miss ang kabalintunaan at karma sa emosyon

density

Pag-unawa sa pangangailangan ng madaliang pagkilos

Maaaring hindi tama ang pagsukat ng pagmamalabis

tema/paksa

gumawa ng aksyon

Maaaring italaga ito sa maling tema

Uso sa paglipas ng panahon

maagang babala

Nakapanlinlang sa maliit na sukat ng sample

Pansin: Huwag isama ang mga porsyentong ibinigay ng pagsusuri ng sentimento sa ulat ng pamamahala nang hindi bini-verify ang mga ito. Magbasa ng ilang totoong halimbawa mula sa bawat kategorya at tingnan kung tama ang pag-uuri; lalo na ang mga may label na "negatibo."

Hakbang-hakbang: isang pag-aaral sa pagsusuri ng damdamin

  1. Kolektahin at linisin ang data. Pinagsama-samang mga komento/pagbanggit para sa isang partikular na panahon; itago ang personal na data.
  2. Suriin ang laki ng sample. Ang pagbabawas ng porsyento mula sa 20 komento ay nakaliligaw; Maghangad ng makabuluhang numero (hal. 100+).
  3. Uriin. Ipagawa sa AI ang polarity + theme tagging.
  4. I-verify gamit ang mga halimbawa. Basahin ang 5 halimbawa mula sa bawat klase; ayusin ang mga maling tag.
  5. Unahin ang mga tema. Tukuyin ang 3 tema na bumubuo ng pinakamaraming negatibiti.
  6. Itali ito sa pagkilos. Gumawa ng panukala/action draft para sa bawat tema at ipasa ito sa nauugnay na yunit.

Apat na maaaring kopyahin na mga template

Para sa maramihang pag-uuri:

Uriin ang bawat isa sa mga sumusunod na review: polarity [positibo/negatibo/neutral] at tema [presyo/pagpapadala/kalidad/serbisyo/iba pa]. Markahan ang posibleng irony ng [?]. Panghuli magbigay ng buod: porsyento ng bawat polarity at ang 3 pinakamadalas na negatibong tema. I-mask ang personal na data. Mga Komento:1) ...2) ...

Para sa pagpapalalim ng tema:

Basahin ang mga negatibong review na ito at palalimin ang temang "pagpapadala": anong mga sub-isyu ang namumukod-tangi (pagkaantala, pinsala, pagsubaybay, komunikasyon)? Magbigay ng ilang komento at 1 quote ng kinatawan para sa bawat sub-isyu. Huwag gumawa ng mga numero; Umasa ka lang sa mga comments na binigay ko. Mga komento: ...

Para sa paghahambing ng trend:

Ihambing ang buod ng damdamin ng dalawang panahon.Nakaraang buwan: positibo 58%, negatibo 30%, neutral 12%; pangunahing negatibong tema: presyo. Ngayong buwan: positibo 49%, negatibo 41%, neutral 10%; Ang pangunahing negatibong tema: pagpapadala. Ano ang nagbago, ano ang mga posibleng dahilan? HUWAG I-ANGKIN ang eksaktong dahilan; I-verify ang hypothesis at isulat kung paano i-verify para sa bawat hypothesis.

Upang gawing aksyon ang insight:

Mula sa sumusunod na buod ng pagsusuri ng sentimento, 3 konkretong mungkahi sa pagkilos ang lumabas (maikling termino). Para sa bawat mungkahi: problema, iminungkahing aksyon, aling unit, kung paano sukatin. Buod: [i-paste ang buod].

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Suriin ang damdamin ng mga komentong ito.

Ni polarity, tema o format ng buod ay hindi malinaw; Gumagawa ang AI ng isang magulo, hindi nabe-verify na resulta at nakakaligtaan ang kabalintunaan.

Napakahusay na prompt:

Pagbukud-bukurin ang 60 review sa ibaba (positibo/negatibo/neutral + tema: presyo/pagpapadala/kalidad/serbisyo/iba pa). Markahan [?] para sa mga pinaghihinalaang irony. Gumawa lang ng mga numero batay sa mga komentong ibinigay ko. Output: (1) mga porsyento ng polarity, (2) 3 pinakamadalas na negatibong tema at 1 quote para sa bawat isa, (3) 3 kahina-hinalang tag na kailangan kong i-verify.

Ang huli ay nagbibigay ng maaasahan, naaaksyunan na resulta dahil kasama dito ang format, hangganan, at hakbang sa pag-verify.

tatlong mini case

Kaso 1. Sinuri ng isang brand ng telecom ang 1,400 post-campaign na komento gamit ang AI; natuklasan na 64% ng negatibiti ay nakasentro sa tema ng "pagkalito sa bayarin." Sa ganitong pananaw, pinino nila ang FAQ at mga komunikasyon sa kampanya; sa sumunod na buwan bumaba ang parehong tema mula 64% hanggang 22%.

Kaso 2. Isang brand ng pagkain ang nagpakita ng "80% positibo" na buod ng AI sa pamamahala nang walang pag-verify. Matapos basahin ang mga halimbawa, naging malinaw na ang karamihan sa mga komento na itinuturing na "positibo" ay balintuna ("Nagustuhan ko ito, ito ay dumating na sira sa ikatlong pagkakataon"). Ang aktwal na positibong rate ay 52%. Aralin: huwag iulat ang porsyento nang hindi ito bini-verify gamit ang mga halimbawa.

Kaso 3. Naglunsad ang isang brand ng e-commerce ng isang agarang kampanya ng paghingi ng tawad pagkatapos mapagpasyang "pumutok ang negatibo" mula sa 18 komento lamang; Gayunpaman, ang sample ay napakaliit at sumasalungat sa pangkalahatang larawan. Ang hindi kinakailangang kampanya ay lumikha ng kalituhan. Aralin: huwag gumawa ng malalaking konklusyon mula sa isang maliit na sample.

Mga karaniwang pagkakamali

  • Hindi pinapansin ang kabalintunaan. Isaalang-alang ang mga sarkastikong komento bilang positibo.
  • Hindi na-verify ang porsyento. Halimbawa: Paglalagay ng numero sa ulat nang hindi ito binabasa.
  • Maliit na sample. Pagkuha ng tiyak na trend mula sa 15-20 komento.
  • Pagsusuri ng walang contact. Ang pagsasabing "nadagdagan ito nang negatibo" at hindi mahanap ang dahilan; hindi gumagawa ng aksyon.
  • Hindi tinatago ang personal na data. Pagbibigay ng pangalan ng mga tagasuri sa tool.
  • Depinitibong pagpapahayag ng dahilan. Pagkakamali ng ugnayan para sa sanhi at paggawa ng maling aksyon.

Pagsusuri batay sa paksa at paghahambing ng katunggali

Ang paraan na nangangailangan ng pagsusuri sa sentimento ng isang hakbang pa ay ang pagsusuring nakabatay sa aspeto: sa halip na i-compress ang isang komento sa iisang positibo/negatibong tag, suriin ang iba't ibang paksa sa loob nito nang hiwalay. Halimbawa, ang pangungusap na "Ang produkto ay mahusay, ngunit ang pagpapadala ay kahila-hilakbot at ang presyo ay makatwiran" ay hindi magkasya sa isang solong polarity; Hinahati ito ng pagsusuri batay sa paksa sa "produkto: positibo, pagpapadala: negatibo, presyo: positibo." Ang pagkakaibang ito ay higit na nakatuon sa pagkilos, dahil malinaw na ipinapakita nito kung aling isyu ang nagbubunga ng kasiyahan at nagbubunga ng kawalang-kasiyahan. Maaabot mo ang lalim na ito sa pamamagitan ng pagsasabi sa artificial intelligence na "hatiin ang bawat komento sa mga paksa nito at magbigay ng hiwalay na polarity para sa bawat paksa."

Ang pangalawang makapangyarihang paggamit ay ang pag-benchmark ng kakumpitensya (paghahambing ng iyong sariling pagganap sa mga kakumpitensya). Kung ihahambing mo ang damdamin tungkol sa iyong sariling tatak sa iyong mga kakumpitensya, ang bilang na "ang aming negatibiti ay 30%" ay may katuturan: kung ang average ng industriya ay 45%, maganda ang iyong ginagawa, kung ito ay 15%, ikaw ay nahuhuli. Gayunpaman, kapag nangongolekta ng data ng kakumpitensya, gumamit lamang ng magagamit ng publiko, mga lehitimong mapagkukunan; Iwasan ang hindi awtorisadong pangongolekta ng data at mga paglabag sa privacy. Ang layunin ng benchmarking ay hindi upang tularan ang kumpetisyon, ngunit upang ma-conteksto ang iyong sariling mga lakas at kahinaan. Sa parehong mga pamamaraan, ang pangunahing panuntunan ay nananatiling pareho: i-verify ang pag-uuri ng AI gamit ang mga tunay na halimbawa at ipakita ang dahilan bilang isang hypothesis sa halip na isang tiyak.

Sa buod

Sinusukat ng pagsusuri ng damdamin ang pulso ng komunidad: nagbibigay ng polarity, intensity at pinakamahalagang tema. Ang AI ay nag-uuri ng daan-daang komento sa bawat segundo, ngunit maaaring makaligtaan ang irony, slang, at magkahalong emosyon. Ikinokonekta ng value ang negatibiti sa isang tema at ginagawa itong aksyon. Gumamit ng sapat na sample, i-verify ang mga porsyento na may mga tunay na sample, i-hypothesize ang dahilan at kumpirmahin ito. Ang bilang ay isang simula; Nasa iyo ang desisyon.

Tip: Isipin ang pagsusuri ng damdamin bilang tuluy-tuloy na pelikula, hindi isang one-shot na larawan. Kung uulitin mo ang parehong pagsukat na may parehong pamamaraan bawat linggo, makikita mo ang trend (ito ba ay tumataas o bumababa) na mas mahalaga kaysa sa ganap na porsyento. Ang panonood kung paano nagbabago ang trend pagkatapos ng isang kampanya, produkto, o krisis ay isang mas makapangyarihang input ng desisyon kaysa sa porsyento ng isang linggo.

Gawain ng aplikasyon

Mangolekta (o magsulat) ng hindi bababa sa 40 sample na komento. Ipagawa sa AI ang polarity + theme classification at summary. Basahin ang 5 sample ng bawat polarity sa pamamagitan ng kamay at iwasto ang hindi bababa sa 3 mali/kwestyonableng label. Piliin ang pinakamadalas na negatibong tema, bumuo ng 3 konkretong mungkahi sa pagkilos, at isulat kung paano susukatin ang mga ito para sa bawat isa.

checklist

  • [ ] Gumamit ako ng sapat na sample (100+ ideal).
  • [ ] Tinakpan ko ang personal na data.
  • [ ] Natapos ko na ang polarity + theme classification.
  • [ ] Nagbasa ako ng mga halimbawa mula sa bawat klase at na-verify ang mga label.
  • [ ] Minarkahan ko nang hiwalay ang mga irony suspects.
  • [ ] Madalas kong iniuugnay ang negatibong tema sa aksyon.
  • [ ] Iniharap ko ang dahilan bilang isang hypothesis upang ma-verify, hindi isang tiyak.