이득:
- A/B 테스팅, 제어/변형, 전환율, 통계적 유의성 등의 개념을 이해하고, 인공지능을 활용한 가설 수립 및 테스트 설계를 할 수 있는 능력.
- 테스트할 단일 변수를 분리하고 인공지능 지원을 통해 변형 텍스트/이미지 및 측정 계획을 생성하는 기능
- 인공지능의 테스트 해석이 표본 크기와 중요성, 조기/잘못된 결과를 판독할 위험에 의해 제한된다는 점을 구별하는 능력
광고에서 가장 위험한 문장은 "이게 더 나은 것 같아요"이다. 의견이 아닌 데이터는 헤드라인, 이미지 또는 버튼이 정말로 더 나은지 여부를 알려줍니다. 이를 측정하는 가장 일반적인 방법은 A/B 테스트입니다. 즉, 실제 사용자에게 동일한 광고의 두 가지(또는 그 이상) 버전을 보여주고 어느 버전이 더 효과적인지 비교하는 것입니다. "A"는 일반적으로 현재 버전(컨트롤)이고 "B"는 시도 중인 새 버전(변형)입니다. 예를 들어 동일한 광고의 제목만 변경하고 어떤 제목이 더 많이 클릭되는지 측정할 수 있습니다. 인공지능은 이 과정에서 수많은 변형을 생성하고 결과를 해석하는 데 도움이 됩니다. 그러나 테스트의 과학적 타당성은 설계 규칙과 인내심에 달려 있습니다.
A/B 테스트의 황금률: 하나의 변수
A/B 테스트의 가장 기본적인 규칙은 단일 변수를 분리하는 것입니다. 제목, 이미지, 버튼을 동시에 변경했는데 버전 B가 이기면 무엇이 이긴지 결코 알 수 없습니다. 따라서 테스트에서는 한 가지 요소만 변경되어야 하고 나머지 요소는 그대로 유지되어야 합니다. 둘 이상의 항목을 동시에 체계적으로 테스트하려는 경우 이를 다변량 테스트라고 하며 훨씬 더 큰 샘플이 필요합니다. 단변량 A/B 테스트를 시작하는 방법입니다.
두 번째 기본 개념은 통계적 유의성입니다. 버전 A의 클릭률이 3%이고 버전 B의 클릭률이 3.3%라고 가정해 보겠습니다. 이 차이가 진짜 장점인가요 아니면 우연인가요? 100명에게만 테스트를 보여줬다면 이 차이는 우연일 수 있습니다. 통계적 유의성은 관찰된 차이가 우연에 의한 것일 가능성이 충분히 낮다는 것을 의미합니다(즉, 차이가 실제일 가능성이 높습니다). 이를 위해서는 충분한 표본 크기(테스트를 보는 사람의 수)가 필요합니다. 적은 데이터로 "승자"를 선언하는 것은 가장 흔하고 비용이 많이 드는 실수입니다.
팁: 테스트를 시작하기 전에 "승자를 언제 선언할 것인가"라는 질문에 답하십시오. 즉, 인원 수/전환 후, 유의 수준은 무엇입니까? 미리 결정하면 처음 몇 시간 동안 소음에 휘말려 성급한 결정을 내리는 것을 방지할 수 있습니다.
다음 표에서는 좋은 A/B 테스트 디자인과 나쁜 A/B 테스트 디자인을 비교합니다.
아이템
나쁜 디자인
좋은 디자인
변수의 수
제목 + 이미지 + 버튼을 함께 사용
제목만
가설
(없음) "무슨 일이 일어나는지 보자"
"질문이 있는 제목은 클릭수를 증가시킵니다"
샘플
80명
미리 계산된 정족수
결정 시간
2시간 후
중요도에 도달하면
우승자 선정
"내 생각엔 B가 좋은 것 같아"
데이터와 중요성을 바탕으로
단계별: A/B 테스트 설정
1단계 - 가설을 작성합니다. 무엇을 테스트하고 있으며 그 이유는 무엇입니까? "혜택이 있는 헤드라인이 기능이 있는 헤드라인보다 더 많은 클릭을 유도합니다."와 같은 명확한 가설입니다.
2단계 - 단일 변수를 선택합니다. 제목, 이미지, CTA만 있으면 됩니다.
3단계 - 변형을 생성합니다. AI를 사용하여 동일한 항목의 다른 버전을 만듭니다. 나머지는 일정하게 유지하세요.
4단계 - 측정 계획을 설정합니다. 승자(클릭률, 전환율)를 결정하는 측정항목, 필요한 샘플 양, 실행 시간 등을 결정합니다.
5단계 - 결과를 해석하고 확인합니다. 충분한 데이터가 수집되었나요? 그 차이가 상당합니까? 유의하지 않은 경우에는 "차이 없음"도 유효한 결과입니다.
세 개의 미니 케이스
사례 1 - 단일 변수의 명확성. 한 전자상거래 브랜드는 제품 광고 '구매' 및 '장바구니에 추가'에서 CTA만 테스트했습니다. 다른 모든 것은 동일했습니다. 충분한 샘플링을 거친 후 '장바구니에 추가'를 클릭하면 전환율이 훨씬 높아졌습니다. 단일 변수를 분리했기 때문에 차이를 명확하게 해석할 수 있었습니다. AI는 두 개의 CTA를 생성했고 데이터가 승자를 선정했습니다.
사례 2 - 조기 결정 함정. A/B 테스트의 처음 3시간 동안 버전 B가 앞서고 B를 전체 예산에 공개했기 때문에 브랜드는 테스트를 중단했습니다. 다음날 전체 데이터를 보면 A가 약간 나아진 상태였습니다. 처음 몇 시간의 차이는 우연이었습니다. 예산이 낭비되었습니다. 실수: 표본 크기가 충분하지 않아 성급한 결정을 내립니다.
사례 3 — “차이 없음”도 결론입니다. 한 브랜드는 두 개의 서로 다른 이미지를 테스트했고, 충분한 샘플링 후에 두 이미지 모두 거의 동일한 결과를 얻었습니다. 팀에서는 "테스트가 실패했다"고 한탄할 정도였지만, 이미지가 이 캠페인의 결정 요인이 아니므로 노력은 헤드라인과 제안에 집중되어야 한다는 것이 올바른 해석이었습니다. 유의미한 차이가 발견되지 않았다는 점도 귀중한 정보이다.
복사 가능한 템플릿 4개
1) 가설 및 테스트 설계:
테스트하고 싶은 것: [예. 광고 제목].작업: (1) 테스트 가능한 단일 가설을 작성합니다("... 증가 ... 증가" 형식).(2) 격리할 단일 변수와 일정하게 유지해야 할 변수를 나열합니다.(3) 승자를 결정하는 측정항목(클릭률/전환)을 제안합니다.(4) 테스트를 검증하기 위해 주의해야 할 사항(샘플, 기간, 조기 결정 위험)을 작성합니다.
2) 변형 생성기(단일 변형):
고정 광고: 이미지 [동일], CTA [동일], 타겟 [동일]. 테스트된 변수: HEADLINE. 기본 메시지: "[메시지]". 작업: 동일한 메시지로 4개의 서로 다른 헤드라인 변형을 생성합니다. 각각은 서로 다른 접근 방식(질문, 이점, 숫자, 긴급성)을 사용합니다. 헤드라인만 변경됩니다. 근거 없는 주장을 추가합니다.
3) 측정 계획:
테스트: [A와 B의 정의]. 지표: [클릭/전환].작업: 측정 계획 초안 작성:(1) 기본 지표와 보조 지표,(2) 승자를 선언하는 데 필요한 데이터/시간(논리 설명),(3) A와 B 사이에 트래픽을 균등하고 공정하게 분할하는 방법,(4) 결과를 왜곡할 수 있는 외부 요인(계절, 요일). 정확한 통계를 계산하기 위해 유의성 도구를 사용할 것이라고 가정합니다.
4) 결과 해석기(주의):
내 A/B 테스트 결과(실제 데이터): [A: 노출수/클릭/전환],[B: 노출수/클릭/전환].작업: (1) 각 버전의 비율을 계산하고 표시합니다.(2) 차이의 크기에 대해 설명하고, 샘플이 충분하지 않은 경우 "의미 있는 결과를 얻기에는 데이터가 부족합니다"라고 말합니다.(3) 조기/오독의 위험을 상기시킵니다. 중요성에 대한 확정적인 주장을 하지 않습니다. 별도의 계정 도구로 확인하겠습니다.
약한 프롬프트 / 강한 프롬프트
약한 프롬프트:
내 광고의 A 버전과 B 버전을 제작해 보세요. 어떤 버전이 더 좋은지 알려주세요.
변수는 분리되어 있지 않으며 가설이나 측정도 없습니다. AI는 데이터 없이는 어느 것이 "좋은"지 알 수 없습니다.
강력한 프롬프트:
A/B 테스트를 준비 중입니다. 수정됨: 이미지와 CTA는 동일하게 유지됩니다. 테스트된 변수만: 광고 헤드라인.가설: "숫자가 있는 헤드라인은 일반 헤드라인보다 더 많은 클릭을 얻습니다." 기본 메시지: "3일 안에 전달됩니다." 작업: (1) 제어를 위해 일반 헤드라인 1개를 생성하고 변형을 위해 숫자가 있는 헤드라인 3개를 생성합니다.(2) 승자를 측정하기 위해 살펴봐야 할 측정항목을 알려주세요.(3) 테스트. 어느 쪽이 이길지 예측하지 마세요. 데이터가 이를 결정합니다.
두 번째 주장은 단일 변수를 분리하고 가설과 측정을 포함합니다. 승자를 데이터에 맡깁니다.
일반적인 실수
- 한 번에 많은 항목을 변경합니다. 승자의 이유가 불분명해집니다. 단일 변수는 격리되어야 합니다.
- 부족한 샘플로 결정을 내립니다. 처음 몇 시간의 차이는 종종 우연입니다.
- 가설 없이 테스트합니다. "무슨 일이 일어나는지 보자" 테스트는 학습을 생성하지 않습니다. 먼저 당신이 기대하는 바를 적어보세요.
- "차이 없음"이라는 결과를 실패로 착각합니다. 유의미한 차이가 없다는 점도 유익합니다.
- 취향에 따라 승자를 선택합니다. 테스트는 정확하게 개인적인 취향을 배제하는 것입니다. 데이터를 따르십시오.
- 외부 요인을 망각합니다. 시즌, 캠페인 당일, 뉴스 흐름으로 인해 결과가 왜곡될 수 있습니다. 테스트 조건을 공정하게 유지하십시오.
주의: A/B 테스트의 목적은 "승리"하는 것이 아니라 배우는 것입니다. 변형 손실도 귀중한 정보입니다. 실제 손실은 데이터가 부족한 잘못된 결과에 의존하고 이에 예산을 얽매는 것입니다.
요약하면
A/B 테스트는 광고 결정을 아이디어에서 데이터로 옮기는 강력한 방법입니다. 황금률은 단일 변수를 분리하는 것입니다. 즉, 테스트에서 하나의 요소만 변경되어야 하고 나머지 요소는 일정하게 유지되어야 합니다. 두 번째 기둥은 적절한 샘플링과 통계적 유의성입니다. 데이터가 거의 없는 상태에서 승자를 선언하는 것은 가장 비용이 많이 드는 실수입니다. AI는 다양한 변형을 생성하고 확률을 계산 및 해석하는 데 도움이 되지만 AI가 아니라 데이터가 승자를 결정합니다. "차이가 없다"는 결과도 학습입니다. 테스트가 시작되기 전에 가설, 지표 및 결정 임계값을 작성해야 합니다.
응용과제
광고 소재(제목, 이미지 또는 CTA)를 선택합니다. (1) "가설 및 검정 설계"를 통해 검정 가능한 단일 가설과 고립변수를 작성합니다. (2) "변형 생성기"를 사용하여 1개의 제어 + 3개의 변형을 생성합니다. 해당 요소를 변경하면 됩니다. (3) '측정 계획'을 통해 어떤 지표를, 얼마나 오랫동안, 어떤 데이터로 볼 것인지 계획합니다. (4) 승자 선언 기준(전환수/중요성)을 미리 적어 두세요. (5) "결과 해석기"를 사용하여 가상의 결과를 고려하고 데이터가 부족한 시나리오에서 결정을 내리지 않는 이유를 설명합니다.
체크리스트
- [ ] 테스트에서 하나의 변수만 분리했습니다.
- [ ] 나는 시험 전에 명확한 가설을 세웠다.
- [ ] 우승자에게 필요한 샘플과 시간을 이미 결정했습니다.
- [ ] 개인적인 취향이 아닌 데이터를 바탕으로 우승자를 선택했습니다.
- [ ] 나는 "차이 없음" 결과를 유효한 학습으로 간주했습니다.
- [ ] 결과가 왜곡될 수 있는 외부요인을 확인하였습니다.