A/B 테스트

Max A/B Testing 기능을 사용하면 실시간 데이터를 활용하여 워터폴 구성에 적용한 모든 변경 사항의 영향을 테스트하고 측정할 수 있습니다.

다양한 광고 수익화 전략을 실험하고 LTV를 극대화할 수 있는 기회를 식별할 수 있습니다. 이러한 전략에는 증분 효과(incrementality)를 확인하기 위해 네트워크를 추가하거나 제거하는 것, 새로운 가격대(price point)를 추가하는 것, 또는 지역별 워터폴 최적화를 실험하는 것 등이 포함될 수 있습니다.

A/B 테스트 생성하기

A/B 테스트를 생성하려면 다음 단계를 수행하십시오.

1. MAX Dashboard에서 MAX > Mediation > Manage > Ad Units로 이동합니다.
2. A/B 테스트를 설정하고자 하는 ad unit을 클릭합니다. Edit Ad Unit 창이 나타납니다.
3. Default Waterfall 탭의 ⋯ 메뉴에서 Create A/B Test를 선택합니다.
4. 프로세스를 설명하는 작은 팝업 대화 상자가 표시됩니다. “Copy existing ad unit configuration…” 체크박스를 선택하고 Create A/B Test를 클릭하여 기존 waterfall을 새 테스트에 복사합니다.

1. 새 A/B 테스트를 생성하면 기본적으로 MAX는 사용자 중 50%에게 Test 구성을 적용합니다. 더 적은 트래픽 볼륨으로 테스트를 더 오래 실행하려는 경우 등에는 이 값을 수정할 수 있습니다. 수정하려면 A/B 테스트를 생성할 때 Test Group Allocation 값을 변경하십시오.

2. Default Waterfall 탭에 Test라는 새로운 토글이 표시됩니다. 이 토글 설정에서 테스트 구성(처음에는 복사한 waterfall 구성과 동일함)을 볼 수 있습니다. 테스트를 위한 새로운 A/B Test Name을 입력하고, 테스트하려는 내용에 따라 waterfall을 변경하기 시작합니다.

   AppLovin은 A/B 테스트의 시작 시간이 반영된 명명 규칙(예: “0812_01UTC_FBBiddingAdded”)을 사용하여 A/B 테스트 이름을 지정할 것을 권장합니다. 이렇게 하면 변경 사항을 추적하고 결과를 모니터링하기가 더 쉬워집니다.

   

3. 테스트 waterfall을 구분하는 변경 사항을 적용한 후 Save를 클릭합니다. MAX ad unit 페이지가 새 A/B 테스트로 업데이트됩니다.

4. ad unit 페이지로 돌아가면 기본 뷰는 여전히 원래의 control waterfall로 유지됩니다. Control 토글을 클릭하여 Test로 전환하고 두 waterfall을 비교해 보십시오.

   Default Waterfall 탭의 ⋯ 메뉴에서 Preview Waterfall을 선택하여 각 waterfall 설정을 시각적으로 확인할 수 있습니다. 그런 다음 Waterfall Preview 대화 상자에서 waterfall을 시각화하려는 국가를 선택합니다. 그러면 해당 국가의 waterfall에 있는 non-bidder ad network의 시각적 표현(및 waterfall을 보완하는 bidder network 목록)이 표시됩니다.

   

결과 모니터링

테스트가 시작된 후 24~48시간 동안 requests, impressions 및 매출에 미치는 영향을 모니터링하십시오. 이 작업은 MAX > Mediation > Analyze > Advanced Reporting 또는 MAX > Mediation > Analyze > A/B Tests에서 수행할 수 있습니다. 이후 테스트 waterfall을 모든 사용자에게 적용(promote)하거나, 테스트를 중단(deprecate)하고 원래의 control 구성으로 되돌릴 수 있습니다. A/B 테스트는 저장 후 최대 20분 이내에 프로덕션에 반영되고 보고서에 표시되어야 합니다.

requests, impressions 및 매출에 반영된 모든 변화는 IMP/DAU, REQ/DAU 및 ARPDAU의 변화를 나타냅니다. 이는 테스트 waterfall에서 적용한 변경 사항의 결과일 가능성이 높습니다.

위의 예시 스크린샷은 IMP/DAU 28% 감소, REQ/DAU 16% 감소, ARPDAU 27% 감소를 보여줍니다. 몇 시간 후에도 이러한 결과가 지속된다면(더 큰 샘플이 생성된 후), 잠재적인 매출 손실을 방지하기 위해 이 테스트는 중단(deprecate)하는 것이 좋습니다.

테스트를 중단하거나 적용하려면 다음 단계를 따르십시오.

1. ad unit 페이지의 Default Waterfall 탭으로 이동합니다.
2. Control/Test 토글을 Test로 설정합니다.
3. ⋯ 메뉴에서 End A/B Test를 선택합니다.
4. 나타나는 End A/B Test 대화 상자에서 Deprecate Test 또는 Promote Test 중 하나를 클릭합니다.
5. Save를 클릭합니다. 변경 사항은 몇 분 내에 프로덕션 트래픽에 실시간으로 적용됩니다.

결과 이해하기

MAX는 테스트 그룹에서 10,000회 이상의 impressions를 생성한 각 테스트에 대해 A/B 테스트 결과 페이지를 제공합니다. 이 페이지는 테스트가 이러한 impressions를 생성한 다음 날부터 결과를 보여줍니다. A/B Tests 페이지(MAX > Mediation > Analyze > A/B Tests)에서 이러한 페이지의 목록을 확인하고 링크를 통해 이동할 수 있습니다.

이 A/B 테스트 결과 페이지를 통해 Network Revenue share-of-voice의 변화, 테스트를 통해 예상되는 ARPDAU 상승 효과(lift) 및 테스트를 적용하거나 중단하는 올바른 결정을 내리는 데 도움이 되는 다양한 데이터 포인트를 파악할 수 있습니다.