최근에 운이 좋게 이커머스 관련 기업에서 근무를 시작하게 됐는데, 관련 자료들을 보다 보니까 내가 정말 A/B 테스트에 대해서 하나도 모르는구나를 깨달을 수 있었다. 자료들을 읽는데, 이게 분명히 한국어 같은데 전혀 이해가 안된다. 관련 분야에서 약어도 많이 쓰고 전문용어도 꽤있어서, 오늘은 A/B 테스트 할때 업계에서 많이 쓰는 약어/용어들을 한번 정리해보겠다.
내가 쓴 내용들을 따로 정리할 필요까진 없는 것 같고, 서너번 읽어보면 적당히 머리속에 들어올 것이라고 생각하니 이점 참고하도록!
(또 한가지 더 덧붙이자면, 내용들은 내가 본 자료에서 확인한 용어/약어들의 정의 + 지피티한테 물어본거 + 구글링 결과라서 틀린 내용이 있을 수도 있다. 읽어보시다 수정이 필요한 부분이 있다면 댓글로 정정해주시면 무지 감사할 것 같다.)
🔎 A/B Test 용어 정리
0. 지표 관련 일반 용어
A/B 테스트 실험에서 자주 쓰이는 광고·마케팅 지표들
| 용어 | 의미 | 예시 |
| CPC | Cost per Click : 클릭 당 비용 | 광고주 지불금액 / 클릭수 |
| CPM | Cost per Mille : 광고 1000번 노출 당 비용 | 광고주지불금액 / 광고노출수 |
| CVR | Conversion Rate : 구매 전환율 | |
| CTR | Click Through Rate : 클릭률 A/B 테스트에서 버튼·광고·배너 노출 대비 클릭 비율 | 클릭수 / 노출수 * 100% |
| CPP | Cost Per Purchase : 구매 1건당 발생한 광고비 | 광고비 / 구매건수 |
| SRP | Search Results Page : 사용자가 검색어 입력 후 보는 결과 리스트 화면 | |
| NFNF | Non-Free Non-Fill : 유료 광고 슬롯이지만 채워지지 않은 노출 건수 | |
| NFVF | Non-Free View-Fill : 유료 광고 슬롯 중 실제 광고로 채워진 건수 | |
| ATC | Add To Cart : 장바구니 추가 | |
| BIN | Buy It Now | 추가 ) BNB : Buy Now Button |
| P/V | Page View : 총 페이지 열람 수 (같은 유저가 같은 페이지를 3번 열람 → PV=3) | |
| U/V | Unique Visitor : 중복 없이 계산한 방문자 수 (같은 유저가 여러 번 방문해도 UV=1) | |
| PCS | Price Comparison Site | 네이버, 다나와 |
| IM | Internet Marketing | |
| WOM | Word of Mouth : 입소문/직접 유입 | 타 사이트 거치지 않고 직접 유입 |
| PA | Partnership Advertisement | |
| RA | Remarketing Advertisement : 리마케팅 광고 | |
| ROAS | Return On Advertising Spend : 광고 수익률 | 광고로 발생한 매출 / 광고비 * 100 |
| PLCC | Private Label Credit Card : 개별 상표 부착한 카드 | 토스, 대한항공 카드 등 |
| GMV | Gross Merchandise Value : 총거래액, 총 상품 판매액 | |
| UTS | Unified Tracking System : 통합 추적 시스템 (이벤트 수집·표준화·실험/분석 연동·품질관리) | |
| LMO | Landing Module Optimization : 광고/검색 클릭 후 도착하는 랜딩 모듈 최적화 |
1. 실험 설계 관련 용어
A/B 테스트를 어떻게 설계하고 운영할지와 관련된 개념
| 용어 | 설명 | 예시 |
| Feature | 실험을 통해 평가할 기능 | |
| Variant | 실험에서 테스트되는 각각의 버전 (A, B, C 등) | A: 기존 버튼 / B: 새 디자인 |
| Control Group | 변경 없는 기존 버전 (기준 그룹) | A 그룹 |
| Treatment Group (Test Group) | 실험 적용된 변경 버전 | B 그룹 |
| Randomization | 유저·트래픽을 무작위로 그룹 배정 | AB 그룹에 50:50 배분 |
| Experiment Unit | 실험 단위 (user_id, device_id, session_id, email 등) | 광고 실험 → session_id |
| Exposure | 실험에 노출된 유저 비율 | 전체 유저 중 30% 실험 대상 |
| Seedfinder | 그룹 간 지표 균형을 맞추기 위한 랜덤화 시드 자동 탐색 도구 | |
| 할당 트래픽 | 전체 사용자 중 실험에 포함될 비율 | |
| 분배 비율 | 할당된 트래픽 내에서 그룹 간 분배 비율 | |
| SRM (Sample Ratio Mismatch) | 설정한 분배비율과 실제 배정된 유저 비율이 유의미하게 다른 경우 | 설계: A:B=5:5 → 실제: A:B=8:2 |
| Overlapping Experiment | 동시에 진행해도 무방한 실험 | |
| Trigger point | 실험 단위가 ‘참여자’로 선정되는 기준 | |
| Percent Lift | 대조군 대비 실험군 변화율 | Click per pv : 95% CI=[117.35%, 196.45%] |
| cguid | Client GUID : 개별 사용자를 구분하는 고유 식별값 |
2. 실험 지표 관련 용어
실험 목표/성과 판단 기준이 되는 지표 분류
| 용어 | 설명 | 예시 |
| Primary 지표 | 최종 의사결정 기준이 되는 핵심 지표 (1개) | 버튼 디자인 변경 → 클릭율 |
| Goal 지표 | 개선 목표 지표 (1개) | 구매 전환율 |
| Driver 지표 | Goal 달성 보조 지표 | KPI=구매율 → 장바구니 클릭률, 상세 페이지 진입률 |
| Guardrail 지표 | 반드시 지켜져야 하는 최소 기준 (2개 이하) | 지표 악화 시 실험 실패로 간주 |
| 진단지표 | 결과 원인 분석에 활용 (최대 10개) | 평균 체류시간, Daily UV, Item CTR 등 |
3. 실험 통계 관련 용어
A/B 테스트의 통계적 해석에 필요한 개념
| 용어 | 설명 | 예시 |
| Sample Size | 필요한 최소 유저 수 | 10,000명 이상 필요 |
| Statistical Significance | 결과가 우연이 아닐 확률 (보통 p<0.05) | A가 B보다 95% 신뢰도에서 우수 |
| Confidence Interval (CI) | 측정 지표의 신뢰 구간 | 클릭률 9% ± 1.5% |
| P-Value | 두 그룹 차이가 우연일 확률 | p=0.03 → 유의 |
| Lift | 기준 대비 개선 비율 | 클릭률 10%→12% → 20% lift |
| Power | 실제 차이를 발견할 확률 (검정력) | 보통 80% 이상 권장 |
4. 실험 결과 분석/운영 관련 용어
| 용어 | 설명 | 예시 |
| Bounce Rate | 한 페이지만 보고 이탈한 비율 | 70% 이상이면 위험 신호 |
| Retention Rate | 재방문 또는 재사용 비율 | D7 Retention 40% |
| Segmentation | 유저를 조건별로 나눠서 분석 | 국가별, 디바이스별 결과 비교 |
| Holdout Group | 실험에 노출되지 않은 비교용 그룹 | 전체 중 10% 제외 |
| Ramp-up | 실험 적용 비율을 점진적으로 늘리는 과정 | 첫 주 10% → 둘째 주 30% → 셋째 주 50% |
| Rollout | 실험에서 유의미한 개선이 확인된 기능을 전체 사용자에게 배포 | B안 클릭률 개선 → 전체 서비스에 반영 |
| Rollback | 실험 결과 성과가 없거나 부정적일 때 원래 버전으로 되돌림 | 신버튼 클릭률 하락 → 기존 버튼 복구 |
| Post-analysis | 실험 종료 후 세부 데이터 분석, 추가 인사이트 도출 | 성별/연령별 전환율 비교 |
| Cannibalization | 새로운 기능/제품이 기존 성과를 잠식하는 현상 | 신규 프로모션 상품 판매 ↑, 기존 상품 판매 ↓ |
| Long-term Effect | 단기 성과 외에 장기적으로 나타나는 효과 분석 | 1개월 후 재방문율 상승 여부 확인 |
개인적으로 이 내용들을 정리하면서 생각이 든건, 내가 모르는 부분이 너무 많았구나 싶었다. ㅎㅎ
실제로 업무에서는 어떤식으로 쓰이는지는 아래 예시문장으로 달아놓겠다. 한번 보고 용어들이 어느정도 내머리속에 남았는지 확인해봐도 좋을 듯하다. 오늘은 용어 위주로 정리했지만, 다음엔 A/B 테스트 실험설계과정과 같은 흐름을 정리해볼까 한다. 그러면 오늘 포스팅은 여기까지 하는걸로 하고 나는 다음에 또 돌아오겠다! AI에게 대체될 수 없는 인재가 되는 그날까지 아자잣 홧팅이다 우리
“이번 실험에서 SRM이 발생해서 Seedfinder로 다시 배정 시드를 맞췄고, 그 후에는 대조군과 실험군의 지표가 안정적으로 비교 가능해짐.”
“Holdout Group과 Treatment Group을 비교해 보니, 신규 기능의 Retention Rate은 개선됐지만 Guardrail 지표였던 구매 전환율은 오히려 떨어짐.”
“광고 실험 결과 ROAS는 크게 개선됐지만,Cannibalization 때문에 기존 상품의 GMV 가 줄어 전체 성과는 기대보다 낮았음.”
“Randomization과정에서 특정 국가 유저가 한쪽에 과도하게 몰려 Segmentation 분석을 따로 돌려야 했음.”
“Ramp-up단계에서는 긍정적인 Percent Lift 가 보였지만, 전체 Rollout 이후에는 Bounce Rate가 올라가서 결국 기능을 Rollback 하게 됐음.”