첨삭 서비스에서 실험 설계를 구성하는 방법

1. 실험 설계는 가설을 검증 가능한 형태로 만드는 과정이다

그로스해킹에서 Experiment Design, 즉 실험 설계는 단순히 아이디어를 실행해보는 것이 아닙니다.
실험 전에 무엇을 검증할지, 누구에게 적용할지, 어떤 지표로 판단할지를 미리 정하는 과정입니다.

쉽게 말하면, 실험 설계는 “이 변경이 실제로 효과가 있었는지 판단하기 위한 기준표”를 만드는 일입니다.

 

2. 실무 질문 예시

포트폴리오 첨삭 서비스에서 다음과 같은 문제가 있다고 가정해보겠습니다.

포트폴리오 샘플 페이지 조회는 많지만, 첨삭 신청 전환율이 낮다.

팀에서는 다음과 같은 가설을 세웠습니다.

“첨삭 전후 비교 사례를 보여주면 첨삭 신청 전환율이 증가할 것이다.”

이때 실무에서는 이런 질문을 받을 수 있습니다.

“이 가설을 검증하기 위한 실험 설계를 한다면 어떻게 구성하시겠습니까?”

 

3. 내 답변

가설은 “첨삭 전후 비교 사례를 보여주면 첨삭 신청 전환율이 증가할 것이다”로 설정하겠습니다.

대상은 포트폴리오 샘플 페이지를 조회한 사용자로 정의하겠습니다.

실험 방법은 기존 상세페이지를 보여주는 Control 그룹과 첨삭 전후 비교 사례를 추가한 Treatment 그룹으로 나누어 진행하겠습니다.

핵심 지표는 첨삭 신청 전환율로 설정하고, 실험 기간은 2주로 잡겠습니다.

성공 기준은 기존 대비 전환율이 10% 이상 개선되는 것으로 정의하겠습니다.

 

4. 답변에서 중요한 포인트

이 답변에서 좋은 점은 실험 설계의 핵심 요소가 모두 들어가 있다는 점입니다.

 

항목내용

항목	내용
가설	첨삭 전후 비교 사례를 보여주면 첨삭 신청 전환율이 증가할 것이다
대상	포트폴리오 샘플 페이지 조회 사용자
Control 그룹	기존 상세페이지
Treatment 그룹	첨삭 전후 비교 사례가 추가된 페이지
핵심 지표	첨삭 신청 전환율
기간	2주
성공 기준	전환율 10% 이상 개선

특히 대상자를 포트폴리오 샘플 페이지 조회 사용자로 잡은 것은 적절합니다.
현재 문제가 샘플 페이지 조회 이후 첨삭 신청으로 이어지지 않는 것이기 때문에, 실험 대상도 해당 페이지를 본 사용자로 설정하는 것이 자연스럽습니다.

 

5. Control 그룹과 Treatment 그룹의 의미

실험 설계에서 Control 그룹은 기존 상태를 유지한 비교 기준 그룹입니다.
Treatment 그룹은 새로운 변경안을 적용한 실험군입니다.

이번 사례에서는 다음처럼 나눌 수 있습니다.

 

그룹설명

그룹	설명
Control 그룹	기존 포트폴리오 샘플 페이지
Treatment 그룹	첨삭 전후 비교 사례가 추가된 페이지

이렇게 나누는 이유는 단순합니다.
전환율이 올랐을 때 그 변화가 정말 첨삭 전후 비교 사례 때문인지 확인하기 위해서입니다.

비유하면 Control 그룹은 원래 레시피이고, Treatment 그룹은 재료를 하나 바꾼 레시피입니다.
두 결과를 비교해야 무엇이 효과를 냈는지 알 수 있습니다.

 

6. 보완하면 더 좋은 점

핵심 지표는 첨삭 신청 전환율이 맞습니다.
다만 실무에서는 보조 지표도 함께 보면 더 좋습니다.

 

보조 지표보는 이유

지표	보는 이유
CTA 클릭률	신청 버튼을 누를 의도가 증가했는지 확인
페이지 체류 시간	비교 사례를 실제로 읽었는지 확인
스크롤 깊이	비교 사례 영역까지 도달했는지 확인
신청 폼 진입률	신청 버튼 클릭 후 폼까지 이동했는지 확인

예를 들어 첨삭 신청 전환율이 오르지 않았더라도 CTA 클릭률이 올랐다면, 상세페이지 설득력은 좋아졌지만 신청 폼 단계에서 이탈했을 가능성이 있습니다.

또한 성공 기준인 “전환율 10% 이상 개선”은 조금 더 명확히 표현하는 것이 좋습니다.

기존 대비 첨삭 신청 전환율이 상대적으로 10% 이상 개선

이렇게 말하면 더 정확합니다.

예를 들어 기존 전환율이 5%라면, 상대 개선율 10%는 5.0%에서 5.5%로 개선되는 것을 의미합니다.

 

7. 더 좋은 답변으로 다듬기

조금 더 실무적으로 답변하면 이렇게 말할 수 있습니다.

이 실험의 가설은 “첨삭 전후 비교 사례를 보여주면 첨삭 신청 전환율이 증가할 것이다”로 정의하겠습니다.

대상은 포트폴리오 샘플 페이지를 조회한 사용자로 설정하겠습니다. 실험 방법은 기존 페이지를 보여주는 Control 그룹과 첨삭 전후 비교 사례가 추가된 Treatment 그룹으로 나누어 A/B 테스트를 진행하겠습니다.

핵심 지표는 첨삭 신청 전환율로 보고, 보조 지표로 CTA 클릭률, 페이지 체류 시간, 스크롤 깊이, 신청 폼 진입률을 함께 확인하겠습니다.

실험 기간은 2주로 설정하되, 충분한 표본 수가 확보되는지도 함께 보겠습니다. 성공 기준은 기존 대비 첨삭 신청 전환율이 상대적으로 10% 이상 개선되는 것으로 정의하겠습니다.

 

8. 실험 설계에서 기억할 기준

기준확인 질문

가설	무엇을 검증할 것인가?
대상	누구에게 실험할 것인가?
실험군	무엇을 바꿔서 보여줄 것인가?
핵심 지표	무엇이 개선되면 성공인가?
보조 지표	중간 행동 변화를 확인할 수 있는가?
성공 기준	어느 정도 개선되면 성공으로 볼 것인가?

실험 설계는 “좋아 보이는 개선”을 실행하는 것이 아니라, 그 개선이 실제 지표 변화로 이어졌는지 확인할 수 있게 만드는 과정입니다.

 

9. 정리

첨삭 전후 비교 사례 실험은 기존 페이지와 변경 페이지를 비교하고, 첨삭 신청 전환율이 기존 대비 상대적으로 10% 이상 개선되는지를 확인하는 방식으로 설계할 수 있다.