실험 우선순위 결정 방법: ICE와 RICE

서비스를 개선하다 보면 해보고 싶은 실험이 많아집니다.

버튼 문구를 바꾸는 실험, 온보딩 화면을 줄이는 실험, 쿠폰 노출 위치를 바꾸는 실험 등 다양한 아이디어가 나올 수 있습니다.

 

하지만 모든 실험을 동시에 할 수는 없습니다. 시간, 인력, 개발 리소스는 제한되어 있기 때문입니다.

그래서 필요한 것이 실험 우선순위 결정 방법론입니다.

 

대표적으로 많이 사용하는 방법이 ICE와 RICE입니다.

 

실험 우선순위 결정

• ICE: 빠르고 간단하게 판단
• RICE: 사용자 규모와 리소스까지 고려

 

1. ICE: 빠르게 실험 우선순위를 정하는 방법

 

ICE는 실험 아이디어를 세 가지 기준으로 평가합니다.

ICE = Impact × Confidence × Ease

항목	의미
Impact	성공하면 효과가 얼마나 큰가
Confidence	성공할 근거가 얼마나 확실한가
Ease	실행이 얼마나 쉬운가

즉, ICE는 효과가 크고, 근거가 있으며, 쉽게 실행할 수 있는 실험을 먼저 하자는 방식입니다.

 

예를 들어 장바구니 이탈률이 높을 때, “배송비 안내를 결제 전 단계가 아니라 상품 상세 페이지에서 미리 보여주는 실험”을 생각할 수 있습니다. 이 실험이 구매 전환율에 영향을 줄 가능성이 높고, 사용자 불만 데이터라는 근거가 있으며, 개발 난이도도 낮다면 ICE 점수가 높게 나올 수 있습니다.

 

ICE는 빠르게 판단해야 할 때 유용합니다. 특히 초기 아이디어가 많을 때 후보를 줄이는 데 좋습니다.

 

2. RICE: 영향 범위와 리소스까지 고려하는 방법

RICE는 ICE보다 조금 더 정교한 방식입니다.

RICE = Reach × Impact × Confidence ÷ Effort

항목	의미
Reach	얼마나 많은 사용자에게 영향을 주는가
Impact	성공하면 효과가 얼마나 큰가
Confidence	성공할 근거가 얼마나 확실한가
Effort	실행에 얼마나 많은 리소스가 드는

RICE는 ICE와 달리 Reach를 포함합니다. 즉, 이 실험이 얼마나 많은 사용자에게 영향을 주는지를 따로 봅니다.

 

예를 들어 회원가입 첫 화면을 개선하는 실험은 대부분의 신규 사용자에게 영향을 줍니다. 반면 특정 설정 페이지의 문구를 바꾸는 실험은 일부 사용자에게만 영향을 줄 수 있습니다. 두 실험의 효과가 비슷하다면, 더 많은 사용자에게 영향을 주는 실험이 우선순위가 높아질 수 있습니다.

 

또한 RICE는 Effort를 나누기 때문에, 리소스가 많이 드는 실험은 점수가 낮아질 수 있습니다.

───────────────┐
│ Reach 높음     │ 많은 사용자에게 영향
├───────────────┤
│ Impact 높음    │ 성공 시 효과 큼
├───────────────┤
│ Confidence 높음│ 근거가 명확함
├───────────────┤
│ Effort 낮음    │ 실행 리소스 적음
└───────────────┘
        ↓
   우선순위 높음

 

3. ICE와 RICE의 차이

ICE는 빠르고 간단합니다. 회의 중 여러 실험 아이디어를 빠르게 비교할 때 좋습니다.

RICE는 조금 더 정교합니다. 특히 사용자 규모와 투입 리소스를 함께 고려해야 할 때 적합합니다.

구분	ICE	RICE
장점	빠르고 단순함	더 정교함
고려 요소	효과, 근거, 실행 용이성	사용자 규모, 효과, 근거, 리소스
적합한 상황	초기 아이디어 선별	실제 실행 우선순위 결

 

4. 정리

ICE와 RICE는 여러 실험 중 무엇을 먼저 할지 정하기 위한 우선순위 방법론이며, ICE는 빠른 판단에, RICE는 사용자 영향 범위와 리소스까지 고려한 판단에 적합합니다.