Amplitude Feature Experiment: 데이터 기반 실험의 시작

실험이 중요한 이유

디지털 서비스를 운영하다 보면 다음과 같은 질문과 마주하게 됩니다.

“이 버튼을 바꾸면 클릭률이 더 높아질까?”

“새로운 기능을 모든 사용자에게 바로 공개해도 될까?”

“프리미엄 사용자에게만 실험적으로 먼저 공개해보고 싶은데, 어떻게 관리하지?”

대부분 경우 직감이나 내부 회의로 결정을 내리지만, 그 결과가 실제로 사용자 경험과 KPI에 긍정적인 영향을 주는지 알기 어렵습니다. 이로 인해 향후에 추가적인 실험 테스트를 수행하기 어려운 환경이 조성되어 버리기도 합니다.

또한, 서비스를 운영하다보면, 서비스의 성장을 위해 여러 고민과 의사결정이 필요한 순간이 옵니다.

✅ 새로운 기능을 모든 사용자에게 배포하기엔 위험할 때

✅ 디자인이나 UI를 바꾸고 그 효과를 정확히 측정하고 싶을 때

✅ 특정 사용자 그룹에게만 실험적으로 기능을 보여주고 싶을 때

✅ 실험 결과를 클릭률, 전환율, 리텐션율 등의 지표로 분석하고 싶을 때

따라서, 개발단의 리소스를 최소화하면서, 실제 사용자 데이터 기반의 결과 분석이 가능한 실험 체계를 도입할 필요가 있습니다. Amplitude Experiment는 고객에게 제공하는 기능 on/off 토글링부터 A/B 테스트, 점진적 릴리즈, 결과 분석까지 하나의 워크플로우 안에서 지원함으로써 "기능 실험 → 결과 측정 → 의사결정"을 오차없이 빠르게 수행할 수 있도록 도와줍니다.

Amplitude Experiment에서는 다음 두 가지 방식으로 실험을 구성할 수 있습니다.

• Feature Experiment
• Web Experiment

이름만 보아서는 비슷해 보이지만, 실제 사용 목적과 운영 방식에는 뚜렷한 차이가 있습니다. 이번 포스팅에서는 이중 Feature Experiment에 대해 집중적으로 알아보겠습니다.

Feature Experiment: 기능 중심 실험

Feature Experiment는 코드 기반으로 운영되는 실험 방식입니다. 개발자가 직접 고객에게 보여줄 화면을 만들거나 신규 기능을 구현한 후에 이것을 일부 고객들에게만 노출하고 원하는 효과를 보았는지 확인하고자 할 때 활용합니다.

개발단에서는 변경된 화면이나 기능을 적용하고 예외 처리를 추가하여 특정 사용자에게만 노출될 수 있도록 구현하고, 실무자는 원하는 고객군과 모수 비율을 Amplitude 콘솔에서 언제든 수정하여 테스트를 수행 해 볼 수 있습니다.

개발단 기능

- 화면 구성

- 조건 처리

실무단 기능

- 모수집단 선정, 비율 선택

- 전환 목표 지정, 분석 방식 선정

- 테스트 시작, 종료, 기간 선정

- 실험 분석 결과 확인

- Analytics로 추가 심화 분석 수행

예시로 이해하는 Feature Experiment 활용

1) 신규 기능 가설 세우기

어느 날, 개발자가 추천 알고리즘 로직 개선 작업을 완료 하였습니다. 이 알고리즘을 서비스에 적용하면 굉장한 효과를 보여줄 것이라 기대하고 있지만, 바로 운영계에 적용하기에는 어떤 사이드 이펙트가 있을지 예상할 수 없었습니다. 가령 잘못된 상품 추천으로 고객에게 안 좋은 경험을 제공하면 이탈로 이어질 수 있죠.

따라서, 전체 고객이 아닌, VIP 고객 중 10%에게만 새 알고리즘을 적용하고 클릭률, 구매율을 측정하기로 하였습니다. 결과 데이터가 나머지 고객들에 비해 5%이상 증가한다면 전체 사용자에게 확대 배포하는 거죠.

2) 개발단 작업

처음 실험을 진행하는 것이라면 Amplitude Experiment SDK를 적용하는 작업이 필요합니다. 신규 추천 알고리즘은 이미 개발 완료된 상황이고 SDK 적용은 큰 시간이 소모되지 않기 때문에 거의 바로 실험 진행이 가능합니다.

(Amplitude Experiment SDK 라이브러리 탑재 및 초기화 후 고객마다 서로 다르게 제공하고자 하는 위치에서 조건문(if)을 구성)

Android 적용법

1. 라이브러리 추가 (build.gradle에 dependencies 추가)

2. 초기화 (Application단에서 초기화)

3. 현재 사용자의 experiment 관련 정보 수신

4. 고객이 보유한 flag 값에 따라 제공 여부 결정

( 새로운 추천 알고리즘이 제공될 10%의 VIP 고객은 "on"으로, 그 외 고객들은 모두 "off"로 적용)

3) Amplitude 설정(Experiment UI 구성)

3-1) Deployment 생성하기

운영하는 서비스는 여러 환경으로 구분되어 있습니다.

• 개발계(development) / 내부 QA 테스트 수행 환경(staging) / 운영 환경(production)
• Android, iOS, Web 등 제공 플랫폼 환경

실험을 진행하고자 할 때, 특정한 환경에서만 진행하실 수도 있고, 여러 환경에서 동시에 진행해 보실 수도 있을 겁니다. 이 때, 어떤 환경에 실험을 배포할 것인지를 정의할 수 있도록 "Deployment"라는 작업이 필요합니다.

하나의 프로젝트 내에서 배포할 환경마다 각각의 Deployment를 생성해주시면, 실험을 진행할 때, 이 실험을 어떤 환경에만 배포할지 지정할 수 있습니다.

Experiment > Deployments 화면에서 제공하는 “Create Deployment”를 클릭하고 배포할 환경의 이름과 프로젝트를 선택하면 바로 Deployment 생성이 가능합니다.

3-2) Experiment 생성하기

이제 기본적인 세팅은 모두 완료 되었으니 실험을 만들어 볼 수 있습니다!

Experiment > Experiments 메뉴에서 새로운 실험명과 사용할 키 값을 정하신 후 생성(Create)합니다.

4) 실험 설계

4-1) 목표 설정하기

실험을 만들 때 가장 먼저 생각해야 할 부분은 "목표" 설정 입니다. 실험을 한다는 것은 결국, 무언가를 더 좋게 만들기 위해서이기 때문에, 반드시 “이 실험을 통해 무엇이 좋아지기를 기대하는가?”에 대한 기준이 필요하며, 그것이 바로 목표 설정입니다. 우리가 설정한 목표를 달성했는지 여부를 가지고 이번 실험의 성공 여부를 파악해 보실 수 있겠지요.

목표는 기존에 만들어 두었던 지표를 선택하실 수도 있고, 원하는 목표를 새롭게 생성하실 수도 있습니다.Unique, Event Total, Conversion 등 분석에서 활용해 보셨던 다양한 지표 옵션을 기반으로 목표 설정이 가능한데, 이번 실험에서는 클릭율이 5% 이상 증가하는 것을 목표로 잡았기 때문에, "화면 진입 > 버튼 클릭"으로의 전환율이 5% 이상 상승하는 것을 목표로 설정했습니다.

4-2) 대안(Variant) 등록하기

비교 테스트를 진행할 때, 대안은 하나일 수 있지만 여러 개가 있을 수도 있습니다. "내가 테스트하고 싶은 기능의 버전은 몇 가지이며, 각각 어떤 차이가 있을까?" 테스트 하고자 하는 대안의 수 만큼 Add a Variant 옵션으로 추가하여 정의할 수 있습니다. (단, 너무 많은 Variant는 분석을 어렵게 하므로 2~4개 이내를 권장합니다.)

각 Variant의 Value 값은 SDK에서 분기 처리에 사용(e.g. variant.value)되므로 개발단에서 미리 지정하신 값이 있을 경우, 해당 값으로 기입되어야 하며, 미리 정의되어 있지 않았다면 여기에서 정의하시는 값으로 개발단의 코드 작업이 수행되어야 합니다.

※Value 값이 수정될 경우, 앱의 재배포가 필요하므로 처음 생성 시 Amplitude에서 허용하는 명명규칙(숫자, 영문, 언더스코어, 하이픈만 허용)을 참고하시어 향후 변경하지 않을 값으로 지정이 필요합니다.

4-3) 고객 그룹(Targeting) 정의하기

[Audience]

실험에 활용할 대안을 등록했다면, 누구를 대상으로 실험을 진행할 것인지 모수 집단을 선택하실 수 있습니다. All Users를 선택하여 전체 고객을 모수 집단으로 선정할 수 있으며, Target Users를 선택하여 특정 모수집단을 Segment로 정의할 수 있습니다.

[Distribution]

선정한 모수 집단을 각 대안에 어느 정도 비율로 할당 할것인지 지정할 수 있습니다. 기본 옵션인 evenly distribute로 동일한 비율로 지정하는 것을 권장 드리며, 원하실 경우 Customize 옵션으로 수동 설정이 가능합니다.

(control로 할당되는 고객들은 실험에 참여는 하지만 실제로는 변경된 대안 UI가 노출되지 않는 그룹으로써, 대조군의 역할을 수행합니다.)

[Rollout]

지정하신 모수 집단 전체를 대상으로 실험을 수행하실 수도 있으나 그 중 일부를 대상으로만 진행하는 것도 가능합니다. Rollout 설정을 통해 전체 모수 집단 중 몇 %에 해당하는 고객들을 대상으로 실험을 진행할 것인지 범위를 지정할 수 있습니다.

(Control vs. Rollout: control에 포함된 고객은 실험에 포함되어 향후 결과 분석 시 대조군 역할을 하지만, Rollout에서 제외된 고객은 실험 자체에 포함되지 않으므로 결과 또한 추적되지 않습니다.)

5) 전달 구성

5-1) Flag & Evaluation 정의

Flag는 실험을 식별하는 고유 식별자로써, 실험을 생성하시는 시점에 key 항목으로 기입한 정보를 확인하실 수 있으며, 실험 시작 전까지는 변경이 가능합니다. 이 값은 SDK에서 실험 정보 요청에 사용(e.g.FLAG_KEY) 되므로 개발단에서 미리 정하신 값이 있다면 그 값으로, 없다면 여기에서 정의된 값으로 개발단의 코드 작업이 수행되어야 합니다.

Evaluation Mode는 고객이 어떤 대안에 해당 되는지를 어디에서 계산할 것인지 선택하는 항목입니다. 일반적으로는 Amplitude에 수집된 정보를 실시간으로 확인하여 결정되나, 실시간 검토 방식은 통신 상의 약간의 딜레이(0.1~1초)가 발생하므로, 고객에게 즉각적으로 노출되어야 하는 UI에 대해서는 로컬에서 계산하는 방식을 선택하실 수도 있습니다.

5-2) 배포 환경(Deployment) 선택

지금까지 작성한 실험을 어떤 환경에 배포 할 것인지를 선택합니다. 특정 플랫폼이나 개발환경에만 적용하고자 하실 경우, 해당하는 deployment만 선택하여 배포가 가능합니다.

6) 실험 시작

모든 세팅을 완료했다면, 우측 상단 버튼을 이용하여 각 플랫폼 별로 적용할 수 있는 샘플 코드를 확인할 수 있습니다. 개발 담당자에게 해당 정보를 전달하여 적용을 요청할 수 있습니다.

실험을 고객들에게 배포하기 전, 미리 등록해 둔 테스터만을 대상으로 선행적으로 배포가 가능하며, 예약 실행이나 feature flag만 활성화하고 실험 분석은 수행하지 않는 등 여러 옵션을 정의해 보실 수 있습니다.

모든 사항의 확인이 완료되었다면, 최종적으로 Start Experiment를 클릭하여 실험 시작이 가능합니다. 실험을 종료할 때에는 초기 버전으로 롤백을 할 것인지, 아니면 특정 대안( Variant )으로 적용할 것인지 선정하여 실험을 마칠 수 있습니다.

실험이 진행되는 동안 발생한 실험 참여(Assigentment), 실험 노출(Expouse) 및 목표로 잡은 정보들은 모두 고객별 프로필에 저장되므로 이를 기반으로 심층 분석(Analytics)을 바로 수행해 볼 수 있습니다. 또한, 처음 목표로 잡았던 것 이외에도 각 그룹별로 어떠한 변화가 있었는지 수집된 데이터를 기반으로 분석이 가능합니다.

실험과 분석을 하나의 플랫폼 안에서

실험과 데이터 분석은 이제 더 이상 따로 작업할 필요가 없습니다. 기존 A/B 테스트 도구들이 단순히 실험을 “실행”하는 데 집중했다면, Amplitude Feature Experiment는 실험 설계부터 분석, 최종 반영까지 추가적인 개발단 작업없이 한 번에 처리할 수 있는 실험 플랫폼 체계를 제공합니다.

CUPED, Sequential Testing, Bonferroni 등 실험의 정확도를 높이는 기능이 기본으로 탑재되어 있어, 적은 트래픽으로도 빠르게 유의미한 결론을 얻을 수 있으며, Amplitude Analytics와 완벽히 연결되어 언제든 전환율,리텐션, 코호트 분석 등 심층적인 결과 분석을 바로 이어나갈 수 있습니다.

또한 클라이언트 배포 없이, 서버-사이드 실험 연동을 지원하므로 고객들에게 끊김없는 실험 환경 제공이 가능합니다. 제품의 성과를 빠르게 검증하고, 그 결과를 정확히 해석해 다음 의사결정으로 이어가고 싶다면, Amplitude Feature Experiment는 더없이 강력한 선택이 될 것입니다.

Feature Experiment 활용에 도움이 필요하나요?

팀 맥소노미 Amplitude 도입문의 바로가기