[앗티끌05] 스타트업과 과학의 연관성? IT업계에서의 가설과 실험법을 알아보자

아티클 원문: https://yozm.wishket.com/magazine/detail/2071/

스타트업을 위한 '실험'과 '가설' 개념 설명 | 요즘IT

연구실 3곳을 거치며 이공계에 몸을 담궜던 나는 IT 업계로 전향을 했음에도 불구하고, 여전히 가설이 어떻고 실험을 한다는 둥의 표현을 사용 중이다.

과학자와 PM으로써의 가설, 실험의 정의는 어떻게 다를까?

PM으로써 가설과 실험과정에서 중요한 점은 무엇일까.

---

들어가며

Q. 다음의 설명은 어느 산업군에서 수행하는 과정일까?

 

가설 설정 -> 실험 설계 -> 실험 -> 데이터 분석

 

 

바로 IT스타트업이다. 과학자들이 하는 일이기도 하지만 스타트업에서도 가설, 실험, 테스트 등의 용어는 정말 빈번하게 쓰이고 있다.

이렇게 널리 쓰이게 된 이유는 린스타트업(Lean Startup) 방법론이 끼친 영향이 크기 때문이라고 한다.

린 스타트업 방법론은 과학적 방법론에 강하게 뿌리를 두고 있으며, 실험을 하는 것이 그 핵심 활동이다.
- 책 "Runnung Lean" 中

 

그런데 막상 스타트업에서 말하는 실험과 가설이 뭐냐고 물으면 개념을 정의하기 어려워하는 협업 종사자들이 꽤 많다고 한다.

 

실험에 대한 오해들

1. 실험은 비용이 적게 드는 것이 아니다
  : 특히 개발을 해야 한다면 개발자의 인건비, 시간, 코드 유지보수 등의 리소스가 크다 

2. 실험은 가볍게 하는 것이 아니다
  : 빠른 실험을 위해 계획이 필요 없다는 건 무책임한 아이디어 던지기일 뿐이다. 빠른 실험이 잘못된 것이 아니다. "빠르다 ≠ 가볍다"라는 의미이다.

  : 실험은 대상, 실험 방법, 성공 지표 등 제대로 된 설계가 필요하다. 실험을 한다면서 지표를 추적하지 않는 경우도 있다. 이럴 거면 실험이라고 부르지 말자

  : 실험 후 후속 조치가 필요하다. 하나의 실험이 끝나면(주로 기능 업데이트 배포가 끝나면) 다음 액션아이템으로 넘어가는 것이 아닌, 실험을 리뷰하고 새롭게 알게 된 것이 무엇인지 정리해야 조직에서 얻는 결과가 생기기 마련이다.

3. 무작정 많이 실험하는 게 중요한 게 아니다

  : 빠르게 많은 실험을 하는 건 중요하다. 그만큼 유저와 서비스를 위한 더 많은 정보를 얻기 때문이다. 하지만 quantity보다 quality가 훨씬 중요하다. 실험 개수가 아닌, 실험할 가치가 있는 가설을 설정해야 한다.

  

 

실험이란 무엇인가?

과학적 실험과 스타트업의 실험의 정의는 동일하다.

실험(實驗, experiment)은 가설이나 이론이 실제로 들어맞는지를 확인하기 위해 다양한 조건 아래에서 여러 가지 측정을 실시하는 일이다. 지식을 얻기 위한 방법의 하나이다. 
위키백과

지식을 얻기 위한 방법이므로, 실험을 했는데 알아낸 것이 없다면 가설이나 실험 설계가 제대로 되었는지 점검이 필요하다.

(하지만 실험하고 알아낸 것이 없는 경우는 이공계에 더 많은듯하다..)

<실험의 요소들>

1. 실험 이전에는 가설 설정 단계가 있어야 한다.

2. 실험 조건은 다양할 수 있다.

3. 측정을 해야 실험이다. 정량적 데이터가 베스트이지만 정성적 피드백 수집도 좋은 측정이다.

4. 실험의 목적은 우리가 모르는 것을 알아내기 위함이므로 실험 설계가 필요하다.(가벼운 실험이란 없다)

 

 

스타트업에서 실험의 예시

1. 온보딩 A/B 테스트 -> 가입률 측정

2. 가격 A/B 테스트 -> 구매 전환율 변화 측정

3. 개발 전, 제품의 수요 파악을 위해 랜딩페이지를 만드는 smoke test -> 얼마나 많은 사람이 관심을 보이는지 파악(ex. 제품이 나오면 알림을 받을 사람은 이메일 주소를 입력해 주세요)

 

 

가설이란?

사업 초기엔 타깃, problem, 우리가 생각하는 solution(=제품) 등 모든 것이 각자의 경험에 기반한 추측일 뿐이다.

사업을 하면서 가설이 사실인지 여부를 확인해나가야 한다.

그런데 IT업계에선 이러한 추측도 가설이라고 표현하는 경우가 많은 것 같다. 

 

사람들은 보통 가정(assumption)과 가설(hypothesis)을 통틀어 가설이라고 부른다고 한다.

내가 느꼈던 science와 IT업계의 용어 차이도 "가설"에서 조금 다르다고 느껴만 왔는데 별 생각이 없었기에.... 오늘에서야 깊이 생각을 해보게 됐다.

아티클 본문에서도 assumption과 hypothesis를 구분해야 하며, hypothesis화 하여 실험으로 검증해야 한다고 말하고 있다.

가설 : 현실적 조건에서는 증명하거나 검증하기 어려운 사물, 현상의 원인 또는 합법칙성에 관하여 예측하는 이론이다.
과학적 자료들에 근거하여 논리적으로 유추하여 설정한 것이므로 개연성을 떠나 아무런 과학적 근거도 없이 자의적으로 꾸며내는 억측과는 구별된다.
위키백과

 

<예시>

assumption: 공급자들은 우리가 제공하고자 하는 정보를 필요로 할 것이다.

hypothesis: 공급자를 20명 만나서 인터뷰를 했을 때, 10명 이상은 정보 부족에서 문제를 느낀다고 답변할 것이다.

experiment: 서비스를 이용 중인 공급자 20명을 무작위 선정하여 1:1 인터뷰를 한다. 유도질문이 아닌, 공급을 하며 느끼는 문제를 stack rank하는 식으로 인터뷰를 진행하고 정보 부족이 3위 안에 드는 경우 문제를 느끼고 있는 것으로 간주한다.

 

 

스타트업에서도 실험군과 대조군이 필요할까?

A/B 테스트처럼 실험 조건을 제외하고 통제되는 실험도 있지만,

수요 파악을 위한 smoke test, 오즈의 마법사 같은 실험은 인과관계를 파악할 수 없다.

 

하지만 스타트업에서는 "완벽한 실험"이 목적이 아니라, "의사결정을 위한 정보를 얻는 것"이 목적이다. 과학자들처럼 통계적 유의미성이나 100% 확실한 정보가 필요한 것이 아니다. 

 

마무리하며

스타트업에서 가설의 정의가 본래의 정의와는 다르게 사용된다고 생각해 왔는데 변화가 필요한 점이라는 오늘의 아티클을 읽으니 더욱 과학과 IT업계에서의 실험이 비슷하다고 여겨진다.

대신 스타트업에서는 완벽한 실험 그 자체보다는 의사결정을 위한 실험이 목적임을 잊지 말며, 그렇다고 빠른 의사결정만을 위해 성공지표 측정이나 회고 없이 다음 스프린트로 계속 넘어가기만 하는 불상사도 방지해야 함을 기억하자😵‍💫