《데이터 분석가의 숫자유감》 5화 실험을 통한 의사 결정 : 실험의, 실험에 의한, 실험을 위한

많은 기업에서는 ‘실험’을 통해 ‘데이터’를 수집하고 ‘의사결정’을 한다. 시간이 갈수록 세상은 빠르게 변하고, 서비스도 이에 맞춰 빠르게 변하며, 불확실성은 커져만 간다. 대부분의 변화는 기존에 없었던 것이기에, ‘기존의 기 록’인 데이터를 사용해서 이런 불확실성을 메우기에는 한계가 있다.

 

오늘날 많은 곳에서는 이럴 때 ‘실험’을 한다. ‘실험’이라고 하면 흔히 하얀 가운을 입고 연구실에서 플라스크와 비커에 화학약품을 넣고 이리저리 살 펴보는 이미지가 떠오르겠지만, 많은 온라인 서비스에서의 실험은 그렇게 특별해 보이지 않는다. 버튼의 모양을 바꾸거나, 사용자의 UX를 변경하는 정도고, 실험 중 가장 대표적인 ‘A/B 테스트’는 이미 많은 사람들에게 익숙하다. 많은 경우 사람들은 본인이 현재 실험 상태에 있는지 알지 못한다.

 

이런 실험은 왜 할까? ‘기존에 없었던 기록’을 얻기 위해서다. 갑자기 새로운 것을 적용했을 때 사용자의 변화를 기존 데이터로는 알 수 없다. 하지만 가능하다면 새로운 상황에 사용 가능한 데이터를 확보해서 불확실성을 줄이고 싶다. 이런 마음으로 사람들은 실험을 하고, 점점 더 다양한 분야에, 더 적극적으로 실험을 적용하고 싶어 한다.

 

하지만 실험이 과연 이 모든 것을 해결해줄 수 있을까? 일부 데이터 및 실험 신봉자는 그럴 것이라고 믿지만, 모든 결정에 실험을 적용한다는 것은 사실상 불가능하고, ‘과유불급’이라는 옛말처럼 실험에 너무 많이 의존하다 보면 오히려 실험이 악영향을 끼치는 경우도 발생한다.

 

실험이 악영향을 끼치는 가장 이해하기 쉬운 경우는 실험 결과가 제대로 나오지 않은 것이다. 결과가 제대로 나오지 않았는데 이를 그대로 실제 의사 결정에 사용하면 잘못된 결정을 내리게 된다. 이런 경우는 의외로 많이 발생한다. 현실을 그대로 실험화하는 오늘날의 A/B 테스트 계열의 실험은 더욱 그렇다. 실험할 때는 실험 대상 외의 모든 변수를 일정하게 유지해야 그에 대한 효과를 파악할 수 있다. 물론 현실에서 다른 변수들을 통제할 수 없는 이상, 변수가 일정하다는 것은 불가능에 가깝다.

 

A/B 테스트의 경우, 임의로 나눈 두 집단의 값도 완전히 동일하지는 않겠 지만, 보통 ‘통계적 유의성’을 미리 파악하여 유의하다고 판단되는 선에서 실험을 진행해야 한다. 하지만 이외에 다른 변화가 일어날 가능성이 있다면(서비스 기능 추가, 프로모션 등) 실험 기간을 새로 고려하거나 실험 자체를 다시 고민해보는 것이 낫다. 실험 중 의도치 못한 변화가 생긴 경우라면, 해당 변화의 특성을 파악하고, 이에 따라 실험을 빠르게 중단하거나 재설계하는 등의 조치를 취할 수 있다.

 

서비스 규모가 늘어나고, 실험 의존도가 커지면서 여러 실험이 동시에 이 루어지는 경우도 발생한다. 실험이 겹치는 경우에는 발생할 수 있는 부작용을 미리 고려해야 한다. 요즘에는 이런 상황을 고려한 다양한 기술적 대안들도 나오고 있고, 시간이나 상황을 고려하여 데이터를 처리할 수도 있지만, 실험 간에 상관관계가 발생한다든가 하는 예상치 못한 상황도 발생할 수 있다. 실험을 매우 세밀하게 설계해서 이런 부분을 예상해서 처리하면 좋겠지만, 여러 실험을 집행하는 경우 실험 설계를 꼼꼼하게 하는 경우는 많지 않다. 이 경우 같이 발생하는 모든 실험에 해가 될 수 있고, 실험결과의 신뢰도는 낮아진다.

 

실험은 이후 데이터 분석에도 영향을 미친다. 실험 대상이 된 데이터는 다른 데이터와 마찬가지로 고객의 사용 내역이 기록된 데이터지만, 실험 내용이 섞여 있어 이를 그대로 사용할 수 없다. 최소한 데이터를 사용하는 사람이 해당 데이터가 기록된 시기에 실험이 이루어졌다는 것을 인지하고 있어야 한다. 실험 이후 실험 기간의 데이터를 그대로 사용한 데이터 분석 결과는 다소 신뢰도가 낮아질 수밖에 없다. ‘세상에 공짜 점심은 없다’라는 말처럼, 실험 역시 매우 유용한 수단이지만 사실은 이후에 사용할 데이터의 가치를 미리 끌어다 쓰는 것이다. 실험이 쉽고 도움이 된다고 마구잡이로 갖다쓰는 것은, 후에 그만큼 혹은 더 큰 비용을 지불하게 된다. 이왕 비용을 지불할 것이라면, 최대한 도움이 될 수 있도록 실험을 설계해야 한다. 당연히 기민하게 접근하되, 명확한 목표를 세우고, 어떤 부분에 실험을 적용할지 충분히 고민을 하자.

 

예전에는 테스트를 통해 미래의 결과를 조금이나마 훔쳐볼 수 있다는 것 은 그저 꿈 같은 일이었다. 하지만 이제는 기술의 발전과 서비스 성격의 변 화로 이런 것이 가능해졌다. 실험은 이런 꿈이 구현된 대표적 형태로 ‘바로 사용 가능한, 기존에 없었던 기록’을 얻기에 가장 쉽고 빠른 수단이다. 하지만 이 역시도 만능은 아니고, 잘못 사용하면 오염된 데이터만 남고 서비스에는 도움이 되지 않을 수 있다. 고객의 행동 데이터는 소중하고, 그런 데이터를 잘못된 실험으로 낭비하지 않아야 할 것이다.