실험가의 태도

안녕하세요!

오늘은 확률에 대한 이야기를 해보려고 합니다 :)

확률은 정말 흥미로운 개념입니다. 확률은 이 세상을 지배하는 가장 강력한 force 중 하나인데, 여전히 수수께끼로 가득하지요.

1800년대에, 찰스 샌더스 퍼스(Charles Sanders Peirce)라는, 잘 알려지지 않은 철학자이자 수학자가 있었습니다.

이 분이 얼마나 대단한 분이냐면, 철학자 칼 포퍼(한 때 디어의 필독도서였던 ‘삶은 문제해결의 연속이다’의 저자)는 이 분에 대해서 “역대 최고의 철학자 중 한 사람”이라고 했습니다.

그리고 대학자 버트런드 러셀은 퍼스에 대해 “지금까지 가장 위대한 미국의 사상가”라고 했습니다.

아무튼 이토록 대단한 분이 긴 세월을 살아본 후 결국 ‘이 세상에서 가장 중요한 것은 보험이다’라고 표현했다고 합니다. 이 보험업의 기저에는 위험과 확률이라는 개념이 깔려 있는데, 잠시 후 설명드리겠습니다. 결국 퍼스는 인간이 확률의 지배를 벗어날 수 없다는 것을 깨닫고 그것을 우리가 배워야 할 가장 중요한 지식 중 하나로 뽑은 게 아닌가 싶습니다.

인간은 확률의 지배를 받는 미약한 존재입니다.

실패 확률이 90%인 사건에서 우리가 성공 사례가 될 확률은 10%입니다.

이런 인간이 거꾸로 확률을 지배할 수 있는 방법이 있습니다.

그것은 바로 반복 실행입니다. 반복 실행을 통해 표본의 개수를 충분히 늘리면 패턴이 생기고, 그 패턴은 어떤 분포의 형태를 띠므로 예측이 가능해집니다.

개별 사건에 대한 예측은 여전히 불가능하지만, 분포의 형태는 예측이 가능합니다. 이 개념을 이용해서 위험을 통제하는 것이 보험의 핵심이고요.

즉 동전을 던지면서 이번에 앞면이 나올지, 뒷면이 나올지는 예측이 불가능하지만, 이 행위를 1만 번 했을 때 앞면이 나오는 횟수의 범위와 뒷면이 나오는 횟수의 범위를 예측하고, 혹시나 그 예측이 틀릴 확률까지도 알 수 있다는 것이지요.

확률을 지배하기 위한 쉬운 방법은 여러 표본을 모으는 것입니다.

보험사의 입장에서는, 여러 고객에게 동일한 보험 상품을 팔면 한 번에 분포가 생깁니다. 카지노도 마찬가지입니다. 하룻밤에 1천 명의 고객을 상대하면 매일 분포가 생깁니다. 수백 개의 종목을 담고 있는 Quant Fund도 마찬가지이고, 신용대출을 해주는 은행도 마찬가지입니다.

반면 한 명의 인간이나, 스타트업의 입장에서는 어떨까요? 우리는 백 개의 인생을 동시에 살아갈 수 없고, 스타트업도 백 가지 사업을 동시에 진행할 수 없습니다.

이 경우에는 빠른 반복이 핵심입니다. 1주일에 두 개의 실험을 1년 간 하면 100회의 실험을 마칠 수 있습니다.

각 실험이 실패 확률 90%인 사건이라고 한다면, 1년 간 100개의 실험을 반복했을 때 단 한 번도 성공하지 못할 확률은 0.9¹⁰⁰ ~= 0.003%입니다.

마찬가지 원리로, 반복 실행의 횟수를 무한한 숫자로 늘리면, 즉 우리가 속한 판을 Infinite game으로 만들면 단 한 번도 성공하지 못할 확률은 0%에 수렴하게 됩니다.

그런데 이런 반복 실행이 쉬운 건 아닙니다.

매 실행마다 비용이 따르기 때문입니다. 실험 비용이 0원이라면 무한히 실험할 수 있겠지만, 실험 비용이 10,000원이라면 100번의 시도에 드는 비용이 100만 원이 됩니다.

따라서 반복 실행을 잘 하기 위해서는 (1) 치밀한 계산, (2) 끈기, (3) 학습이 필요합니다.

치밀한 계산

한 판에 얼마를 쓸지에 대한 고려가 필요합니다. 가령 우리가 가진 자원을 몰빵하면 Infinite game을 할 수 있는 가능성이 정확히 0%입니다. 그렇다고 자원을 하나도 쓰지 않으면 돌아오는 게 없겠죠.

이것, 즉 보유 자원 중 얼마나 배분하여 각 판에 베팅하는 것이 최적일지 고민한 사람이 그 유명한 John L. Kelly이고, 그가 만든 bet sizing 최적화 공식이 바로 Kelly Criterion입니다. (Fortune’s Formula라는 책에 자세히 나옵니다)

Kelly Criterion은 각 판에 우리가 가진 자원의 몇 %를 배분해야 게임을 무한히 할 수 있는지에 대한 공식입니다.

디어에 대입해보자면, 액션을 최대한 가역적으로 만들고, 작은 단위로 분절해서 실행하면 위험을 최소화하면서도 learning을 빠르게 얻을 수 있다고 볼 수 있습니다. 1억 원 짜리 실험을 하고 싶다면 먼저 100만 원으로 그 효과를 미리 점쳐봐야 한다는 것이죠.

복잡계인 비즈니스 세계에서 켈리 공식대로 의사결정하는 것은 불가능한 일이지만, 실험을 반복하고 100개의 가설 중 99개를 기각해야 하는 디어에서 실험을 대하는 태도로서 충분히 좋은 mental model입니다.

끈기

끈기는 꾸준함, 장기적인 시각 등을 갖춘 사람이 보이는 특징입니다.

운동이든, 학업이든, 출퇴근이든, 어떤 건강한 습관이든 꾸준~하게 하는 사람이 제일 무섭죠. 작은 습관에도 복리의 마법이 있는 것 같습니다.

어떤 실험이 실패한다고 해서 슬퍼하거나 패배감을 가질 필요는 없습니다.

유한한 지식과 경험을 갖고 새로운 것을 시도했을 때 성공 가능성이 극히 낮은 것은 자연스러운 일입니다.

지도 없이 한 번도 가보지 않은 길을 가면서 길을 잃지 않을 거라고 생각하는 것이 오히려 틀린 생각이겠지요.

제프 베조스, 에디슨 같은 사람들도 작은 실패를 빠르게 반복하는 과정을 사랑했습니다. (링크)

학습

끈기가 중요하긴 하지만, 학습이 없는 끈기는 독입니다.

아인슈타인은 같은 일을 반복하면서 다른 결과를 기대하는 것은 미친 생각이라고 했습니다.

학습을 통해 실패 확률을 90%에서 80%로 내리면 100번 반복했을 때 단 한 번도 성공하지 못할 확률을 0.8¹⁰⁰ ~= 0.00000002%(from 0.003%)로 낮출 수 있습니다.

이것은 어떤 반복 실험이 성공하기까지 필요한 실패 횟수를 1/100, 1/1000로 낮출 수 있다는 얘기이고 이것은 속도를 의미합니다.

위의 자질들 중 ‘정성껏, 신중하게 계획하기’가 없다는 것에 주의할 필요가 있습니다.

글을 맺으면서 오늘 오전 회의에서 저희 co-founder인 명균이가 해준 이야기(+약간의 인터넷 검색)를 공유합니다!

얼마 전 제가 본 Y Combinator의 Sam Altman 인터뷰 영상(링크)에서도 일맥상통하는 이야기가 나옵니다. 그는 연간 수천 개의 스타트업을 지켜보는데, 그 과정에서 성공하는 스타트업들이 가진 공통적인 자질들이 보인다고 했습니다. 그 자질은 바로 ‘속도’였습니다.

Product를 만든다는 것을 집 짓기에 비유해볼까요? 이 집이 사람들에게 사랑받을 확률이 얼마나 될까요? 정답은 ‘모른다’입니다.

위의 자질들에 비추어볼 때, 이런 상황에서 취해야 하는 행동은 자원의 투입량을 줄이는 것입니다. 아무도 대문을 열어볼 생각을 하지 않을 가능성이 높을 때는 인테리어를 하지 않는 게 현명한 행동이라는 것지요.

똑똑한 팀은 집중해야 하는 것에 집중하는 팀인 것 같습니다. 유저들이 클릭했을 때 ‘앗, 준비중이에요’라는 모달이 뜨는 것을 걱정하기 전에, 그 걱정을 현실로 만들기 위해(즉 유저들이 누르는 버튼이 되기 위해) 무엇을 해야 하는지를 고민하는 게 똑똑한 것 같습니다.

처음 디어를 시작할 때 이런 얘기를 했던 기억이 납니다.

“욕 먹을 정도가 되면 절반은 성공한 것이다. 아무도 안 쓰는 서비스는 욕도 안 먹는다.”

오늘은 디어 내부 노션에 반말로 적은 글을 블로그 말투로 옮겨적은 거라 조금 건조하고 딱딱하게 느껴질 수 있을 것 같아요 :)