공개강연: 삶과 업무를 개선하는 데이터 과학 이야기

7시 5분이 됐으니까 시작을 하겠습니다. 우선은 연말에 수많은 막년회를 제끼고 여기에 참석해주신 여러분들께 감사드리고요. 자리 마련해 주신 스타트업 얼라이언스 관계자분들께 너무 감사드리고 제가 사실은 지금은 휴가 중입니다 공식적으로는 그래서 사실은 저도 딱딱하게 그런 얘기 별로 하고 싶지 않고 사실은 제가 좀 이따 말씀드리겠지만 제가 하고 싶은 일을 하겠다는 어떤 마음에서 시작한 일이 여기까지 온 것 같고요 그래서 조금 오늘 좀 가볍게 즐겁게 말씀 나누다 갔으면 좋겠습니다. 그래서 사실 저도 여러분께 굉장히 배울 게 많다고 생각을 해요. 그래서 이제 중간중간 계속 질문을 주시고요. 그리고 끝난 다음에도 더 궁금하신 거 있으시면 저는 조금 더 여기 있을 생각이니까 제가 답변 드리도록 하겠습니다. 우선은 간단히 여러분들 어떤 분들이 오셨는지 제가 좀 궁금해서 몇 가지 질문 드릴게요. 지금 업무에 데이터를 활용하고 계신 분 손 한번 들어보시겠어요? 지금 한 절반 정도 손을 들어주셨고요. 그러면은 삶의 데이터를 활용하고 계신 분 손 한번 드려보시겠어요? 자신의 생활에. 어떤 거 활용하고 계세요? 페이스북에 보는 거 있죠. 얼마나 벌었는지 제가 활용하고 있습니다. 훌륭하십니다. 어쨌든 저는 사실은 지금 업무에 활용하고 계신 분들이 절반 정도 되고요. 그리고 삶에 활용하고 계신 분들이 한 분 나왔습니다. 사실은 저는 데이터를 삶과 업무에 다 활용할 수 있다. 그런 생각이 있었어요. 그리고 실제로 저는 간단히 소개 드릴게요. 저는 우선은 지금 미국에서 데이터 과학자로 일한지 3년 반 정도 됐고요. 저는 검색 쪽으로 대학원을 마치고 지금 하는 일은 검색 엔진의 품질을 측정하는 일입니다. 검색 엔진이라는 게 사실은 품질을 검색 결과가 좋은지 알기가 쉽지가 않아요. 예를 들어서 검색 결과라는 게 사용자마다 다르고요. 위치마다 다르고 정말 5만가지에 따라서 결정이 되는 겁니다. 그래서 사실 굉장히 어려운 일인데, 예를 들어 저희가 하는 일은 이런식으로 여기 보시면 빈과 구글의 검색 결과를 비교해서 사용자한테 물어보는 거예요. 왼쪽에 보시면 잘 모르시겠죠? 이게 둘 다 섞여 있는데 왼쪽, 오른쪽과 지금 시애틀 투어리즘이라는 지리어에 대해서 왼쪽과 오른쪽을 비교하는 겁니다. 그래서 이제 그런 결과를 모아서 이제 저희가 평가를 하는 기법도 있고요. 이거는 이제 실제 사용자의 판단을 얻는 거죠. 다른 거는 이제 A, B 테스팅이라고 해서 사용자의 어떤 그 Behavior를 가지고 저희가 결과를 수집을 해서 이제 하는 방법이 있고요. 어쨌든 굉장히 주관적인 그런 어떤 사용자의 만족도를 수치로 만들어내는 그런 일을 하고 있습니다. 그리고 제가 최근에 관련 학회에서 검색평가에 대한 튜토리얼을 진행을 했어요. 만약에 관심 있는 분은, 시가리얼이라는 학회인데 여기서 발표된 자료를 제가 보내드릴게요. 검색평가 혹은 온라인 서비스 평가가 어떻게 이루어지는지에 대해서 관심 있으신 분은 자료를 참고하시면 좋을 것 같습니다. 오늘 제가 말씀드린 내용은 검색과 관련된 내용은 아니고요. 취미생활로 하던 개인 데이터 수집 이런 거랑 더 관련이 깊습니다. 전 사실 검색엔진 관련된 공부를 하고 일을 하기 전에 제가 스스로 개인 데이터를 모아서 분석하는 일로 데이터에 관한 관심이 시작됐어요. 이게 어떤 거냐면 여기 보시면 제가 행복을 측정하는 방법에 대해서 발표를 하고 있는데 행복 측정이라는 게 어떤 거냐면 사실은 별게 아니고요. 저한테 계속 질문을 하는 거예요. 예를 들어서 이제 얼마나 행복하니? 근데 이제 사실은 그 질문을 하면 그 답변이 계속 바뀔 거 아닙니까? 제대로 안 하면. 그래서 저는 여기 이렇게 두 가지 기준이 있어요. 지금 당장 행복한 느낌 그리고 이것만 생각하면 사실은 제가 마약을 하거나 그러면 굉장히 행복한데 좋은 일은 아니죠, 장기적으로. 그렇죠? 두 가지 기준을 가지고 장기적인 행복, 단계적인 행복. 두 가지가 높으면 행복하다. 이런 식으로 제가 기준을 만들어서 측정을 했습니다. 이걸 한 10년 정도 했는데 물론 방법은 계속 바뀌었고요. 이걸 하다 보니까 데이터가 나름 가치가 있더라. 이 얘기는 이따 자세히 드릴 텐데 그래서 이제 공부를 시작한 게 검색엔진에서 일을 하게 된 그런 스토리입니다. 취미가 먼저 시작되고 그 다음에 일이 됐다. 어찌 보면 감사한 경우죠. 그리고 이렇게 저는 사실은 그리고 다른건 이제 빅데이터 말씀 많이 하신 전 검색엔진 빅데이터를 많이 다뤄봤고 이제 제가 취미로 하는 일은 다 스몰 데이터에요. 그래서 제가 스몰 데이터 빅데이터를 둘 다 좀 다뤄볼 수 있는 기회를 얻었는데 그 최근에 이제 빅데이터 데이터 하면 빅데이터 그렇게 말씀을 많이 하시는데 저는 사실은 이제 제가 스몰 데이터를 많이 다루다 보니까 빅데이터와 함께 그래서 이제 데이터에 대한 약간 올바른 생각을 좀 여러분과 나누고 싶은 생각을 많이 했어요. 그래서 이제 글을 쓰기 시작했고요. 여기 보시면 이제 식당 사장님이 데이터를 어떻게 쓰는지 데이터가 이제 기술이 아니라 마인드다, 습관이다 이제 이런 말씀도 많이 드려왔고요. 그래서 이제 그 결과 제가 아직 시장에 나오진 않았는데 지금 책 표지도 아직 안 정했어요. 왼쪽 오른쪽 두 가지가 있습니다. 근데 이제 헬로 데이터 왁이라는 책을 지금 준비하고 있고요. 일단 이 얘기는 또 자세히 드릴게요. 저는 이제 이 책을 만드는 과정 역시 데이터를 사용했습니다. 데이터를 사용해서 준비하는 것부터 GPL 그리고 마케팅까지 그 과정을 일단 말씀드릴 거고 이렇게 간단히 제가 소개를 드리고요. 다음 오늘 말씀드릴 것은 시간이 언제까지 될지 모르겠지만 데이터에 대한 오해와 진실 굉장히 지금 관심이 많으신데 그만큼 오해도 많은 것 같습니다. 그리고 이제 절차 유의사항, 어떻게 하시는지 제가 다는 못 말씀드려도 몇 가지 핵심만 말씀드리고 그리고 이제 저에게 스타트업 얼라이언스지 않습니까? 그래서 스타트업, 비즈니스 성장에 대한 데이터 과학을 이제 이것도 제가 관련된 스타트업이 많더라고요. 비즈니스 성장을 도와주는 스타트업이. 그래서 이제 그런 거 위주로 조금 정리해봤고요. 마지막에 말씀드린 그 책쓰기. 책쓰기도 사실은 컨텐츠 비즈니스입니다. 그래서 제가 컨텐츠 비즈니스라는 제 낯선 분야에 임무를 하는 과정을 어떻게 제가 데이터 사용을 풀어나갔는지 그거에서 마무리를 짓겠습니다. 지금까지 질문 있으신 분 있으신가요? 질문은 언제나 편하게 말씀해 주시고 우선은 데이터 말씀을 드릴 그러니까 제가 데이터를 뭐라고 생각하는지 그것부터 시작할게요. 우선 이거는 잘 아실 텐데 플라톤의 동굴의 뷰라는 그런 데서 나온 그림인데 실제 현실이 있고요. 현실을 반영한 그림자. 두 가지 보통 얘기를 하죠. 그런데 사실은 데이터도 이처럼 현실을 반영하는 건데 불완전한 반영이에요. 마치 그림자처럼. 다 데이터로 캡쳐할 수는 없어요. 잃어버리는 게 있습니다. 그렇지만 그럼에도 불구하고 데이터를 잘 모으면 그걸로 현실을 이해하고 변화시킬 수 있다. 그런 게 저는 데이터의 본질이라고 생각을 하고요. 이게 마치 길이 보이지 않는 데서 탐험을 한 사람들을 인도하는 지도와 같은 역할을 하는 거죠. 지도도 마찬가지로 지형을 다, 세상을 다 담을 수는 없죠. 그렇지만 길을 찾는 데 필요한 전부는 다 담고 있습니다. 그게 데이터라고 저는 생각을 합니다. 그리고 이제 데이터 과학, 데이터 과학이라는 게 상당히 또 어려운, 어렵게 들리는 말인데요. 그리고 뭐 여기 보시는 것처럼 통계도 알아야 될 것 같고 시각화도 알아야 될 것 같고 별걸 다 알아야 될 것 같은 그런 느낌이 듭니다. 근데 이제 데이터 과학이 뭐냐. 저는 이제 대학원을 다녔기 때문에 어찌보면 이제 과학, 과학을 공부했다 이렇게 말씀드릴 수 있는데요. 이건 그냥 이제 결국에는 과학은 데이터를 통한 문제 해결이에요. 뭔가 유용한 일을 해보자는 거죠. 그런데 이제 과학이라는 게 사실은 그 자체가 문제 해결입니다. 그래서 데이터 과학 하면 어찌 보면 그냥 과학이라고만 해도 돼요. 과학이 어차피 데이터가 들어가니까. 그런데 이제 데이터 과학이라고 하는 이유는 데이터가 그만큼 과학의 활용 범위를 넓혔다. 예전에 없던 데이터가 많이 생겼고 빅데이터 그리고 스몰 데이터 여러 가지 데이터가 생기면서 데이터가 강조된 거죠. 그냥 과학이라고 보셔도 되고요. 데이터를 갖고 뭔가 유용한 일을 해보자. 이게 데이터 과학이라고 저는 생각을 합니다. 오해와 진실. 오해가 많습니다. 이 부분은 사실 여러분께서 어떻게 생각하시는지 모르겠어요. 사실 빅데이터 관련 일을 하시는 분들이 있으실 것 같고 그런 분들은 번쩍 손을 들고 반론을 제기해 주시면 제가 최선을 다해 상대해 드리겠습니다. 우선은 데이터 활용이 사실은 저는 오해가 문제가 된다고 생각하는 게 특히 빅데이터 한 말이 그런데 뭐든지 빅데이터라고 생각을 하면 빅데이터가 남의 얘기 같아요. 그런데 이게 사실은 남의 얘기가 아니거든요. 우선은 빅데이터는 저는 못하는데요. 이런 오해가 있고 그리고 숫자 약해서 그리고 이제 컴맹이라서 이제 요런 세가지 오해가 저는 일단 있다고 생각을 합니다. 그래서 우선 첫번째부터 시작을 해 볼게요. 우선 빅데이터 이제 말씀을 많이 하시죠. 그런데 사실 제가 데이터가 현상의 반영이다 이렇게 말씀드렸는데 데이터는 이제 그리고 데이터 과학이 데이터로 뭔가 해보자, 문제 해결을 하자 이제 이런 거라고 말씀드렸죠. 거기서 데이터는 아시겠지만 이제 수단이에요 수단. 데이터가 목적이 아닙니다. 근데 이제 빅데이터를 강조하는 거는 일단 수단부터 뭔가 대단한 걸 써야 될 것 같고 이제 그런 느낌을 주죠. 이건 마치 집을 짓는 게 목적이잖아요. 집을 짓는 게 목적인데 거기에 이제 가능하면 단순한 수단을 쓰는 게 좋겠죠. 근데 이제 빅데이터는 오두막을 짓는데 크레인을 쓰자고 무조건 크레인을 쓰자고 하는 격이에요. 근데 오두막을 지으려면 그냥 손으로 뚝딱뚝딱 짓는 게 빠르죠. 크레인 괜히 갖다 놨다가 오두막을 짓는데 별로 도움이 안 되겠죠. 돈만 많이 들고. 그래서 이제 최대한 스몰 데이터. 스몰 데이터가 필요 이상의 스몰 데이터가 필요 없으면 자신의 목적에 맞는 그런 양과 복잡도를 가진 솔루션을 쓰자 이겁니다. 우선은 데이터가 클수록 좋다 이렇게 믿으시죠. 데이터가 클수록 좋습니다. 실제로. 여기 보시면은 통계적 추론에서 가장 널리 사용되는 추정기법이 신뢰구간. 신뢰구간이라는 것은 얼마나 추정치가 정확한지를 나타내는 방법인데요. 여기 보시면은 실내 구간이 사실은 표본 데이터의 제곱에 반비를 합니다. 그래서 보시면은 표본 데이터가 늘어날수록 실내 구간이 줄어요. 말하자면 측정의 오차가 줄어드는 거죠. 근데 이제 여기 보시면은 줄어드는 정도가 데이터가 적을 때는 많이 줄어들죠. 근데 데이터가 많아질수록 그 줄어드는 정도가 줄어들어요. 즉 데이터가 많아질수록 데이터가 더 있을 때 노력의 효융이 줄어든다는 거죠. 이런 걸 수학체감이라고도 하죠, 경제학에서는. 그런데 데이터에도 수학체감의 법칙이 적용됩니다. 그래서 문제에서 필요로 하는 정확성이 얼마나 되는지를 따져보지 않고 무조건 천 개, 만 개, 십만 개를 모아야 된다. 이렇게 생각하는 것은 자원 낭비라는 거죠. 그게 데이터의 크기가 그렇게 클 필요가 없는 그런 이유라고 생각하고요. 분석 과정에서 빅데이터의 경우에는 데이터 분석의 사이클이 있습니다. 분석을 계획하고 분석을 실행하고 결과를 확인하는 이런 사이클인데 빅데이터는 이 세 가지를 다 복잡하게 만들어요. 계획하고 구현하는 것도 어려워지고 그다음에 실행한 다음에 결과를 기다려야 돼요. 보통 며칠씩 기다리는 경우도 있습니다. 그리고 검증도 오래 걸려요. 그렇다 보니까 이게 돌고 돌고 돌고 데이터 분석을 하려면 보통 이게 계속 돌아야 되는데 하나하나가 오래 걸리는 거죠. 그러니까 끝나지 않는 겁니다. 하루 이틀에 할 수 있는 게 일주일 한 달이 걸리는 겁니다. 그래서 이제 이런 비용을 굳이 감당해야 되느냐? 그런 질문을 해볼 수가 있는 거죠. 근데 이제 필요한 경우가 있어요. 예를 들어서 이제 검색, 추천 그런 건 사실은 컨텐츠가 경쟁력입니다. 그러니까 데이터가 가능하면 많아야겠죠. 안그러면 이제 분석단이 굉장히 작은 경우 개인 알고리즘 아니면 이제 뭔가 그 주된 데이터의 주된 패턴이 있고 굉장히 이제 보조적인 어떤 작은 흐름이 있는데 작은 패턴인데 작은 걸 찾아야 되는 경우 이상가 아웃라이어 이런 경우에는 빅데이터가 필요하겠습니다. 그렇지만 크게 아는 경우에는 데이터 크기를 줄여라 그런 말씀 드릴게요. 또 한 가지, 수학을 해야 된다. 데이터는 수학, 데이터는 통계. 이렇게 생각을 많이 하시죠. 저도 데이터 공부를 하려고 하는데 어떤 통계책을 읽어야 되나요? 그런 질문을 많이 하시는데요. 우선은 사실은 이건 분석에 따라 다른 문제입니다. 정말 실제로 고급 통계가 필요한 분석이 있어요. 그런데 제가 경험해 본 바로는 그런 것을 처음부터 공부할 필요는 없어요. 그런 것은 하다가 막히면 그때 공부를 하면 됩니다. 처음부터 통계학체를 열 권 읽을 필요는 없다는 거죠. 사례로 살펴보면 지금 인류가 콜레라는 질병을 정복했는데요. 그걸 가능하게 했던 데이터 시각화 사례가 있습니다. 영국의 어떤 의사가 콜라나 발병 데이터를 모아서 시각화한 거예요. 여기 보시면 막대그래프 같은 게 지도에 있고요. 이 막대그래프의 높이가 이 점에서 죽은 환자들의 명수예요. 그런데 보시면 여기에 딱 집중이 돼 있죠. 지도만 그려도 이게 딱 보이는 겁니다. 이걸 가지고 이 의사는 이 지역에 식수원이 오염됐다. 그리고 그 식수원에 사실은 콜레라 환자들의 어떤 시체나 그런 게 근처에 묻혀있었다는 걸 발견했어요. 그래서 이제 문제를 해결한 거죠. 식수원을 정화하니까 콜레라가 없어졌습니다. 이런 종류의 분석 사실은 수학 하나도 필요 없었습니다. 분석은 여러 종류가 있지만 아까 빅데이터 말씀드린 거랑 비슷해요. 복잡한 분석이 무조건 필요 없다는 건 아닙니다. 하지만 처음에 시작하는 데부터 분석을 굉장히 복잡한 통계를 가지고 할 필요는 없다는 거예요. 복잡한 연산이라는 건 어떤 거냐면 데이터의 엑셀이 너무 쉽게 커지면 이름을 붙여서 관리를 하시죠. 테이블리타 이런 식으로. 근데 그게 너무 많아서 머릿속에 기억할 수가 없다. 그때 이제 다른 걸 한번 찾아보시라는 거예요. 요새 이제 제가 알 말씀드렸는데 알이 굉장히 편해져서 정말 엑셀 쓰시는 그런 노력에 조금만 더 하시면 공부하실 수가 있습니다. 그래서 이제 말씀드리고요. 그리고 이제 심지어는 종이랑 펜으로, 종이랑 펜으로 하는 사람도 있어요. 종이랑 펜으로 이분은 15년 동안 당뇨병 환자인데 자신의 인슐린 수치랑 그리고 이제 당뇨병 투약이나 그런 특이한 사항을 기록하셨어요. 이분이 사실은 종이랑 펜으로 했으니까 데이터 과학자가 아니냐 저는 그렇지 않다고 봅니다. 오히려 아래나 하둑 가지고 장난치는 사람보다는 훨씬 데이터를 모아서 분석해서 활용까지 15년 동안 열심히 잘 하신 분입니다. 이제 요약을 하면 데이터는 시작할 땐 적어도 스몰 데이터로 단순한 분석 방법, 그리고 이제 쉬운 도구에서 시작을 하시라는 겁니다. 그러면 이제 여러분도 하실 수 있다는 자신감이 좀 드시나요? 질문 있으신 분? 그러면 이제 오해를 알아봤는데요. 이제 한번 절차를 알아보겠습니다. 사실 데이터 과학 설명하는 방법에 고민을 많이 했는데요. 제가 최근에 생각한 것은 데이터 과학 요리다. 여기 보시면 뭐가 들어가서 뭐가 나오죠. 요리도 뭐가 들어가서 나오는 거거든요. 자세히 살펴보면 재료가 들어가서 어떤 도구로 쿵딱쿵딱해서 결과물이 나옵니다. 재료라는 것은 요리에도 요리 재료가 있고 데이터도 원본 데이터가 있죠. 도구는 다양한 조리도구, 분석도구, 그리고 결과물은 잘 차려진 밥상과 데이터 발표 자료나 시각과 같은 결과물이 있죠. 그런데 이렇게 살펴보면 데이터 과학에서 뭘 주의해야 할지가 상당히 잘 보이더라고요. 첫 번째 단계로는 요리 직접 하시는 분, 몇 분 계시죠? 요새 또 집밥이 열풍이잖아요. 데이터도 요리해보시면 아시겠지만 재료가 중요합니다. 재료가 좋으면 그냥 재료만 잘 먹어도 돼요. 생선을 회로 해서 먹으면 됩니다. 데이터도 마찬가지에요. 데이터는 재료가 좋으면, 조금 있다가 자세히 말씀드리겠지만, 데이터는 아까 현상의 반영이라고 말씀드렸죠. 그러니까 데이터가 나타나고자 하는 현상을 정확하게 반영한 데이터가 있으면 사실 그냥 보기만 해도 인사이트가 그냥 보여요. 그럼 어떤 데이터, 좋은 데이터냐. 그걸 판단하기 위해서는 데이터에도 설명서가 있어요. 요리에 보시면, 재료에 보시면 다 라이벌이 있죠. 유통기한도 있고, 성분 표시도 있고. 데이터도 이제 그런 걸 보셔야 돼요. 그게 이제 메타 데이터라는 건데 좀 이따 설명 드리겠습니다. 우선 좋은 재료라는 게 뭐냐. 근데 사실은 데이터 모으실 때 실수하실 수 있는 부분이 분석에 지금 여기 예를 들어서 직원의 만족도, 직원의 만족도를 한번 설문으로 조사해 보자. 이제 이런 목표가 있다고 생각해 보죠. 그러면 이제 만족도를 여러 가지 측면에서 종합 만족도, 급여 만족도, 복제 만족도 이렇게 조사할 수가 있죠. 근데 사실은 이것만 조사하시면 안 돼요. 왜냐하면 이 분석의 목표와 함께 분석의 관점을 기준으로 제공해주는 다른 정보가 필요하거든요. 그러니까 만족도를 조사하시더라도 내가 그 데이터를 어떤 기준으로 보고 싶은지 예를 들어 부자별로 보고 싶은지 직급 면에서 보고 싶은지 그런 어떤 관련 석성을 같이 수집을 하셔야 됩니다. 그러면 이제 만족도를 부서별로도 볼 수 있고 직급별로도 볼 수 있고 그런 가능성이 생기는 거예요. 그런 면에서 데이터를 수집하실 때 꼭 관심 있는 거 말고 관련된 거, 나중에 분석의 기준이 되는 걸 꼭 같이 수집을 하셔라. 그런 말씀 드리고 싶습니다. 데이터가 수집됐다고 치죠. 근데 이제 같은, 말씀드렸듯이 다 같은 데이터가 아니에요. 좋은 데이터가 있고 나쁜 데이터가 있습니다. 예를 들어 만족도라는 게 사실은 되게 복잡한 개념인데요. 설문으로 만약에 조사를 한다면 우선은 설문에 응답할 직원들을 어떤 모든 전 직원에 대해서 조사하는 방법도 있겠지만 그게 아니면 표본 추출해야 될 텐데요. 그걸 어떻게 하느냐 그게 사실 굉장히 결과를 많이 흔들 수 있습니다. 예를 들어서 점심시간에 회사 구내식당에서 설문 조사를 한다. 점심을 회사에서 먹는 직원들만 포함이 되겠죠. 외근직, 예를 들어 영업하시는 분들은 유락이 될 겁니다. 그럼 이미 데이터가 썩은 거예요. 데이터가 썩어서 그걸 어떻게 하기가 굉장히 어렵습니다. 그런 경우에 보완을 해야겠죠. 그리고 이제 설문, 표본 수칙이 잘 됐다고 해도 설문지의 어떤 답변에 따라서 질문 형식에 따라서 데이터의 품질을 나눌 수가 있어요. 사람이 사실은 굉장히 여러가지 요인이 있거든요. 어떤 답변을 하는 데 있어서 예를 들어 회사에 대해 좋은 얘기를 잔뜩 써놓고 만족도를 물어본다. 그거랑 회사에 대해서 굉장히 반대로 부정적인 걸 써놓고 물어본다. 그런 경우도 당연히 만족도가 다 차이가 나겠죠. 그런 식으로 사실은 설문을 작성하는 데에도 정확한 여러가지 연구가 있어요. 이것도 굉장히 많이 연구되는 그런 분야입니다. 그리고 마지막으로 데이터를 모아서 가공하는 과정에서도 오류나 누락 가능성이 있죠. 그런 것도 사실은 검토를 하셔야 돼요. 이런 여러 가지 품들의 속도가 있는데 그걸 어떻게 보느냐. 사실은 직접 모은 데이터는 본인이 가장 잘 알겠지만 그게 아니면 데이터에 대한 설명서, 즉 메타 데이터를 꼭 받으셔야 됩니다. 그리고 이제 다른 분에게 분석을 맡길 때는 그분한테도 이게 제공을 해야 돼요. 데이터 마이거 테이블 엑셀 파일 달랑 주면은 제대로 된 분석이 안 나옵니다. 중간에 이제 항상 머피의 법칙이 작용해서 오해가 생겨요. 그럼 이제 거기에서 뭔가 일이 틀어집니다. 그래서 이제 항상 품질을 이제 검증할 수 있는 그런 자료를 같이 보셔야 된다는 거. 그리고 이제 데이터가 일단 잘 모였어요. 좋은 재료가 준비된 거죠. 그 다음에 이제 요리를 해야겠죠. 근데 이제 요리의 단계를 보시면 요리는 일단 재료부터 써시죠. 재료를 썰고 이제 뭔가 요리의 편한 형태로 하시고 그 다음에 이제 또 적절한 도구를 사용해서 요리를 하시면 됩니다. 우선은 근데 아까 제가 스몰 데이터 말씀드렸죠. 우선은 필요한 데이터만 남기셔야 돼요. 필요한 데이터. 분석에 필요한 데이터. 예를 들어서 필요한 데이터를 뽑는 방법은 여러 가지가 있는데 데이터가 보통 테이블이거든요. 분석에 필요한 데이터는 테이블 형태인데 테이블에서 적절한 항목, 여기 행만 추출하시는 방법도 있고 속성을 추출하시는 방법도 있고 그리고 항목을 선택하신 방법도 있지만 표본 추출을 하실 수도 있어요. 데이터가 예를 들어서 천만 건이다. 그런데 내가 신뢰 구간을 신뢰성 있게 제가 원하는 정확도로 산출하기에 청권이면 된다. 그러면 청권만 추출하시는 거예요. 무작위로. 그런 다음에 작업을 하시면 굳이 클러스터에 안 가도 메모리에서 작업하실 수가 있어요. 심지어 엑셀에서 하실 수도 있어요. 그런 데이터를 최대한 줄인 다음에 작업을 하시는 것이 우선 퇴근을 제때 하시는 지름길이다. 이렇게 말씀을 드리면 아마 좀 더 공감이 가실 것 같고요. 필요한 데이터를 남긴 다음에 사실은 데이터가 테이블이라고 말씀드렸는데 테이블이 다 같은 테이블이 아니에요. 저희 데이터 분석 쪽에 유명한 분이 헤들리 바이컴이라고 R 커뮤니티에 유명한 분이 계신데 그분이 만든 표준 테이블이라는 개념이 있어요. 표준 테이블이 뭐냐면 제가 데이터가 현상의 반영이라고 말씀드렸죠. 각 열의 단일 속성이 있고 아까 말씀드렸던 직원의 만족도 그리고 직급 이런 식의 단일 속성이 있고 각 행의 단일 항목, 각 직원의 데이터가 있는 경우 그게 표준 테이블입니다. 데이터가 그렇게 안 돼 있는 경우가 많죠. 여러 직원의 데이터가 한 항목에 있거나 그런 경우는 사실 분석을 하시다 보면 그 데이터를 그 데이터를 그대로 두고 분석을 하시려면 굉장히 분석하는 방법이 꼬입니다. 예를 들어 R코드를 쓰시려면 기존에 존재하는 함수가 아니라 새로 함수를 만드셔야 해요. 그런 경우에 굉장히 분석이 골치아파진다. 요리하실 때도 잘하는 사람은 재료부터 잘 자르고 시작을 하죠. 그게 여기도 적용되는 겁니다. 데이터를 항상 표준화 시킨 다음에 시작을 하자. 테이블이 여러 개 있는 경우에는 표준 테이블이 여러 개가 있죠. 그리고 이 두 개를 연결한 속성이 있고. 이런 식으로 표준화된 테이블이 있으면 분석이 굉장히 쉬워진다. 그런 말씀을 드리고요. 마지막으로 여러 가지 동료의 도구가 있죠. 말씀드린 대로 본인의 어떤 목표와 데이터의 특성에 따라서 적절한 도구를 사용하셔야 됩니다. 우선은 최종 사용자용 분석이 있고 개발자용 분석이 있죠. 개발자용 분석이라는 것은 이제 계속 반복돼서 어떤 시스템에 사용돼야 되는 경우 최종 사용자는 그냥 한 번 보고 이제 버릴 그런 분석 데이터가 스몰 데이터, 빅 데이터 이런 경우 여러 가지가 있어요. 근데 데이터는 내가 하나만 가지고 다 해버리겠다. 원사이즈 피치 올이라고 하죠. 그런 접근 방법을 하면 고생을 하세요. 왜냐하면 이게 굉장히 다른 종류의 도구가 여러 종류가 있기 때문에 예를 들어서 최종 사용자용 Small Data다 그러면 Excel을 그냥 쓰시면 되구요. 그리고 이제 Small Data인데 뭔가 좀 더 시스템에 들어가야 되는 어떤 코드를 사용하시면 되죠. 그럼 Python이나 아니면 C 이런 걸 사용하시면 되구요. Big Data는 이제 Big Data용 솔루션이 있구요. 그래서 이제 이런 식으로 이런 여러 가지 기준에 따라서 적절한 도구를 사용하시는 게 데이터 과학 분석에서 굉장히 중요한 일입니다. 분석에 대해서는 이 정도 말씀드리고요. 분석의 자세한 절차에 대해서는 사실은 여기서 다루기 힘들기 때문에 제 글을 참조하시면 아마 될 것 같습니다. 그리고 마지막에 데이터 과학에서 음식은 상차림으로 끝나는 거죠. 잘 분석을 했으면 이제 잘 차려내야 됩니다. 그게 이제 데이터를 담아낸 시각화 그리고 이제 발표를 하는 거죠. 잘 발표를 하는 그런 단계인데요. 우선 시각화 면에서 사실 시각화가 그냥 차트도 있지만 최근에는 굉장히 창의적인 시각화가 많이 나오고 있어요. 여기 보시는 시각화는 미국의 총기 사고로 인한 사망자 수를 시각화한 겁니다. 여기 보시면 2013년에 몇 명이 죽었고, 그리고 이 사람들이 총기사고로 인해 잃어버린 수명, 이 사람들이 살 수 있었는데 중간에 죽었잖아요. 그래서 잃어버린 수명이 얼마인지를 시각화하는 겁니다. 잠깐 보여드리면, 애니메이션인데 제가 몇 개를 캡처했어요. 여기 5명이 있죠. 이 사람들이 살다가 중간에 죽는 겁니다. 그래서 이 사람들이 5명이 잃어버린 수명이 184년입니다. 이런 식으로 계속 돼요. 그러다가 이제 결국 2013년에 11,500명이 죽었어요 미국에서. 그래서 50만 년을 잃어버렸습니다. 이런식으로 여기 보시면 중간에 떨어지는 거죠. 같은 데이터지만 이런식으로 시각화를 하는게 상당히 다른 임팩트를 만들 수 있다는 것 여기서 말씀드리고요. 그리고 이제 요약을 하면 데이터 과학의 절차를 제가 요리를 비유해서 설명을 했고요. 그리고 이제 우선 양질의 데이터를 구해서 적절한 도구와 기법으로 다루고 그 과정에서 이제 데이터를 사이 크기를 줄이고 표준화하는 것의 중요성을 말씀드렸고요. 마지막으로 이제 분석 결과를 막간스러운 시각화로 담아낸다. 세 가지 절차를 통해서 데이터 분석을 수행할 수가 있습니다. 혹시 질문 있으신 분이신가요? 아니면 평소에 분석 과정에서 어려우셨는데 제가 빼먹은 점이 있으면 말씀해주셔도 돼요. 그럼 넘어가겠습니다. 지금까지 제가 사실 굉장히 수박헛달피로 데이터 과학의 개념과 절차를 제가 생각할 때 핵심이라고 생각하는 부분을 말씀드렸고요. 그리고 이제 조금 더 초점을 좁혀서 데이터가 활용되는 분야가 여러 가지 있죠. 이제 비즈니스 성장, 여기 이제 스타트업에 관심을 가지신 분들이 많으리라고 생각이 드니까 거기에 대해서 다뤄보고 그리고 이제 이걸 돕는 스타트업이 상당히 많더라고요. 그래서 이제 그거에 대해서 제가 소개를 드리고 혹시나 이제 제가 빠트린 게 있으시면 여러분께서 말씀해 주셔도 좋겠습니다. 우선은 사실 데이터 활용이라고 그러면은 뭐 검색엔진 그리고 온라인 쇼핑몰 이런 데서 쓰는 거라고 생각을 많이 하시죠. 실제로 검색엔진은 아까 말씀드린 대로 데이터를 보여주는 서비스이기도 하고요. 검색엔진 서비스를 평가하는 그런 게 굉장히 모든 의사결정을 내리는데 기본이 되는 그런 분야입니다. 하지만 제가 생각을 했던 게 식당 사장님도 데이터를 활용할 수 있지 않을까. 식당 사장님이 데이터를 쓸 수 있다면 모든 사람들이 데이터를 쓸 수 있지 않을까 이런 생각을 했어요. 이렇게 하려면 어떻게 해야 될까? 그걸 위해서 상상을 해서 글을 썼습니다. 혹시 그 글을 읽어보신 분 있으신가요? 별로 없으신데요. 그 글이 사실은 저는 제가 상상력으로 쓴 글인데 그 글을 보시고 셰프뉴스라는 사이트가 있어요. 셰프뉴스는 정말 식당 사장님들이 보시는 사이트에요. 근데 거기 운영자분이 연락을 하셔가지고 제가 굉장히 고민을 하다가 돌맞이 각오를 하고 공유를 하시라고 말씀을 드렸는데 예를 들어서 이런거. 저는 사실 검색엔진을 연구를 하는 사람이니까 제가 맨날 보는 화면이 이런 웹 쇼핑몰의 화면입니다. 쇼핑몰이든 검색엔진이든 웹서비스의 화면이죠. 근데 이제 여기서 가장 잘 알려진 사실은 뭐냐면 사용자가 이제 검색 결과 같은 게 위에서 아래로 이런 경우에 보통 왼쪽에서 오른쪽으로 그런 스케일링 패턴이 있어요. 그게 의미하는 게 뭐냐면 직관적으로 아마 이해하시겠지만 여기 이 왼쪽 위에 있는 게 무조건 가장 클릭이 많이 돼요. 관계없이. 심지어 이거랑 이거를 바꿔놔도 여기 있는게 제일 클릭이 많이 됩니다. 검색엔진에서 저희가 실험을 많이 해요. 첫번째거 두번째거 바꾸고 어떻게 되는지 결과가. 그러면은 원래 두번째게 위로 올라가면 더 클릭이 보통 많이 돼요. 그러니까 사용자는 그냥 대부분 사용자는 그렇게 집중해서 뭘 하지 않기 때문에 또 정색의 질을 믿는 것도 있고요. 그래서 이제 위에서 아래로 그냥 하는데요. 근데 식당으로 옮겨가서 식당에 메뉴가 있죠. 메뉴가 어찌 보면은 뭐 온라인 쇼핑몰의 초기화면이라고 볼 수도 있고 검색 결과라고도 볼 수 있어요. 왜냐하면 이제 이걸 보고 이제 그 주문이라는 의사결정을 하시니까 그런데 이제 이 과정이 사실은 메뉴가 뭐 한 페이지 그냥 그냥 한 페이지만 사실 끝까지 보시겠죠. 근데 메뉴가 뭐 책 같은 경우가 있어요. 여기 보시면 이제 메뉴가 이렇게 이것도 메뉴가 복잡한데 이런 경우에 이 메뉴를 가지고 고객이 주문을 하고 그걸 가지고 매출 데이터가 나온다. 그러면 데이터가 어떻게 되겠습니까? 데이터가 어떻게 될까요? 예 그쵸 그 여기 제가 잘은 모르겠지만은 분명히 제일 위에 왼쪽에 있는게 주문률이 높지 않을까 중간에 있는거 보다 그리고 이제 또 검색엔진 보면 재밌는게 첫번째 있는거랑 이제 클릭하는 비율이 첫번째도 높아서 쭉 이렇게 떨어지다가 또 제일 페이지 마지막에 있는것도 클릭이 더 많이 돼요 거기서 시선이 멈추거든요. 메뉴에도 아마 제일 위에 있는 거, 아래에 있는 거, 중간에 있는 건 아마 좀 덜 되겠죠. 그런 어떤 데이터에 저에겐 편향이라고, 바이어스라고 얘기를 하는데 그냥 데이터를 수집을 하면, 메뉴를 이걸 하나에 가지고 데이터 수집을 하면 그런 편향이 생긴다. 그걸 어떻게 해야 되냐. 저희는 검색 엔진에서는 이걸 말씀드렸듯이 계속 바꿔요. 바꿔가면서 실험을 해요. 바꿔가면서 이제 실험을 해서 데이터를 결국에 다 모으면 그런 편향이 없는 데이터가 모이죠. 왜냐하면 모든 문서가 모든 포지션에 평균적으로 있었으니까 결국에는 편향 없는 데이터가 모일 수 있는데 그럼 식당 사장님도 그렇게 하시면 되지 않을까 저는 그렇게 생각을 한 거죠. 아직까지 말씀 그 글에 대해서 반론이 없으신 걸로 봐서 적어도 아주 터무니없는 얘기는 아니었을 수도 있다는 생각이 드는데 어쨌든 전 전문가는 아니지만 어쨌든 제가 제 관점에서 봤을 때 사실 그 온라인 비즈니스나 오프라인 비즈니스나 어떤 데이터를 수집하는 어떤 방법에 있어서 어떤 기본은 비슷하다 그런 생각을 좀 한 거고요. 그렇지만 제가 구체적인 그런 논의를 다 할 수는 없으니까 몇 가지 포인트를 잡아서 이제 말씀드릴 텐데요. 우선 이제 그렇죠. 온라인이나 오프라인이나 끊임없는 의사결정 연속인 거예요. 예를 들어 손님을 어떻게 끌까? 메뉴를 어떻게 구상하지? 음식의 양과 맛 그리고 이제 고객을 어떻게 단골로 만들까? 이제 이런 종류의 의사결정 고민들은 사실 다 있는 거라고 생각을 합니다. 글에 보시면 좀 더 자세한 내용이 있고요. 어쨌든 이걸 요약을 하면 잠재 고객을 신규 고객으로 신규 고객을 재방문 고객 그리고 단골로 이제 보통 말씀하시는 펀얼 깔대기 모양이라서 funnel analysis죠. 이걸 최대한 잠재 고객을 단골로 만들 수 있으면 비즈니스가 성장한다는 겁니다. 그런데 이걸 나눠 생각해 보면 고객 유입의 단계가 있고 고객 만족의 단계가 있고 유지의 단계가 있죠. 유입된 고객을 만족시키고 만족스러운 고객을 유지시키는 그런 순서인데요. 각각의 경우에 데이터 분석의 주된 과제가 있죠. 첫 번째 유입 단계에서는 채널별로 어떤 유입 효과가 어떤지, 비용은 어떤지 그런 게 있어야 될 거고 두 번째 만족 단계에서는 고객 경험에 대한 만족도를 분석해야 될 거고 마지막에는 고객이 일단 온 거니까 온 고객에 대해서 최대한 방문이 지속될 수 있도록 개인화된 서비스를 할 수 있으면 좋겠죠. 이걸 어떻게 해야 되느냐 저도 마케팅 담당은 아니라서 이 부분에 대해서는 아마 더 잘 아시는 분들도 있으실텐데 그렇지만 저도 최근에 책을 쓰면서 작업을 하면서 책이 결국엔 컨텐츠 비즈니스잖아요. 그거에 대해서 저도 고민을 좀 하고 있습니다. 보통 생각을 해보면 고객 유입이 되는 채널이 소셜미디아, DM, 직접 방문, 입소 문제 이런 채널이 있겠죠. 근데 이제 그거에 대해서 말씀드리는 거는 사실 비용면은 사실은 여기 어떤 얼마큼 돈을 썼는지 시간을 썼는지가 나오겠죠. 근데 이제 효과에 대해서는 굉장히 알기가 힘들 겁니다. 고객이 이제 어떤 어디서 왔는지 이제 그런 얘기를 해주기 전에는 근데 그걸 몰라서는 이제 이런 분석이 안 되겠죠. 그러면 어디를 예를 들어 이번 달에 예산을 한 50%를 소셜미디어에 쌓였는데 다음번에 어떻게 해야 될지 그런 종의 의사결정을 할 수가 없겠죠. 온라인 같은 경우에 사실은 구글 어널리틱스라는 도구를 많이 쓰시는데요. 이런걸 쓰시면 그냥 나와요. 어떤 트래픽이 있었고, 어떤 머무는 시간도 나오고 사실은 굉장히 편합니다. 오프라인의 경우에는 이게 안되죠. 이거는 이제 어떻게 저희 매장 찾으셨어요. 이걸로 시작을 하는 거예요. 그리고 이제 다음 단계 고객 만족 단계가 있죠. 고객이 일단 왔으면 이제 만족을 시켜야겠죠. 사실은 여기에는 두 가지가 있습니다. 아까 제가 검색에 있는 사례에서도 말씀드렸는데 고객한테 직접 물어볼 수 있고요. 왼쪽이 좋아, 오른쪽이 좋아. 그리고 이제 고객의 행동에서 여기 이제 쇼핑카트를 끌고 다니는 거죠. 쇼핑카트를 끌고 다니는 고객이 이제 어디서 머문다. 그럼 고객이 거기 관심이 있는 거예요. 예를 들어서. 그런 거에서 만족도 유추할 수 있고요. 제가 아까 말씀드린 식당 사례의 경우에는 고객이 어떤 메뉴를 꾸준히 남긴다. 그거는 좋은 시그널이죠. 어떤 메뉴가 맛이 없구나. 돈을 냈는데도 남긴다. 그런 좋은 시그널. 제가 관련 스타트업 말씀드린다고 했는데 오프라인 매장에서 고객 행동을 분석하는 이런 서비스가 있더라고요. 혹시 들어보신 분 있으신가요? 사용해보신 건 아니고요. 어쨌든 사실은 지금은 이게 일종의 오프라인 매장의 구글 어널리틱스와 같은 거라고 생각이 돼요. 이런 어떤 어떤 매장에서 고객이 어디로 들어가고 어떻게 움직여서 나오는지를 정확하게 트랙할 수 있는 솔루션이죠. 사실은 앞으로는 뭐 인터넷 옵팅스 이런 말을 많이 요새 하시죠. 이런 게 되면서 좀 더 이런 게 많이 생길 거라고 생각이 됩니다. 그리고 이제 설베이도 이제 다양한 솔루션이 있을 수 있는데요. 여기는 이제 오픈설베이라는 솔루션이 이제 모바일로 이제 고객 리서치를 해주는 그런 솔루션이 있다는 것을 제가 봤고요. 그리고 여기 보시면 이 사이트에는 이제 제가 봤을 때 설문조사를 하는 방법에 대한 글이 많아요. 그래서 한번 들어가 보시면은 설문조사라는 걸 하는데 어떻게 해야 되는지 그런 거에 대해서 한번 찾으실 수가 있습니다. 참고로 저는 이 회사들과 전혀 관계가 없습니다. 그리고 이제 마지막으로 고객 유지 단계가 있죠. 고객 유지는 이제 이미 방문한 고객이 계속 와야 되는 그런 어떤 걸 어떻게 이룰 수 있을까 그런 건데 사실 제일 중요한 게 고객이 왔던 고객이 계속 그 고객이라는 거를 이제 그 Identify라고 하는데 그렇게 고객별로 데이터를 모을 수 있는게 상당히 중요해요. 그것도 이제 온라인의 경우에는 IP 아드레스나 쿠키나 그런걸 쓰면 되는데 오프라인의 경우에는 사실 어려운 일이죠. 근데 최근에 제가 발견한 어떤 스타트업들은 여기 보시면 회원들이 어떤 식당, 여기 보면 식당 사례가 나와 있는데 식당을 방문한 다음에 그 식당에서 어떤 회원 인증을 간단히 하면 전화번호를 넣거나 그럼 그 식당에 포인트를 쌓을 수 있어요. 그래서 이제 고객은 포인트를 쌓으니까 쌓으려고 이걸 할 거고 식당 주인 분들은 이제 고객별로 데이터를 볼 수가 있는 거죠. 이런 솔루션이 최근에 나왔다 그런 말씀드리고 다른 이제 비슷한 솔루션으로 카드 터치로 데이터가 정립되는 이런 솔루션도 있어요. 그래서 여기까지 제가 비즈니스 성장에 대해서 간단히 어떤 플로우가 있다 그걸 말씀을 드렸는데 사실은 좀 더 구체적으로 사례를 보면 좋겠죠. 제가 말씀드린 대로 헬로 데이터 과학이라는 블로그 운영하고 있고, 그리고 같은 이름으로 된 책이 1월 중순을 예정으로 제가 요새도 새벽에 일어나서 글을 쓰고 그런 생활을 계속 하고 있는데요. 사실은 저도 회사를 다니고 있으니까 이런 책을 쓴다기 쉬운 일은 아니에요. 그런데 왜 이걸 시작했느냐. 그런데 몇 가지 본칙을 세웠어요. 우선 집회를 시작하게 된 것은 회사를 다니면서 일을 하는데 제가 공부를 할 수 있는 동기부여가 필요한데 회사를 다니다 보니까 회사 다니고 갔다 와서 집에서 놀고 싶은 생각이 많고 또 시애틀에는 제가 있는데 여름엔 특히 날씨가 좋아요. 날씨가 좋고 주변에 좋은 산이 많아서 맨날 산에 다니고 주말에는 밤에 테니스 치고 그런 식으로 살다가 공부를 꾸준히 해야겠다. 그런 생각을 좀 했고요. 어쨌든 책이라는 게 사실은 저는 블로그를 계속 썼으니까 블로그를 모으면 책이 되겠건 그런데 굉장히 낡은 생각을 하고 있었는데 책이 일단 상품이라는 차이가 있습니다. 블로그와는 달리. 그래서 이제 뭔가 할만한 걸 만들어야 돼요. 그런 결정적인 차이가 있는데 우선은 제가 생각을 한 게 최신 지식과 제 어떤 배운 거를 최대한 결합을 해보자. 왜냐하면 저도 공부를 하는 동기부여가 될 거고 그렇지만 이제 만들어진 책의 어떤 제 목소리가 없으면 의미가 없겠죠. 이미 세상에 많은 책이 있으니까. 그래서 저는 이제 빅데이터의 세상인데 스몰데이터를 한번 얘기를 해보자. 제가 스몰데이터, 빅데이터를 다 해봤으니까 그런 생각을 했고요. 그리고 이제 책이 사실은 쓰다 보면 굉장히 힘들어요. 그래서 제가 듣기로는 시작하는 출판사에서 처음 이제 책을 쓰자고 시작하신 분 중에서 한 10% 정도면 끝을 내신대요. 중간에 이제 다 그만두시는 거예요. 저도 이제 여러 번 그런 순간이 있었지만 한 30% 정도 쓰고 나니까 이게 했던 게 있으니까 더 끝내야겠다 이런 생각이 들더라고요. 매일 하되 억지로 하지 말자 그런 생각을 했고요. 그리고 이제 마지막으로 제가 데이터 과학 책을 쓰는데 데이터 과학을 활용을 해봐야 되지 않을까 그런 생각을 했습니다. 그래서 책을 쓰는 과정이 크게 세 가지가 있어요. 컨텐츠 계획하고 이 과정에서 보통 출판사를 만나게 되고요. 컨텐츠를 만들고 컨텐츠를 검토하는 세 가지 단계입니다. 우선 지필 준비하는 단계에서 무엇을 쓸 것인가, 어떻게 쓸 것인가 이런 고민을 해야 돼요. 비즈니스로 말하면 사전 마케팅, 사전 시장 조사 그런걸 하는 단계죠. 이걸 어떻게 하느냐 사실은 저도 원래 하던 블로그가 있었는데 거기에서 사실은 독자 그룹이란 걸 만들었어요. 그래서 제가 오시는 분들 중에 관심 있는 분들께 제가 계속 연락을 드리고 여쭤볼 수 있는 그런 시스템을 만든 겁니다. 그래서 이제 이런 사인업 시트가 있어서 가입을 많이 해주셨고 제가 어떤 컨텐츠를 쓸 것인가에 대해서 다양한 설문을 합니다. 보시면 스프레드쉐이프트 어떤 도구를 쓰시는지에 대한 설문이에요. 엑셀 그리고 파이턴 R 엑셀이랑 R을 굉장히 많이 쓰신다 이런 결론이 있었고 그리고 주제에 대해서는 어떤 주제에 관심이 많으신가 통계적 추론 그리고 여기 보시면 개인 데이터가 상당히 많고요. 분석 사례에서는 온라인 기업 이런 인각도 많이 나왔습니다. 근데 사실은 제가 그때 출판사 분들이랑 의견이 좀 달랐거든요. 저는 제가 개인 데이터 분석에 관심이 많았기 때문에 이걸로 해야 된다. 근데 출판사 분들은 개인 데이터에 아무도 관심이 없다. 한국 사람들이 다 바빠서. 개인적으로 뭐 할 여유가 없다 이렇게 말씀하셨는데 사실은 상당히 응답률이 높게 나왔어요. 그래서 이걸 가지고 조금은 제가 설득할 수 있는 그게 된 거죠. 계획 단계에서는 제가 어떤 도구를 실습 어떤 용으로 사용할 것인가 그리고 어떤 내용을 넣을 것인가 그런 게 다 설문을 통해서 이제 의사결정이 내려졌고요. 이런게 없었으면 사실은 제가 정말 그 보통 그 눈을 가리고 이제 뭔가 보이지 않는 상대를 향해서 이제 복싱을 하는 그런 기분으로 해야 되지 않았을까 하는 생각을 했고요. 그 다음에 이제 책이 쓰여야겠죠. 계획을 한다면 쓰여야 됩니다. 그게 사실은 말씀드렸듯이 블로그랑 다릅니다. 양도 그렇고 질도 그렇고 다른데요. 그걸 미리 알았으면 제가 시작을 안했었는데 너무 늦게 알았어요. 그래서 이제 고생을 좀 했는데요. 우선 이제 불량이라는 측면에서 불량은 사실은 간단하죠. 단어수입니다. 단어수가 이제 오만자는 돼야 돼요. 근데 오만자를 어떻게 만드느냐. 저는 사실은 이제 단어수를 추출하면 되지 않을까? 그런데 단어수를 추출하는 게 사실은 텍스트가 가장 간단하기 때문에 저는 처음에 텍스트로 썼어요. 텍스트에 마크다운이라는 포맷을 사용해서 글을 작성을 하고 그 다음에 마크다운의 파일을 파일싱을 해서 단어수를 추출해주는 프로그램을 만들었어요. 그래서 쓰기 시작할 때 한번 누르고 끝난 다음에 누르면 단어수가 나옵니다. 그 차이로 인해서. 그래서 그걸 가지고 여기 보시는 엑셀 시트를 만들었어요. 보시면 장별 분량입니다. 이게 챕터 1, 2, 3, 4 이렇게 되어있고, 이게 날짜고, 여기 보시면 잘 안보이실텐데 이게 3000 정도 되구요. 쭉 올라가요. 올라가면 색깔이 진해집니다. 1년동안 한거에요. 보시면 쭉 올라가죠. 쭉 올라갑니다. 장별 분량이 이게 전체고요. 전체가 계속 늘어나서 마지막에 48000이 되는데요. 챕터별로 보면 얘가 짧죠. 그럼 얘를 좀 더 짧은 그림에 뭔가 문제가 있어요. 뭔가 사례가 빠져있다던가. 그러면 보완을 해서 분량을 어느정도 맞추려고 노력을 하고 같은 데이터에 대한 다른 뷰를 통해서 정보를 얻는 거죠. 그래서 콘텐츠를 만드는 건 이렇고, 품질이라는 측면이 있어요. 품질이 어느정도 되어야 합니다. 품질이란, 글감에서 책이 되는 관계가 한 번에 되는 건 아니에요. 원래 글감이고, 저 같은 경우는 여러 채널로 공개를 합니다. 그러면 이 과정에서 피드백을 주시는 분들이 있으시고요. 그리고 원고가 되면 리뷰어분들이 계세요. 리뷰어분들이 피드백 주시고 마지막으로 이제 책이 됩니다. 이제 독자 피드백을 받을 수 있겠죠. 이 과정인데 이렇게 양질이 있는 보증된 컨텐츠를 만든다면 컨텐츠를 이제 프로모스 해야 됩니다. 이걸 어떻게 해야 되냐. 일단 상품이기 때문에 제목이라는 게 있어요. 제목도 이제 선물을 통해서 이제 어떤 제목으로 할지 그거에 대해서 이제 아이디어를 공모했구요. 여기 보시면 굉장히 다양한 창의적인 답변을 많이 주셨습니다. 그리고 이제 아까 보여드린 표지 같은 경우에도 제가 사실은 이거는 지금 정하고 있는 단계인데 두가지 안이 있어요. 그래서 지금 슈퍼마켓에서 주신 두가지 안중에 뭘로 할까 고민하는 단계인데 제가 여기서 한번 여쭤볼게요. 여기 지금 왼쪽 있고요. 오른쪽 있는데요. 한번 보시고요. 여기 보시면 이제 색상도 좀 다르고 레이아웃도 다르고 한데 색상을 일단 무시하시고 레이아웃으로만 만약에 어떤게 좋으신지 우선 왼쪽 좋다고 생각하시는 분? 제가 머리로 카운팅이 안되는데.. 그럼 오른쪽 좋다고 생각하시는 분? 신기하게도 왼쪽 좋아하시는 분들이 가운데 앉으셨네요. 이유는 모르겠지만.. 어쨌든 지금 비슷하게 나왔는데요. 이런 사실의 의사결정도 만약에 잠재독자를 안다면 그 독자분들에게 서베이를 통해서 결정할 수 있다. 그리고 이제 마지막으로 간단히 마케팅 관련해서 말씀드리면 사실은 제가 예전에는 책을 쓸 때 산에 들어가서 스토어는 기본 1년쯤 있다가 나와서 가지고 나오는 이런 이미지 상상을 했을 수도 있는데 요새는 불행인지 다행인지 굉장히 다양한 컨텐츠를 발견하고 공유하는 수단이 있습니다. 그래서 저 같은 경우에는 그걸 활용을 계속 하려고 노력을 했는데요. 컨텐츠가 발견되는 플랫폼이 있고 페이스북이나 트위터죠 주로. 그리고 컨텐츠가 소비되는 플랫폼이 있어요. 그리고 마지막으로 메일링 리스트 그리고 이제 도서 구매가 있는데 저 같은 경우에 이제 이 단계가 아까 보여드린 펀널이 되는 거죠. 여기서 이제 컨텐츠를 발견하시고 글을 읽으시고 메일링 리스트에 가입을 하시고 마지막에 책을 사시는 건데 이 과정에서 이제 그 가장 트랙하기 쉬운 부분이 컨텐츠를 발견하시고 이제 소비하시는 그 부분이에요. 그래서 이제 그걸 알면은 제가 이제 올린 컨텐츠에 대한 어떤 독자들의 전체적인 반응을 볼 수 있는 거죠. 제 페이지를 방문해 주시는 분이란 전체 데이터가 있고 그리고 전체 데이터를 여러가지 데모그래픽이나 아니면 시간에 따라서 나눈 건데요. 이것도 복잡한 분석은 아니에요. 그런데 이것만으로도 굉장히 다양한 의사결정 할 수 있다, 말씀드리고요. 그리고 이제 마지막으로는 책이 만들어진 다음에 사실은 책이라는 것도 완전하게 만들 수 없는 거기 때문에 지속적인 어떤 고객 만족 그리고 충성도 이제 그런 걸 어떻게 할까 이제 그런 걸 고민하는 단계인데 저는 이제 아까 말씀드린 독자 그룹이 있기 때문에 그걸로 이제 추가적인 콘텐츠를 제공하고 피드백을 들을 수 있는 그런 채널이 될 것 같고요. 그런데 이제 마지막으로 이제 사실은 제가 말씀드린 게 데이터가 보고 듣기만 하는 데이터가 아니라 직접 해보는 데이터 말씀드렸지 않습니까? 그래서 최근에 제가 데이터 활용 사례를 서로 공유하는 커뮤니티를 만들었어요. 생활데이터 커뮤니티에 질문을 올려주셔도 환영이고요. 그러면 일단 여기서 잠깐 쉬고 질문을 혹시 있으시면 질문을 받도록 하겠습니다. 지금은 쉬고 하나요? 아니지요? 아, 지금, 지금, 네. 하나 여쭤볼게요. 데이터 분석의 3단계로 구분하셨고 첫 번째가 좋은 재료를 선정하고 다룬 것이다. 지금 적정한 항목과 속성을 고르는 것이다. 그 감이 잘 안 옵니다. 적정한 항목이 무엇일지 속성이 무엇일지 예시를 좀 더 드려주실 수 있을까요?