생활데이터 3월 온라인 정모

일단 제가 그러면 안녕하세요 여러분 저 지금 생활데이터 세번째 정모에 오셨습니다 전 지금 다 보이시는지 모르겠네요 온라인에서는 전 지금 아직 5시인데 아직 퇴근을 못하고 지금 회사에서 여기 이렇게 여기가 제 오피스인데 여기서 지금 여러분을 만나고 있고요. 여기 지금 온라인에 권장민님과 유대성님이 조율해주셨고 두 분께서 오늘 간단한 자기소개와 함께 생활

데이터

분석 사례를 발표해주실 거고요. 그리고 제가 그 뒤에 간단하게 최근에 파워비아이라는 데이터 시각화 툴을 간단히 소개해드리는 걸로 오늘 마무리하면 될 것 같습니다. 권정민님은 많이들 아시겠지만 데이터 과학 SK에서 분석가로 일하고 계시고 스트라타 발표를 포함해서 굉장히 활발하게 여러가지 활동하고 계시고요. 그런데 생활 데이터에도 관심이 많으시다고 해서 오늘 초대를 했고요. 그리고 유대성님께서는 지금 사실 학생이신데 데이터 관련해서 굉장히 호기심이 많으세요. 그래서 최근에 배우신 것을 데이터 분석 프로젝트로 만드셔서 데이터 분석을 시작하셨습니다. 두 번 발표를 들어보고 제가 간단히 말씀드리는 시간을 갖겠습니다. 온라인으로 질문 주시면 저희가 최대한 보고 그 다음에 이제 제가 답변해 드릴 테니까 온라인에 계신 분들은 질문 주시면 될 것 같아요. 그럼 정민님 먼저 발표 시작해 볼까요?

네 안녕하세요 권정민입니다. 저는 이제 지금 간단하게 우선 재소개를 하면은 저는 지금 데이터 분석 일을 거의 10년쯤 넘게 하고 있고요 예전에는 게임 쪽도 하고 통신 쪽도 하고 등등등 이러다가 지금은 SK 플래닛에서 데이터 분석 일을 하고 있습니다 그래서 주로 데이터 분석, R이나 Python이나 이런 것들 가지고 데이터 분석을 하고 있고요 그리고 이제 이번에는 그냥 예전 아마 생활데이터 페이스북에 올라온 거 글을 보셨는지 모르겠는데 거기 이제 브런치에다가 예전에 오프라인 모임에서 독서 관련해가지고 간단하게 분석했던 거라던가 아니면 이번에는 SF 영화에 나오는 로봇들 가지고 정리해가지고 블로그 포스트로 올려놓은 것들이 있는데 그게 이제 지금 블로그에다가 포스팅한지도 좀 됐고 그 다음에 소스도 다 공개를 해놓은 상태여서 그냥 그것들 이제 보신 분들이 많을텐데 그거 관련해가지고 그냥 간단하게 어떻게 하게 됐고 뭐 이런거 하면서 뭐 이런것들 얻은게 있었다에 대해서 간단하게 말씀을 드리려고 합니다

예?

예 제가 발표자료는 뭐 따로 예쁘게 준비는 하지 못했고 주로 블로그라던가 아니면은 그런 다른것 그 소스나 이런것들을 같이 보시면 될 것 같습니다 그래서 말씀드릴 내용은 그냥 뭐 어떤 식으로 정리를 했고 그 다음에 어떤 과정으로 간단하게 하게 됐고 이제 여기서 어떤 것들이 나왔는지 그런 내용들을 말씀을 드리려고 하고요. 블로그에는 그 브런치에 아마 그 페이스북에도 링크가 올라와 있을 거예요. 그래서 그것들을 살펴보시면 되는데요. 그래서 여기 브런치에다가 이런 식으로 올려놨기 때문에 그냥 쭉 보시면 되는데 여기 뭐 그냥 글하고 어떻게 시작을 했고 뭐 주로 내용은 그거죠 어떤 식으로 시작을 했고 뭐 어떤 목적으로 하게 되었고 그 다음에 뭐 하다보니까 환경은 어떻게 설정을 했고 데이터는 어떤게 있었고 그 다음에 뭐 그거에 대해서 간단하게 뭐 데이터들이

어떤게 있는지 살펴보고 그 우선은 정민님 왜 로봇인지 그런 얘기를 해주실 수 있을까요? 사실 데이터 분석 하자면 정말 뭐 5만가지 다 할 수 있는데 왜 여기서 시작을 하셨는지 좀 궁금했어요, 저는.

네, 이거를 다시 설명, 말씀을 드릴게요. 네, 뭐 로봇이야 뭐 옛날부터 많이 있는 거고 이거는 그냥 지금 위키피디아 긁어놓은 거니까 그냥 그것들 살펴보면 될 텐데요. 저 같은 경우에는 워낙에 이제 책 읽는 거 좋아하고 그건 이제 예전에 그 독서 프로젝트 발표를 하셨을 때 보신 분들도 아마 계실 거예요. 그거 이제 글로도 써놨으니까 그래서 워낙에 그런 것도 좋아하는 것도 있고 하다가 그냥 사람들하고도 이제 근데 물론 저는 영화는 그렇게까지 좋아하진 않아요. 근데 어쨌든 사람들하고 이제 뭐 SF 관련해서 얘기를 하다가 어떤 분이 이제 말씀을 하시는 거예요. 그때가 작년 아 이제 재작년이죠. 그 인터스텔라 개봉하고 뭐 인터스텔라의 그 타스라고 그 막대기 같은 로봇들이 나오는데 그 로봇 얘기를 하다가 근데 제가 뭐 예전에 나온 무슨 로봇하고 닮지 않았냐 뭐 이런 얘기를 했어요 근데 그렇게 얘기를 하다가 근데 SF 쪽은 이제 사람이 팬들이 국내에는 그렇게 많은 편이 아니에요 그래서 뭐 물론 이제 영화 같은 거 나오면 흥행도 하고 하는데 뭐 실제로 SF를 그냥 그 블록버스터 영화가 아니라 그냥 좋아하는 사람들은 뭐 국내 한 500명 뭐 이런 식으로 보통 농담으로 얘기를 하는데 그래서 그러다 보니까 펜이 적어서 그런지 이런 거를 정리해놓은 사람이 없더라 뭐 이런 얘기를 하다가 어 그러면은 정리를 하면 되지 않을까 싶은데 사실 또 그게 하려면은 한도 끝도 없고 되게 노가다가 많잖아요 그래서 어 그러면은 이거를 데이터를 어디서 긁어 가지고 자동으로 분석을 해서 분류를 할 수 있지 않을까 어차피 왜냐면 이제 저는 그게 일이었다 보니까 이제 그런 일 쪽으로 또 생각을 하게 되는 거죠 그래서 어 그러면 해보자

제 생각에는 요새 로봇 인공지능이 굉장히 핫해져가지고 조만간에 굉장히 많은 관심을 갖게 되지 않을까 많은 분들이 이런 생각이 드네요.

그래서 제가 조금 빨리 해서 했으면 될텐데 뭔가 하다보니 제가 계속 미루고 미루고 미루다 보니까 그 시기가 올해까지 겹치고 이러면서 갑자기 핫해져서 그렇습니다. 그래서 그렇게 해서 그러면 이제 영화 나온 로봇들 가지고 중류별로 연대별로 살펴보자고 했는데 사실 이 목적만 가지고 하다보면 저도 어쨌든 회사에서 일을 하고 있는 사람이고 하니까 이게 점점 미뤄져요. 그래서 아까 말씀드렸다시피 미루고미루고미루고미루고 하다보니까 그냥 순수하게 취미가지고 하기에는 귀찮음이라던가 이런것들이 자꾸 생기니 다른 목적도 같이 결합을 하면 좀 더 열심히 하겠다라고 생각을 하다가 플라틀리라고 블로그에 써놨으니까 자세한거는 보시면 될텐데 플라틀리라고 예전에는 데이터를 웹에다 올리면 그걸 가지고 인터랙티브하게 그래프를 그리는 그런 웹사이트였는데 그게 API가 R하고 Python하고 Matlab용으로 나왔어요.

네, 저도 쓰고 있어요. R용 잘 쓰고 있습니다.

네, 근데 저는 플라틀리를 초반에만 보다가 요즘에는 안 봐서 API가 나온 걸 모르고 있었어요. 그래서 그럼 이것도 나온 김에 한번 써봐야겠다.

공부도 하고 취미생활도 하고 그냥 여러가지 어차피

또 평소에 회사에서 물론 일어나지만 공부도 어느정도 해야하니까 이런식으로 약간 필요한거하고 하고 싶은거하고 이렇게 결합을 하면 사실 최고잖아요 그래서 이런식으로 하면 되겠다라고 생각을 해서 플랫툴리를 쓰는 것도 하고 그래서 약간 가속이 붙어가지고 작년 말쯤부터 하게 된 거고요. 처음에는 데이터 소스 찾는 게 우선 가장 힘들었어요. 왜냐하면 생활 데이터 할 때 자기 데이터를 보통 컨트파이 셀프가 자기 데이터를 측정해서 쓰잖아요. 그런 경우에는 자기에 대한 데이터가 확실하게 수집을 할 수 있고 그 다음에 그거를 가지고 그거 그 데이터에 대해서 어쨌든 자기 자신에 대한 거니까 자신이 가장 잘 알 수도 있고 해서 그렇게 쓰면 되는데 이거 같은 경우에는 어쨌든 제 데이터가 아니니까 어디서 제가 처음에는 이제 지인하고 일일이 정리를 하다가 어 이거 못해먹겠다 그래서 맵에서 찾아서 찾다보니까 이 텍스트로는 정리를 해놓은게 있더라구요 열심히 구글링을 하다보니 그래서 이제 그거를 찾는데 그것도 이제 그대로 긁어올 순 없어서 왜냐면 그 텍스트에 표에 그림에 이것저것 섞여있는 페이지여서 이걸 어떻게 할까 하다가 input.myo 라고 또 그 웹에 있는 데이터를 꽤 표 형식은 엑셀 형식으로 깔끔하게 긁어붙여주는 사이트가 또 있더라구요. 요즘 기술들이 좋아서 저희가 분석을 하기가 좀 더 쉽습니다. 그래서 거기서 데이터를 그대로 긁어가지고 그거를 가지고 데이터를 긁어온 다음에 거기서 뭐 이제 이미지나 쓸데없는 링크나 이런 것들 빼는 이제 수작업 기본적인 수작업은 어쩔 수 없이 어느 정도 해야 되고요 그래서 그렇게 해서 한 천 개까지는 아니구나 한 200, 205개? 그 정도 데이터 로봇들에 대한 데이터를 가지고 왔고요. 여기서 말한 로봇은 SF영화에 나오는 비인간형 캐릭터들 그러니까 로봇이라던가 목소리만 나오는 AI같은 것들도 포함되는 그런 것들이 나온 영화들에 대한 데이터를 긁어 왔고요.

저 질문인데 import.io가 되게 대단한게 웹사이에 있는 어떤 테이블도 다 그걸로 물론 다 안되는 것도 있겠지만 웬만한 건 다 데이터화 할 수 있다는 거네요?

예.

아, 뭐 위키피디아에 있는 테이프 같은 거, 예를 들어서.

지금, 예.

아, 그거 대단한 것 같아요.

예.

페이지 입력하면, 예. 그, 엑셀 형태로 해가지고 자동으로 표 분류를 해가지고 이렇게 나오는데, 예. 퀄리티가 꽤 괜찮더라구요.

아.

음.

예.

정말 중요한, 중요한 도구인 것 같습니다.

예. 이거 웹페이지인데 여기서 사용하면은 웹에 있는 데이터들 가지고 분석하거나 할 때 훨씬 쉽게 할 수 있을 것 같더라구요. 유용하니 다른 분들도 잘 사용하실 수 있으면 좋겠습니다.

제가 너무 딴 짓을 많이 걸어가지고...

네, 아닙니다.

질문 하나 해주세요.

네.

임폴트 아이옷 저도 써봤는데 저는 캐릭터가 잘 안 땡겨져가지고 보니까 이 부분을 쓰는 부분이 있더라고요.

네?

유료요. 여기서 비밀로 보내야만 데이터를 제대로 다시 주는

그런 형식인 것 같아서 아, 유료 계정도 있는 것 같았어요. 근데 이제 저는 그 무료 계정으로 썼고 무료로 쓴 다음에도 이제 그 API 같은 걸로는 좀 더 상세하게 긁어올 수 있다고 그러는데 저는 일단은 그냥 다운로드 받는 것만 썼었거든요. 그거는 웹페이지에서 어떻게 만들어냈냐도 이제 아무래도 좀 관련이 있는 것 같아요.

그렇군요. 네, 감사합니다.

네, 그렇게 긁어왔는데 어쨌든 이것도 그냥 텍스트 데이터들을 그냥 뭐 몇 년도에 어떤 영화가 뭐 블라블라블라블라 하고 이렇게 설명을 하는 거였다 보니까 그거를 정제를 하려고 하니까 또 한도 끝도 없는 거예요. 거기다 이제 대부분 또 그 설명이라 뭐 점이라든가 콤마라든가 이런 기본적으로 그 텍스트 마이닝에서 스탑워드라고 그러는 것들도 굉장히 많고 그 다음에 또 쓸모없는 데이터들도 엄청 많고 쓸모없는 단어들도 예 많고 그래서 이제 그런 것들은 이제 보면서 또 열심히 발라내야 되죠 예 그거 저는 또 텍스트 마이닝 쪽은 많이 안해서요 그 부분이 이제 좀 되게 힘들었는데 네 그거 굉장히 굉장한 인내심과 그런 것들이 이제 만약에 텍스트를 다루시게 되면은 그런 것들은 굉장한 인내심이 필요하다는 것은 감안을 하셔야

될 것 같고요 예 제가 잘 알겠습니다.

그 다음에 그래서 나중에는 제가 이거 취미로 하면서 왜 이 짓거리를 해야 되나 뭐 진작에 사실 그 생각도 했습니다. 예 그래도 어쨌든 인내심을 가지고 그리고 이제 이런 경우에는 데이터들이 자기가 원하는 데이터들이 완전히 안 들어올 수도 있고 그 다음에 자기가 생각하지 못했던 데이터도 이제 같이 들어와서 이제 그런 것들까지 같이 확인을 해볼 수가 있거든요. 그래서 그 블로그를 나중에 참고를 하시면 보시겠지만 이제 그거를 물론 제대로 나오진 않았습니다만 이제 어떤 캐릭터들이 있는지 좋은 캐릭터들 얘네가 좋은 애들인지 나쁜 애들인지 사실 이런 센티멘트 분석 같은 건 제가 할 생각을 전혀 안했었는데 캐릭터들 보다 보니까 뭐 할만하겠다 싶어가지고 한 것들도 있고요. 그 다음에 어떤 쪽의 데이터들을 봐야되나 이런것들을 보다보면 데이터를 정제를 하면서 그러니까 연도별로는 어떻게 되어있는지 아니면 데이터들 분포가 어떻게 되어있는지 보통 이런것들은 EDA라고 하는데 생활데이터 책에도 잘 나와있습니다만 이게 데이터를 볼 때 굉장히 중요한 부분이거든요 사실 이런 EDA를 하면서 대부분의 인사이트라던가 아니면 대부분의 빠진 내용이라던가 그런 어떤 간단한 부분에 대해서는 굉장히 많은 것들을 얻을 수 있고 데이터에 대해서 완전히 파악을 할 수 있기 때문에 이 DA를 같이 하면서 정제도 같이 하는 그런 식으로 이제 이 두 원래는 단계가 크게 말해 보통 말할 때 나눠지는데 이제 이거를 한꺼번에 하면서 뭐 문제도 재정의하고 데이터 정제도 하고 그 다음에 데이터 분석을 이제 혼자서 네.

탐색적 데이터 분석이라고 아 예. 하는 것 같아요.

예. 그래서 이 부분이 사실 사람들은 별로 재미없었는데 저는 이 부분이 되게 굉장히 중요한 부분이라고 항상 생각을 하거든요. 그래서 이런 것들을 하면서 데이터를 보고 그 다음에 데이터 분석을 혼자 할 때는 사실 되게 뭐 목적이 뭐 누가 돈을 준다거나 하는 것도 아니기 때문에 혼자 때는 좀 사실 되게 좀 재미도 없고 심심할 수도 있어요. 나중에 그러니까 또 다시 한번 내가 이걸 왜 하고 있나 뭐 이런 생각도 들 수 있고 근데 이제 그럴 때는 심심풀이로 그림같은거 그러니까 그래프를 그리시던가 그런것들을 같이 확인을 하면은 뭔가 이제 눈앞에 이쁜것들이 나타나면은 이제 사람들이 신적으로 확 끌리는게 있어서 그래서 그런것들을 병행하면서 하면은 확실히 재밌구나 저같은 경우에 이제 그 플랫틸리가 그 그래프 API이다 보니까 그래서 더 보람되고 재밌었고 그 다음에 아까 여담으로 이거 시작하기 전에 잠깐 얘기를 했었는데 잠깐 그 다른 발표자 분들과 말씀을 나눴는데 그때도 말씀드렸는데 데이터 분석이 사실 결과가 잘 나오지 않아요. 그러니까 한 85% 정도는 결과가 잘 안 나오고 그 다음에 7% 정도는 아니 8% 정도는 다 아는 얘기가 나와요. 당연한 얘기들. 그래서 이제 뭐 실제로 뭔가 어떤 인사이트를 얻는다든가 정말 인사이트를 얻는다든가 하는 세상에 알려지고 이런 것들은 7% 정도밖에 되지 않는데 그러다보니까 왜 기껏 저 노가다 데이터를 노가다로 정제를 하고 그 다음에 이만큼 데이터를 얻느라 사출을 했는데 왜 결과가 잘 안나올까라고 생각을 할 수도 있는데 사실 이게 굉장히 당연한 거여서 저도 블로그를 보시면 알겠지만 결과가 생각보다 안 나온 내용들도 있어요 그게 뭐 처음에 사실 하다보면 되게 한두개 했는데 왜 나는 결과만큼 안나올까 하고 서운할수도 있는데 그게 되게 당연한거에요 사실 굉장히 당연하고 자기가 잘못한게 아니고 이건 당연한거니까 이제 그렇게 받아들이시면서 하시면은 다른 분들에게도 도움이 되지 않을까 라는 생각을 했습니다

제가 한 말씀 드리면 데이터 마이닝이라는 말 있잖아요. 데이터 마이닝. 데이터 마이닝이니까 보석을 찾는다 약간 그렇게 번역을 하는데 정말 8%, 7% 말씀하셨지만 그것만 해도 만약에 1톤을 캤는데 그 중에 예를 들어 70g이, 7kg이 예를 들어서 철이다 아니면 금이다 이러면 정말 많이 나오는 거잖아요. 그렇게 생각하시면 될 것 같아요. 이게 굉장히 무질서한 현상에서 뭔가 패턴을 찾고 유의미한 어떤 결과물을 내는 거기 때문에 그냥 어찌됐든 그게 당연하지 않나 그렇게 생각하면 좌절감이 줄어들죠.

요즘에 데이터 분석을 이런 생활 데이터라던가 이런 식으로라도 조그맣게 시작해보시는 분들이 되게 많아서 좋은데 가끔씩 왜 이름이 잘 안나오냐고 이런 얘기들을 가끔 들은 적이 있는데 아 이건 어떻게 설명을 드려야 되지 하다가 혹시나 지금 들으시는 분들 중에서도 나중에 그런 일을 겪으실까 해서 미리 말씀을 드리면 좋습니다. 그래서 이거 작업하면서 사실 저는 초반에 사출과 노가다와 그런 것들이 많아서 내가 이걸 왜 하고 있나 뭐 이런 생각을 안 한 것도 아닌데 나름 그래도 재밌어서 보면은 역시 데이터가 최고고 뭐 데이터 마이닝을 할래도 생활데이터 그러니까 자기 데이터를 가지고 한다던가 하는 경우에야 아까도 말씀드렸다시피 데이터를 얻기가 쉬우니까 이제 좀 괜찮은데 데이터가 없어서 못하는 게 되게 많아요 이거 같은 경우에도 그 데이터 찾는 데만 이제 몇 달 정도 걸려가지고 이제 하게 된 거고 그래서 데이터를 잘 찾아서 자기가 이제 흥미가 있는 게 있으면은 그에 대한 데이터를 잘 찾아서 잘 수집하고 잘 정대로 하는 것이 최고고 그 다음에 혹시라도 이제 저처럼 또 텍스트 데이터를 어쩔 수 없이 쓰셔야 되는 분들 같은 경우에는 대부분 같은 경우에 키워드만 잘 골라 가지고 그거대로 분류를 하고 나열해도 재밌는 결과들을 얻을 수가 있거든요 뭐 저 같은 경우에는 이제 어떤 키워드에 대한 뭐 그러니까 뭐 예를 들어 그 목소리만 가지고 얘기하는 로봇들이 몇 년도에 어느 정도씩 올라가다가 뭐 요즘 들어서 이제 점점 꺾이는 추세다 뭐 이런 식으로 나오는 거라든가 이런 것들을 보실 수가 있을 거예요. 근데 이제 이런 키워드를 뽑아내는 같은 경우에는 물론 마이닝 같은 클러스터링, 그 마이닝에서 클러스터링 이법이라든가 뭐 이런 것들을 통해서 뽑아낼 수도 있긴 하지만 기본적으로는 그 데이터에 대해서 잘 파악을 하고 있으면 그 도메인 알리지가 있으면 일단 쉽거든요. 뭐 저만 해도 이제 로봇에서 그러니까 그 보이스만 가지고 나오는 AI 캐릭터가 있다는 것도 알고 있고 그 다음에 메인이 우주에서 맨날 치고받고 싸우는 그런 것들이 있다든가 아니면 경찰식으로 나온 거, 가장 유명한 것 중에 로보컵이라든가 이런 것들이 있었죠. 그런데 그 경찰이 로보컵부터 시작해서 최근에 채피까지 이런 식으로 경찰형 로봇들이 나오고 있으니까 그런 걸 찾는다든가 하는 식으로 그런 키워드를 뽑아서 그냥 간단하게 보는 것부터 시작하면 사실 잘 모르는 경우에는 굉장히 좋거든요. 그래서 혹시나, 혹시나 텍스트를 다루셔야 되는 분들은 이런 것들도 참고를 하시면 좋을 것 같고요. 그 다음에 데이터가 이제 있어도 자기가 어떤 거를 거기서 어떤 거를 보고 싶어 하는지 이제 처음에 어떤 문제정의를 해놓은 게 있으면 문제정의라든가 아니면 내가 여기서 뭘 볼 거다라는 것이 있으면 이제 그거에 따라서 데이터를 뭐 이른바 빅데이터라든가 그런 게 있어도 자기가 거기서 원하는 거를 골라서 하면은 이제 데이터 양도 적어지고 그 다음에 그거에 맞춰서 데이터들을 다듬을 수도 있어요. 그래서 이런 그 앞에서 열심히 탑재를 하는 데이터 분석의 8할이 되는 과정을 굉장히 줄이고 그 이외에도 핸들링하는 것들도 용이할 수 있기 때문에 어떤 목적이 있고 이제 그 목적에 따라서 데이터를 보고자 하는 대로 잘 조정을 해서 사용을 하시면은 재미있는 결과들을 앞으로도 얻을 수 있지 않을까 생각을 합니다. 네, 발표는 여기까지고 혹시 질문 있으신가요?

질문 제가 한번 볼게요. 그동안 시각화 중에 시각화 말씀 많이 하셨는데 재미있는 거 하나만 설명해 주시면 어떨까요? 글을 못 읽으신 분들도 있으실 수 있으니까.

네, 잠깐만요. 네, 여기... 네, 여기 그 GitHub에 소스를 올려놨는데요. GitHub에 보면은 이제 그 IPython으로 해놔서 IPython 같은 경우에는 바로 여기서 확인을 하실 수가 있어요.

아...

네, GitHub에서... 물론 이제 받아서 보시는 게 훨씬 낫긴 한데 여기서도 바로 보실 수가 있거든요.

음...

그리고 지금 플러틀리가 제대로 나오려나 모르겠는데 그래서 이거 같은 경우에는 키워드별로 목소리가 나온거라던가 아니면 그 옛날에 뭐... 뭐 더 많이 나오는 그 닥터들이 매즈 사이언티스트들이라던가 뭐 이런 분들이 개발한 그런 스토리라던가 아니면 이 얼스 쓴거 같은 경우에는 이제 그 우주쪽 에서도 이제 뭐 지구와 어쩌고저쩌고 하는 식으로 많이 싸우고 아니면은 인간형 로봇 지금은 이제 그 핸드폰 os로 더 유명하지만 원래 인간형 로봇이 안드로이드 거든요 그래서 그런 인간형으로 만들어진 이제 뭐 로봇들로 분류를 한다든가 하는 식으로 해가지고 분류를 해가지고 봤던 거고요 옆에 이제 연도별로 뭐 이런 식으로 볼 수도 있고 이거 같은 경우에는 클러스터링 했던 거고 어디갔냐

여기 그림이 있나보네요.

예 그림 이제 이건 스케치 플랫 했던거고 플러틸리가 아

그건 자바스크립트 잖아요 플러틸리가 그 약간 다이내믹하게 예 그래서 이거를

이걸 오프라인으로 만들 수도 있는데, 자기 계정이 있으면 그 계정에다가 인베디를 시킬 수도 있거든요. 그래서 이거 같은 경우, 지금 화면 나온 것 같은 경우에는 그냥 아주 기본적으로 그 연도별로 그런 로봇들이 얼마나 많이 등장했냐, 이제 이거는 간단하게 데이터를 보려고 히스토그램을 그린 거고요. 그래서 보면 이렇게 쭉쭉쭉쭉쭉쭉 증가하다가 오히려 2000년대부터 약간 줄어드는 경향이 있어요. 그래서 뭐 로봇이나 이런 것들보다는 이제 그 SF 나와도 뭐 그냥 뭐 예를 들어서 어 보자. 네, 그래비티나 뭐 이런 것들 보면은 SF이긴 하지만 뭐 로봇이나 이런 건 전혀 안 나오죠. 그래서 이런 식으로 뭐 전편 일률적인게 아니라 좀 확장되고 있다고 생각을 했었고 그 다음에

보자 아마 이제 대성님 순서로 넘겨야 할 것 같은데 로봇이 어째보면 예전에 되게 신기하고 상상속에 있었는데 이제 어느정도 현실이 됐잖아요 그래서 어째보면 뭔가 SF의 소재라기보다는 그냥 넘픽션의 소재가 되지 않나 이런 생각도 좀 듭니다

네, 일상으로 많이 넘어와서. 그래서 이런 식으로 그냥 재밌는 것들 보시면은 여러모로 도움이 되지 않을까 하는 생각을 합니다.

네, 발표 너무 감사드리고요. 자세한 내용은 브런치에서 보실 수 있다고 그러셨죠?

네, 브런치에 기타 링크도 있고 하니까 거기서 확인을 하시면 될 것 같습니다.

네, 감사드립니다.

네, 들어주셔서 감사합니다.

그러면 대성님 이렇게 카메라 넘길게요. 간단히 자기소개 부탁드리고요. 그리고 이제 발표해주시면 될 것 같습니다.

안녕하세요. 저는 유대성이라고, 목소리 괜찮나요?

네, 목소리 괜찮습니다.

네, 유대성이라고 하고 지금은 저도 데이터 쪽 분야에 관심이 생겨서 머신 러닝을 비롯해서 데이터 분석하는 쪽을 공부하고 있습니다. 저는 원래 게임 회사에 있었는데 거기서 우연히 라이브 운영 같은 쪽을 기획하다가 데이터를 활용해서 하면 더 좋은 효과가 난다는 걸 알게 됐어요. 그때 잠시만 했던 것을 보여드리면 잘 보이시나요?

마비녹이라는

MMORPG 쪽을 기획을 했었는데 당시가 아마 2012년도, 2011년도인데 그때는 데이터 마이닝이라던가 빅데이터가 국내에 약간 소개될 때였던 것 같아요. 제가 회사에서 IT 잡지 같은 거를 심심할 때 주로 읽었었는데 그러다가 데이터로 활용하면 인사이트를 얻을 수 있겠다. 저도 그런 환상 속에서 시작을 하게 되었죠. 그래서 그런 걸 어떻게 활용하면 좋을까 이런 식으로 해서 뭐 이제 데이터를 보면 내가 기획을 하는데 더 좋은 활용을 할 수 있겠다 해서 아 데이터라는 게 정말 좋겠구나 그럼 내가 어떻게 공부를 하지? 그래가지고 이제 통계학 책? 그런 거를 처음에는 읽게 됐어요 근데 통계학 책을 읽다 보니까 참 어렵더라고요 혼자 공부하는 게 그래가지고 아 이거 내가 혼자 할 수 있는 건가? 이런 생각을 하게 되고 그 이후에는 게임 회사를 퇴사하고 데이터 쪽을 좀 더 전문적으로 공부해서 내가 생각하는 아이디어들을 뭔가 제가 직관을 갖고 있어도 근거가 되는 데이터가 없으면 사람들은 믿어주지 않잖아요. 그런 걸 내 스스로 만들어 보는 능력을 키우고 싶다. 그렇게 해서 생활 데이터라는 것을 혼자 모아보고 내가 운동한 기록, 내가 채팅한 기록 이런 걸로 나란 어떤 사람인가부터 데이터 분석을 시작하고 요즘에는 머신러닝이라는 부분을 좀 배우면서 좀 더 공공적인 일, 그런 쪽도 데이터 분석을 할 수 있겠다라는 생각을 갖고 계속 진행을 하고 있습니다. 그래서 이번에 독거노인 프로젝트도 화면 보여주셔도 될 것 같아요.

지금 약간 그러면 페이지로 화면을 좀 넘겨줄 수 있을까요?

이 페이지 보이시나요? 사실 독거노인을 하게 된 이유도 약간 그런 부분이 있는데 제가 공모전 같은 걸 하는 걸 좋아해요. 그래서 예전에 공모전을 1년 전쯤에 수행을 할 때 독거노인 문제를 우리나라도 문제인데 원래 일본도 문제였고 지금은 중국 쪽이 굉장히 문제가 된다고 하고 있더라고요. 그래서 이런 문제를 어떻게 풀면 좋을까 해서 그런 쪽을 약간 기획을 해봤어요. 독거노인 이라는게 점점 심각해지고 있고 독거노인에서 가장 문제가 되는게 혼자 고독사하는 부분이 가장 문제다 이 부분을 어떻게 풀면 좋은가 해서 유럽에서 청소년과 독거노인이 같이 사는 코로케이션이라는게 있더라구요 그래서 이 부분을 기획을 하고 싶었고 근데 데이터로써 과연 청소년과 어르신을 그 매칭을 해주는데 어디에 어르신이 많이 살고 청소년들은 어디 많이 살고 싶어 하고 이런걸 데이터가 필요할 것 같더라구요 근데 아까 발표자님이 말씀해 주셨듯이 이게 데이터가 막 잘 되어있지가 않아요 제가 뭔가 기획을 하려고 해도 그럼 이제 제가 스스로 해야 되는 상황이 온거에요 그래서 시작한게 바로 이 프로젝트 였습니다 일단은 한국을 한국을 타겟으로 잡고 그 중에서 현재 가장 데이터가 잘 만들어진 서울시 내에서의 분석을 한번 해보자라고 해서 같이 공부하는 친구들 양치복님과 기철님하고 해서 3명이서 이 프로젝트를 간단하게 데이터로서 어떻게 풀 수 있는지를 한번 진행해봤습니다.

그러니까 그 목적은 거주지를 일단 그 문제, 독거노인 문제라는 게 사실 굉장히 복잡한 문제일 수 있는데 거주지를 지금은 집중을 하신 거네요? 어디에 주로 거주를 하시는지를 알아서 그다음에 청소년들과 연결해드릴 수 있는 그런 목적으로 오죠?

네, 그러니까 어디에 독거노인 분들이 주로 앞으로 많이 생기게 될지 그래야 이제 그 지점에 문제가 뭔지 그리고 그 지점에 청소년들이 많이 가게 될지 가장 먼저 초기로 접근하기 위해서 지점을 가장 먼저 데이터화 시켜보고 분석을 해보고 예측을 해보자 라는 접근으로 시작을 하게 되었습니다. 그래서 지금 프로젝트 목표와 개요는 앞에 설명드린다고요. 데이터셋은 이제 서울 열린데이터 광장에서 요즘 대한민국의 정부 3.0이라고 해서 공공데이터들을 이제 공유하는 움직임이 있는데 그래서 이제 서울시만큼은 되게 데이터가 잘 돼 있더라고요. 아까도 얘기가 나왔지만 데이터는 가공하는 데만 80%의 일이 들기 때문에 저는 데이터를 처음 만지는 사람으로서 그 부분이 너무 부담스럽더라고요. 그래가지고 가장 데이터가 잘 모여있는 데를 일단 타겟으로 잡고 선점하게 되었습니다. 그래서 데이터 전처리 과정은 지금 아까 전문적으로 하셨던 부분보다 좀 더 쉽게 할 수 있었습니다. 그래서 저는 생활 데이터를 이렇게 얻을 수 있는 부분이 있다는 게 정말 좋더라고요. 그래서 지금은 이제 공공 데이터 같은 게 많이 공유가 되고 있어서 만약에 도시 문제 쪽이나 공공 문제 쪽에 관심이 많으시면 이쪽 데이터를 많이 활용해 보시면 좋을 것 같고요. 저는 이제 이거 분석을 어떤 식으로 할까 하다가 일단 회기 분석을 하기로 마음을 먹었습니다. 아까 말씀드린 대로 지역별 돋보노인 수를 알아내고자 그것은 이제 타겟 Y축으로 회계 분석의 Y축으로 잡고 나머지 이제 독립변수라고 통계학적으로 얘기하는데 X 피처들을 서울시 동마다의 장애인수, 화재 발생 건수, 그리고 은행 지점수 노인복지시설, 전입인구, 전출인구 이렇게 해서 6개 정도의 피처로 했고요. 샘플이라는 건 서울시내 동별자료이기 때문에 서울시내에는 422개의 동이 있습니다. 샘플 수가 422개가 된 거고요. 그래서 이제 Python, Jupyter 노트북으로 세팅 같은 걸 하고 쭉 데이터를 아까 말씀드린 홈페이지에 이러한 자료들이 csv같은 걸로 각각 따로 되어있는데 그걸 하나로 통합하고 그리고 데이터 분석을 하려면 맨 처음에는 눈으로 보는게 가장 중요하다고 저는 배워가지고 일단은 저도 페어플러스로 한번 그려봤습니다. 여기 보면은 older라고 되어있는 부분이 아까 말씀드린 독거노인 target 쓰고 그거에 따라서 첫번째 독립변수인 장애인 수가 선형을 띄고, 뱅크 수가 약간의 선형을 띄고, 시니어센터가 생각보다 낮은 선형을 띄고, 전출인구수, 전입인구수 이런게 시각적으로 얼만큼 선형을 띄고 분폭이 어떻게 되어있나를 한꺼번에 한번 살펴봤고요. 여기만 봐서도 이제 시니어센터가 일단은 약간 관계가 없는게 나오는데 제가 가정을 하기에는 시니어 센터라는 게 서울시에서 독거노인뿐 아니라 어르신들을 잘 보살피기 위해서 잘 지어졌을 거라는 가정으로 이 독립변수를 넣은 거였는데 실제로 눈으로 보니까 안 그렇더라고요. 그래서 이제 세세한 데이터 분석으로 계속 넘어가게 되면

재미있네요. 시니어센터가 어찌 보면 노인분들의 인구수에 맞춰져 지어져야 할 것 같은데 그럼 이게 어찌 보면 정책상의 문제를 서유식 만약 관계자분이 이걸 보시면 실제로 정책상의 문제가 있구나 이런 생각을 하실 수도 있을 것 같고 그리고 저는 궁금한 게 회기 분석을 하셨으면 독가 노인 수를 예측하시는 거잖아요 어찌 보면 사실 그 데이터는 이미 나와있죠? 서울시 자료에.

서울시는 1년마다 나오긴 하죠.

만약에 이걸 하시는 이유가 저는 이제 어찌 보면 예측문제를 푸는건데 도커낸수를 모르는 경우에 다른 변수를 예측을 할 수 있다. 어떤 동기에 사셨는지 궁금합니다.

네, 그런 질문을 하실 수 있을 것 같아요. 제가 아까 말씀드렸듯이 지금은 일단 서울시만으로 했는데 사실은 원래 중국쪽 문제를 풀기 위해서 이 프로젝트를 시작했었거든요. 중국에는 데이터를 구할 수 없잖아요. 잘 정리되어있는지 안되어있는지도 아직 파악은 안됐지만 그래서 간접적으로 알아내는 예측법을 사용한거에요 그리고 서울시 말고도 다른 도시의 독거노인이 제가 자료를 보니까 서울시처럼 이렇게 완벽하게 되어있지 않아요 심지어 서울시도 어떤 동은 자료가 제대로 안되어있어가지고 이게 정확한 자료만으로 정확하게 자료가 이미 만들어져 있다고 얘기하기가 어렵더라고요. 그래서 이런 회계 분석 모형으로 예측을 해야겠다는 발상을 하나 했고, 아까도 말씀드렸듯이 이 문제를 해결하기 위해서는 현재에 돋보놓은 내 계신 지점보다 앞으로 어떻게 될 것인가를 알아내야 되는 게 더 중요하겠더라고요. 그래야 이제 학생들에게 뭔가 노인분들과 주거를 연결시켜 줄 수 있는 문제를 이쪽 동네로 가면 더 좋겠다. 그리고 이쪽에는 대학교가 있으니까 더 연결하기 쉽겠다. 아니면 이쪽에는 이제 뭐 도시가 발전하고 있으니까 학생들을 더 끌어모을 수 있겠다 해서 약간 예측성이 필요한 부분이 있어서 제가 회계 분석을 하게 됐습니다.

저는 굉장히 잘 설명해주셨고요. 그게 사실은 그런 의미에서 기존에 어찌 보면 완벽한 데이터가 있는 서울시를 가지고 모델을 만들어서 데이터가 불완전한 지역이나 아니면 중국 이런 데에 어떤 예측을 할 수 있다. 독거노인의 수라는 우리가 관심을 갖는 변수를. 좋은 생각이신 것 같고. 그런데 한 가지 중국, 사실 그건 필요한 가정이 저는 생각이 드는 것은 중국 쪽이랑 우리나라랑 어찌 보면 변수 간의 관계가 비슷하다는 가정이 있잖아요. 지역만 해도 비슷할 것 같은데 중국까지 이 모델을 그냥 쓸 수 있을까 생각은 드는데 그래도 예측 결과가 있는 게 아예 없는 것 보다는 나을 수 있을 거라는 생각도 들고 어쨌든 좋은 설명 감사합니다.

저도 중국 쪽을 일단 생각을 했는데 확실히 말씀하신 게 맞아요. 이게 환경이 다르기 때문에 아마 그쪽에는 아예 모형을 다시 만들어야겠죠. 그런데 일단은 인사이트를 얻는 정도? 생활에서 갖고 노임이 어떤 거랑 상관계가 있을까. 아까 제가 독립변수로 말씀드린 뱅크랑 화재수 사실 저는 조원들하고 같이 하면서 이 부분은 전혀 관계성이 없을 거라고 생각을 했는데 같이 리포트를 보시면, 뱅크랑 화재수의 코이피션을 보시면, 의외로 파이어라는 게 동별로 화재 발생 건수가 많은 게 관계가 있다고 나타나더라고요. 저는 여기서 약간 놀랐습니다. 왜 두꺼노인이 사시는 곳에 화재 발생수가 많을까? 그래서 팀원들끼리 논의를 하니까 팀원들 중 의견이 아무래도 그쪽이 뭔가 보안이나 치안이 취약하고 그리고 더권 의인이 있으면 돌봐줄 사람이 없기 때문에 이런 화재 같은 것도 발생할 우려가 많다 그래서 아마 선영관계가 있을 것이다 라는 식으로 이제는 결론이 나왔고요.

근데 그... 정민님 말씀하세요.

저 데이터들 보다 보면은 사실 그런 되게 관계없는 것들끼리도 상금관계까지는 나타나는 경우가 많아요. 근데 사실 그런 거에다가 그것들이 모두 다 의미하다고 해가지고 해석을 붙이게 되면은 좀 이상한 걸까 되게 말도 안 되거나 아니면 좀 무리하게 결론을 내리는 경우들도 있을 수가 있거든요. 그래서 물론 그렇게 생각을 해보는 것은 좋긴 한데 특히 단순한 상관관계만 가지고 어떤 결론을 끌어내는 것은 좀 여러모로 확인을 해봐야 되는 게 아닌가 하는 생각은 합니다.

음 그렇군요.

예 그러니까 저는 이제 들으려는 말씀이 그리고 이제 그러니까 되게 잘 하셨어요. 되게 잘 하셨고 저는 이제 되게 흥미있는 분석인데 이제 제가 또 이제 데이터를 많이 보다 보니까 이제 좀 보이는 것은 그 거기 보시면 옆에 T값이랑 P밸류가 있잖아요. 지금 거기 보시면 이 값들이 보면 사실은 위에 그 disable이 어떤 속성이죠?

그게 장애인수입니다.

제가 정확하진 않은데 제가 생각할때는 이게 값이 p-value를 봤을때는 유의미한 상관각이 있는것 같지는 않아요. 사실 coefficient 절대값은, 정미님 맞나요? 제가 하는 말이. 제가 이걸 써보진 않아서.

이게 p-값이 그래서, 맞습니다. 이게 0.01보다 크면 유의미하다고 볼 수가 없기 때문에 분석해서 앞으로 떼게 됩니다. 그 과정이 혹시 그 부분을 질문해 주신 거 맞나요?

네 맞습니다. 그래서 같이 보시면은 아마 물론 이제 어느 정도는 있다고 생각하실 수도 있는데 이제 그런 것까지 생각하면 조금 더 고려사항이 많아진다는 거죠?

맞습니다. 그게 회계 분석의 어려운 점이죠. 그래서 진행을 쭉 따라가 보시면은 회기 분석을 할 때 절평값을 넣어줘야 되거나 안 넣어줘야 되거나 선택사항이 있습니다. 이부분은 절평값을 넣어서 모델의 성능이 더 나오면 넣어주면 되는거고 빼서 성능이 더 좋으면 빼면 되는건데 통계학 하시는 분들은 이거를 반드시 넣어야 된다는 생각을 가지고 저는 그렇게 배웠었는데 실제로 해보니까 그건 선택사항이라고 말씀을 해주시더라구요. P-value 0.01과 0.05로서 이게 유의미하냐 무의미냐를 봐야되는데 이게 절평값을 넣어주니까 P-value 값이 또 변했죠. 그리고 모델 성능이 올라왔고요. 그래서 저는 이제 절평값을 유지하면서 절평이라는게 정확히 뭔가요?

제가 한글 효과가 좀...

Interpret Intercept Intercept 값입니다. 그래서 여기까지는 일단 한번 정리를 했는데 p-value가 0.01, 저는 0.01로 분석을 할 땐 잡았습니다. 이건 0.05로 잡을 때도 있다고 하고 분석마다 각각 선택사항이 다르다고 일단 저는 알고 있고요. 그래서 p-value가 0.01보다 큰 값은 일단 유의미하지 못함으로 독립변수를 뺀다라고 일단 분석을 계속 진행을 했습니다. 그래서 아까 말씀해주신 대로 p-value가 안좋은 것들 bank, moving out 그러니까 bank 은행수 동변 은행수 그리고 moving out 인구 전출수 그리고 senior center 이 부분이 사실 저는 분명히 좀 좋게 나와야 된다고 생각했는데 의외로 안나와서 결론적으로 빼게 됐고 전입인구수도 이제 빼게 돼서 결론적으로 최종 사용하게 된 피처는 딱 두개입니다. 여기서 보시면 p-value 값이 0.01로 선형성을 강하게 나온다는 가정을 만족한다고 하고 결론이 2개의 피처만 있어도 33%정도로는 독거노인의 수를 약간 선형성 있게 예측할 수 있다라고 이제 결론이 나고 이제 아웃라이어를 빼야겠죠 그래서 아웃라이어를 이제 눈으로 살펴봤습니다 아웃라이어를 이렇게 살펴보니까 레버러지 값은 있는데 이제 영향도가 큰 이제 y축 세로가 이제 영향도거든요 아 아니다 죄송합니다 세로축이 이게 레지듀얼 Error 부분이고 가로측이 Leverage 영향력 부분인데 요거 보시면 위에 3개가 Residual 값이 제일 큰게 나오죠 그래서 얘네가 도대체 어딘가를 이제 한번 살펴봤습니다 그러니까 한국에서 구로 5동 그리고 구로 3동 방화 2동 이렇게 나오더라구요 그래서 이 부분은 이제 따로 여기 분석표에 넣고 따로 이제 알아본 결과인데 이 Outlier는 아웃라이어로 보이는 3개 동네는 택시업 종사자가 굉장히 높더라고요. 다른 동네에 비해서 특히 방화 2동하고 9호 3동은 각각 2위 3위고 제가 우연히 방화 2동 쪽에 살고 있습니다. 왜 그런가 봤더니 방화 2동은 김포공항 근처에요. 김포공항 근처고 옛날부터 택시업이 성행한 곳이고 이제 나이가 지긋하신 어르신들이 이 부분에 택시업계를 좀 꽉 잡고 계시거든요. 그래서 아마 이 부분에 독거노인이 다른 동네보다 굉장히 많은 걸로 나오는 걸로 알고 있습니다. 그래서 아마 약간 상관관계가 있게 나오고 그래서 다른 동네와는 좀 맞지 않은 아웃라이어로 아마 지금 보여지고 있는 것 같습니다. 그리고 아까 말씀드렸듯이 시니어센터, 노인복지센터가 선용성이 맞지 않아서 이 부분이 수요와 공급관계가 불균형하다고 일단 생각이 되고 있습니다. 질문이나 다른 의견 있으신가요? 아까의 질문에 답변이 됐을까요?

저는 되게 재미있네요. 아웃라이어 보신 것도 재미있는 것 같고

예,

이제 뭐 간단히 마무리 해주시면 될 것 같아요.

그래서 아웃라이어를 제거했더니 모형이 이제 R스케어 값이 좀 높아지고 그래서 이제 아웃라이어를 제거하고 무의미한 피처를 제거하면 선형 분석에 모형을 개선할 수 있고 이렇게 눈으로 볼 수 있고 이제 크로스 밸리데이션 테스트를 하고 머신러닝에서는 OLS 말고도 이제 서포트 벡터 머신을 쓰는 부분이 있는데 그걸 쓰면 효능이 더 올라갈까 해서 한번 써봤습니다. 근데 보시면 R2 값이 이제 리니어 서포트 벡터 리그레이션을 썼을 때 0.43으로 OLS보다 낮죠. 그래서 이 부분은 굳이 서포트 벡터 리그레이션을 쓰지 않아도 된다라는 부분까지 결론이 나왔고 이제 실제로 최종 테스트를 해보면 이게 이제 아까 말씀하신 대로 서울시는 이게 독거노인 조사가 잘 돼서 자료가 있습니다. 그래서 어느정도 일치하는지 제가 예측한 모형하고 이제 샘플을 다 스케터 플러스로 찍어봤더니 요런식으로 중앙에 있는 샘플들은 잘 잡아내고 요런 부분들도 약간 예측을 가능한 것을 볼 수 있구요. 이거는 일단 서포트 벡터 리그레이션으로 약간 효과가 떨어지는 부분인데 최종적으로 더 효과가 높았던 OLS 부분을 보시면은 요렇게 잘 일치하는 부분을 좀 더 잡아내는 것을 볼 수 있습니다. 그렇게 해서 최종 마무리로 빨간색, 녹색이 각각 예측과 빨간색 동그라미가 실제 미래라고 미래의 2013년에 덮어놓은 수고 녹색 네모가 OLS로 예측한 모델로 나온 예측값입니다. 그래서 최종 결론이 OLS 모델이 제가 한 거에서는 선형성이 높아서 모델 성능이 높고 독거노인 수는 생각 이외의 장애인 수와 화재 발생 건수와 선형관계가 0.45 정도에 있고 독거노인 수와 은행수 그리고 심각하게도 노인복지시설수와는 관계가 있지 않은 걸로 보인다 라는 게 일단 제가 생활 데이터로 낼 수 있었던 결론입니다. 물론 아까 말씀하셨듯이 이렇게 성급하게 결론을 내는 것은 위험하고 좀 더 다른 것을 살펴봐야 되고 그리고 선형성에서 0.4, 0.5 정도로 뛰는 것은 실제 생활에서는 자주 있는 일이지만 이것만으로 관계가 있다고 결론 짓기는 어렵다고 하더라고요. 통계학적으로 그래서 일단은 여기까지가 제가 분석한 부분입니다.

아 예 너무 감사드리고요. 사실 데이터 뭐 그렇게 많이 올해는 공부 안 하셨다고 하셨는데 굉장히 뭐 훌륭한 분석 하신 것 같고요. 제가 한마디만 더 드리면은 사실 지금 예측 문제이기 때문에 지금 처음에 피처 셀렉션 같은 것도 하시고 하셨는데 최근에 나오는 보스팅이나 아니면 예를 들어 랜덤 포레스트 같은 모델을 사용하시면 그런 모델은 모델 자체에서 퓨처 셀렉션을 많이 해주거든요.

네, 맞습니다.

굳이 안 하셔도 좋은 결과가 나올 수도 있을 것 같아요. 그런데 그런 거는 해석이 힘들기 때문에 사실 해석과 예측 성능을 둘 다 잡으려면 둘 다 해보는 게 좋은 프랙티스인 것 같고요. 어쨌든 너무 감사드리고 다음에도 다른 분석도 지금 하신 것 같은데 그게 어떤 거죠?

생활 데이터죠. 프로듀스 101을 보고 계시는 분들이 있으신지 모르겠는데 저는 1화가 나올 때 이 데이터를 배우고 있었거든요. 생활 데이터 쪽을. 이거 한번 예측을 해보고 싶다는 뭔가 취미, 정말 생활에 관련된 그런 부분을 지금 수행하고 있습니다.

예 그 다음에 해주시면 좋을 것 같아요 이제 시간이 한 5분 정도 남았는데 제가 최근에 그 했던 제 화면 보이시나요?

아직은 안보이는데 아, 그래서요? 네, 그 화면 그... 쉐어로 좀 해주시겠어요? 그 작은 화면은 나오는데...

네, 저 화면 보이시나요?

이게 제께 나오고 있는 것 같은데?

네...

잠깐만요... 예, 이제 보이시죠? 이거는 한 5분 정도 남았기 때문에 자세히는 보여드릴 시간이 없을 것 같은데 이거는 제가 간단히 말씀을 드리면 파워비아이라는 툴이 저희 회사에서 엑셀을 가지고 데이터 툴이다 이렇게 해서 저도 최근에 책을 소개하기도 했지만 사실 시각화 기능이 많이 부족하긴 했거든요 그래서 제가 여러가지 이제 핵을 좀 쓰다가 참 좌절을 했던 기억이 있는데 Power BI라는 툴이 이제 최근에 굉장히 좀 그런거를 좀 쉽게 좀 고급 나름은 고급 시각화를 쉽게 해주는 툴이 나와서 예 이거를 이제 한번 자세히 소개하기 전에 그냥 간단히만 말씀을 드리고 싶어서요 그래서 여기 보시면은 여기 그냥 저희 홈페이지 가서 무료로 let's get dark 버전을 받으실 수가 있구요 그리고 이제 제가 간단히만 예제를 보여드릴게요. 우선은 이게 제가 책에도 사용했던 mpg 데이터셋이고요. 이걸 그냥 어떻게 한거냐면 이 데이터를 그냥 로드할 수가 있어요. get data 여기 화면이 있어서 여기서 이제 데이터 텍스트 선택한 다음에 데이터를 이제 불러오실 수가 있고요. 여기 보시면 MPG 텍스트 파일 설정하셔서 불러오실 수가 있고 불러오신 다음에는 쓰시는게 사실은 그냥 간단히 말씀을 드리면은 피버 테이블 쓰는거랑 비슷해요 피버 테이블 보시면은 여기 그 필드들 나오죠 여기 그래서 뭐 그 MPG 데이터 세트 각각 필드가 여러가지 나오고 그 필드를 갖다가 어떤거는 X축에 X축에는 없고 지금 여기 보시면은 데이터의 디테일은 모델 레전드는 클래스 뭐 그 x축, y축 뭐 이거 다 연비데이터고 그 다음에 이제 그 scatter plot이니까 여기서 각 그 점의 크기도 여기서 설정할 수가 있거든요. 이렇게 해놓으면은 이거는 이제 레전드는 약간 카테고리고 어 그리고 디테일은 이제 데이터 클릭했을 때 나오는 어떤 값 같은 건데 여기 보시면은 데이터, 각 데이터 이제 각 데이터를 이렇게 디테일을 볼 수가 있고 이 툴이 좋은게 뭐냐면 여기 플랫이 3개가 있잖아요. 이거는 도시 연비와 하이웨이 연비의 어떤 상관광이 나타나는건데 그리고 크기는 displacement가 배기량이거든요. 배기량이 크기가 되고 여기 보시는거는 도시 연비와 하이웨이 연비의 양의 상관광이 있으면서 배기량이 높은 차들이 여기 보면 원액 크기가 더 크죠? 배기량이 높은 차들인데 그런 차들은 연비가 낮다. 제가 그때 이건 제가 책에도 사용했던 예제인데 여기 다시 이렇게 쉽게 볼 수가 있어요. 그러니까 이거는 엑셀에서 이게 안돼요. 엑셀에서 이렇게 차원이 여러개인 scatter plot을 그릴 수가 없는데 여기서는 그게 굉장히 쉽다. 그래서 이거를 한번 사용해보셔야 좋을 것 같고 그리고 이제 여기서 이 plot이 여기 3개가 있는데 각각이 또 연결이 돼요. 그래서 제가 예를 들어서 이걸 클릭을 하면 지금 이 Dakota Pickup이라는 트럭인데 이 차종의 연비가 여기 보시면 전체의 평균 연비보다 떨어진다. 그런 것도 아실 수가 있어요. 그러니까 이 플랫, 이 플랫, 이 플랫이 다 연결이 되어있는 거죠. 그리고 이제 여기는 플랫을 특정한 어떤 차종 카테고리만 가지고 플랫을 여러 개 선택하면 여러 플랏, 데이터의 일부만 선택해가지고 플랏 그릴 수도 있고 그럼 여기 보시는 것처럼 이 세 값이 다 같이 바뀌고요. 그리고 뭐 이게 또 시간 축을 넣으면은 다시 원래대로 돌아가서 예, 데이터가 지금 보면은 1999년, 2008년이 있는데 제가 여기다가 지금 해놓은게 그 시간축이 있어요, 데이터에. 그래서 플레이 액세스라는게 시간축이에요. 데이터가 만약에 여러 타임 시리즈처럼 되어있는거는 데이터를 갖다가 이제 다른 시각에 따라서 시간에 따라서 데이터의 추세가 변하는 것을 보실 수가 있어요. 지금 보시면 1999년은 이랬다가 2008년에는 이렇게 됐고 보시면 많은 것들이 이제 위로 올라가죠. 연비가 좋아진거죠, 2008년에는. 그러니까 그런식으로 시간에 따른 연비 변화도 볼 수가 있고 사실은 엑셀을 쓰다가 시각화 기능이 부족하다 그러면 이걸로 데이터를 임포트 해가지고 보시면 꽤 괜찮은 도구가 아닌가 이런 생각이 들어서 지금 간단히 소개를 했고요. 여기 문서가 있어요. 문서가 꽤 자세히 되어있는데 영어라서 조금 아쉽긴 하지만 제가 시간 받는대로 조금 소개를 더 자세히 한번 해보려고 생각을 하고 있습니다. 어쨌든 지금 생활 데이터 정모 또 이 두분의 멋진 분석을 제가 참 들을 수 있어서 영광이었고요. 오늘 뭐 간단히 소감 한말씀 해주시고 그 다음에 마무리 할까요? 고마워

발표는 처음 해봤는데 맨날 듣기만 하다가 해보다보니까 이것도 나름 재밌고 요즘에 공유되는 것도 많으니까 재밌는 내용, 발표도 많이 들었으면 좋겠습니다. 오늘 재밌었습니다.

감사합니다.

네, 저는 정민님처럼 전문가도 아니고 통계학적으로 뭔가 좀 딱 명확하게 설명을 할 수 없었던 점이 좀 아쉬운 것 같고 질문을 벌써 통계학적으로 뭔가를 주시더라고요. 그런 부분을 좀 더 제가 공부해서 다음에는 또 명확하게 좀 할 수 있게 다음 발표는 제가 정말 재밌어하는 분야니까 할 수 있는 기회가 있으면 더 좋을 것 같습니다. 감사합니다.

감사합니다. 예, 뭐 지금 대성님께서 통계학적 그런거 말씀하셨는데 사실 통계가 저도 물론 공부하는 입장이지만 통계를 그냥 약간 기술이라고 생각하셔야 돼요 그게 통계를 모르면 데이터를 만지면 안된다 이렇게 생각하실 필요는 없고요 그냥 데이터의 약간 직관으로 시작을 하셔가지고 통계 필요할 때 어떤 결론을 내리기 전에 통계에 도움을 받는다 이렇게 생각을 하시고 결국에 데이터에 대한 직관이 사실은 통계를 통해 검증받는, 약간 그렇게 생각을 하셔야지 통계적 기법들도 사실은 다 정민이도 아시겠지만 다 여러가지 가정이 있고 그 가정 안에서만 성립하는 거고 다 100% 확률을 주는 거죠 우리가 결론을 내릴 때 몇 맞는다 틀린다 이런 걸 확률을 주는 건데 불완전한 거니까, 물론 최대한 활용을 하셔야 하지만 그것 때문에 너무 기죽으실 필요는 없을 것 같습니다. 어쨌든 이렇게 정모가 끝났는데요. 시간 내주셔서 감사드리고 아시는 대로 유튜브에 올라가는 동영상이라서 나중에 보시는 분들도 보시고 궁금하신 거 질문 주시면 다시 한번 참여해주셔서 감사드리고요. 그럼 다음에 뵙겠습니다. 감사합니다.