생활 데이터 정모 (2016년 1월)

저는 첫번째 세션으로 R을 이용한 부동산 데이터 분석 케이스 스터디에 대해서 말씀을 드리고자 합니다 사실 이 자료는 작년 중반에 이미 작성을 했었던 자료에요 제가 미리 공지에다 올리긴 했었는데 공지에 올리진 않았나요? 개인 메시지로 올렸던 것 같네요 통계청에서 기고를 했었던 그런 자료, 기고를 하려고 했었던 그런 자료였는데 몇 가지 사연으로 인해가지고 기고를 못하고 키핑해놨었던 자료입니다. 그걸 기반으로 말씀을 드리고자 하고요. 질문이 있으시면 채팅메시지로 주시면 좋을 것 같습니다.

대화방에서 올리시는 메시지는 제가 희원님께 질문하겠습니다. 방송으로 들으시는 분들은 그렇게 하시죠.

시간은 어느 정도까지 쓸 수 있나요?

일단 20분 정도 하시고요. 다른 두 분도 계신데 20분 정도 하시면 될 것 같아요.

네 알겠습니다. 빨리 진행을 해야겠네요. 일단 크게는 3가지 부분으로 자료가 구성이 되어있습니다. 첫 번째로는 분석 데이터 수집과 데이터 얼개 살펴보기와 그 다음에 혹시 커서 보이나요? 커서?

예, 보입니다.

그리고 두 번째로는 아파트 매매 추위에 대한 어떤 그런 분석에 대해서 좀 말씀을 드릴 거고요. 그 다음에 전셋가율 분석을 마지막으로 해가지고 마무리... 예상했던 일이 일어났네요.

라이브의 묘미죠, 라이브의 묘미.

아기가 금메달을 메고 들어왔어요. 멋지다고. 이렇게 전색가율 분석을 마지막으로 마무리 짓도록 하겠습니다. 사실 매매 추이랑 데이터 수집 같은 경우는 제가 블로그에 미리 공개를 했었던 내용이에요. 마지막 전색가율 분석은 예전에 공유하지 않았던 그런 내용입니다. 일단 이 자료는 이 뒤에 제가 공유를 드릴 거고요. 이걸 처음에 제가 분석을 하게 된 이유는 무주택자이기 때문에 아무래도 집을 언제, 어느 가격으로 구매를 해야 되는지 하는 그런 분석을 조금 해보고 싶어서 진행을 했었습니다. 작년 한 중반에 좀 열정적으로 그 데이터 수집부터 분석까지 좀 해봤었고요 그 분석들 중에 하나입니다 이것보다 좀 더 많은 분석이 있긴 한데 블로그에 올리지도 않고 키핑해놨던 분석들이 좀 있긴 한데 그거는 나중에 기회가 되면 말씀을 드리도록 하겠습니다 일단 우리가 그 의사결정을 많은 의사결정을 세상을 살면서 하게 되죠 예 근데 의사결정에 영향을 끼치는 것은 그 주관적인 측면의 어떤 그런 정보, 아니 정보라고 해야하나, 주관적인 판단 그런 경험, 그런 것들하고 그 다음 객관적인 정보들을 기반으로 판단하게 되는데 우리가 매일매일 어떤 어떤 메뉴를 먹지, 어떤 걸... 대부분 주관적인 측면이 많이 강하게 그 개입을 하게 되죠. 거기는 이제 여러 미디어들에서 쏟아져 나오는 정보와 해석들이 주로 어떻게 보면 믹싱이 돼가지고 그렇게 발현이 되는 건데 이런 어떤 잘못된 정보 혹은 정확한 정보들이 어떻게 보면 주변에 많이 있는데 어떻게 보면 객관적인 정보를 기반으로 진짜 어떻게 보면 분석을 통해서 좀 더 어떤 주관적인 측면의 판단을 좀 더 적절하게 보완할 수 있지 않을까 하는 그런 생각을 가지게 되면서 실제 데이터를 수집하고 분석을 진행을 해봤습니다. 일단 데이터 분석을 하기 위해서는 수집을 해야 되겠죠. 근데 이제 다행히도 국토교통부 실거래과 홈페이지에서 이 데이터를 공개를 하고 있습니다. 근데 지금 안타깝게도 제가 이 코드를 작성했을 당시하고 지금하고 그 웹페이지 구조가 바뀌었습니다 그 부분에 대한 설명이 여기 나와 있는데 제가 간단하게 코드가 어떻게 구성되어 있는지만 설명을 드리겠고요 이걸 이제 구조가 변경된 구조에 따라서 바꿔서 쓰셔야 돼요 지금은 현재로써 근데 제가 아직 그 바뀐 사이트 구조를 좀 어떻게 보면 분석을 하지 못해 가지고 그 코드는 좀 그 반영이 되어있지 않고 예전 코드가 반영이 되어있습니다. 그래서 결과적으로 이제 아파트의 매매 건담 데이터들이 이제 result sales dt.rdata 파일로 적재를 지키는 어떤 그런게 요 코드의 목표입니다. 그래서 보시면 rbest라고 해가지고 웹데이터 수집하고 저장을 위한 패키지고요. 그 다음에 htr이라고 rbest의 저수준 api를 지원하는 패키지를 사용했고요. 그 다음에 스트링 처리를 위한 패키지하고 그 다음에 국토교통부 실버랩과 데이터를 제공하기 때문에 xlconnect라는 패키지도 사용을 했습니다. 그리고 약한 500만건의 데이터를 핸들링 해야 되기 때문에 데이터 프레임으로는 약간 좀 불편합니다. 그래서 데이터 테이블 패키지를 사용해가지고 분석을 수행을 했습니다. 일단 웹브라우저가 R프로세스가 웹브라우저처럼 인식을 하기 위해서 이런 코드들이 좀 들어가고요. 그 다음에 어떤 파일이 적재가 페일됐는지 로깅을 하기 위한 어떤 코드들도 들어가게 됩니다. 게시판 형태로 데이터를 제공을 하기 때문에 게시판 번호의 최대 값을 가져온 다음에 최대 값부터 가장 낮은 값까지 쭉 훑어 내려가는 어떤 그런 코드 구조를 가지고 있습니다 그래서 포문으로 돌게 되고요 그 다음에 뭐 각각 페이지를 게시판 페이지를 비짓하면서 이런 텍스트가 존재하면 텍스트에 대한 어떤 그 해당 자바스크립트 다운로드 그 어떻게 보면 텍스트를 인식을 한 다음에 거기서 어 파일명과 그 어 태그 아 파일명과 링크 정보를 좀 추출해가지고 다운로드를 계속 이제 받게 되는 어떤 그런 형태로 좀 구성이 돼 있습니다 자세한 내용은 제가 설명을 드리진 않겠습니다 예 왜냐하면 이제 그 크롤러 그 코드 같은 경우는 자주 바뀌기도 하고 전체적으로 페이지가 어떻게 구성되어 있고 어떤 식으로 수집을 해야 되겠다 그런 전략이 세워지면 항상 바뀔 수 있는 어떤 움직임을 좀 하지 않도록 하겠습니다. 그래서 각각 이제 파일들을 저장을 하게 되고 저장된 엑셀 파일들 다 이제 수뇌를 하면서 각각 데이터 테이블 형태로 저장을 하게 됩니다. 이런 식으로 저장을 하게 되고요. 여기서 이제 사용한 패키지들에 대한 간략한 설명, 앞으로 이제 사용할 패키지들에 대한 간략한 설명을 지금 하고 있는데 대부분 잘 아시는 패키지들일 겁니다. 데이터 테이블하고 헤드리 위컴 교수님이 만든 dplyr, 그 다음에 ggplot2, 그 다음에 rubry8, 날짜 관련된 어떤 그런 데이터를 많이 핸들링하기 때문에 그 다음에 스트링 r 이라는 문자 처리를 위한 패키지를 앞으로 계속 사용할 겁니다 그리고 추가적으로 포어 캐스트 패키지를 사용할 거고요 시계를 분석하기 위한 패키지고요 그 다음에 랜덤 검증하는 패키지인 랜덤 랜드 테스트라는 패키지를 사용할 예정입니다 적재를 해놓고 데이터 얼개를 봐야 될 시간이죠 일단 500만 건의 매매 데이터 아파트 매매 데이터를 로딩을 해야 되기 때문에 좀 더 큰, 메모리가 큰 머신이 좀 필요하긴 합니다. 약간 메인 메모리 한 8기가 이상의 머신에서 앞으로 실습하실 분들은 실습하는 걸 추천을 드리고요. 약 한 500만 건의 메모리 로딩 크기는 약 한 633MB로 측정이 됐습니다. 대부분 이제 head나 str 명령어를 이용해 가지고 그 데이터 구조를 한번 쭉 보는데 저는 이제 dplyr의 glimpse라는 그 명령을 주로 사용하게 됩니다 그럼 이제 이 result salesdt 우리가 앞에서 수집했었던 result salesdt 그 데이터 테이블에 어떻게 보면 얼개를 이렇게 쭉 본 겁니다 예 본건데 대부분 이제 어 군 구하고, 번지, 단지하고, 제곱미터 단위의 면적, 아파트의 면적하고, 계약 일자, 만원 단위의 가격, 층수, 계약 연도, 주소 정보들이 나오고 연월정보하고 타임네임은 모두 다 아파트여서 그냥 아파트로 쭉 나오게 됩니다. 그 다음에 퍼터가 이렇게 나오게 됩니다. 이런 식으로 나오게 되고 직관적으로 이해를 하실 수 있는 포맷이에요. 어떤 아파트를 구매를 했는데 어떤 가격으로 몇 층짜리 아파트를 구매를 했다 그런 내용들이 있고 2006년부터 2015년 Q2까지 데이터가 있습니다 Q2까지 데이터가 있는데 분석 대상으로 하는 것은 Q2가 구단되어 있는 데이터이기 때문에 Q1까지만 가지고 분석을 하도록 하겠습니다 그리고 여기서 좀 알고 싶은 질문은 아파트 매매 추이는 어떻게 되느냐 그리고 매매량 추이 예측이 가능한가를 한번 탭핑해보고자 했습니다 데이터 테이블 문법이 있는데 데이터 테이블 문법은 그냥 이 부분은 좀 넘어가도록 할게요. 시간 관계상. 그 다음에 지지플러2에 대한 설명도 좀 하고 있는데 이 부분도 좀 넘어가도록 하겠습니다. 관련 리소스들이 굉장히 많기 때문에 이 부분은 좀 넘어가도록 하겠고요. 일단 제가 보고 싶은 거는 분기별로 매매 건수를 한번 쭉 봤어요. 봤는데 그리고 그 라인 피팅을 리니어 리그레이션으로 피팅을 한 거죠 그러니까 이렇게 해서 보는 이유는 전체적인 매매 추위가 어떻게 되는지를 좀 보고 싶었죠 보시면 그 뭐 딱 보시면 추위는 매매 건수 추위는 점차 트렌디한 어떤 그런 선이 점차 좀 올라가는 어떤 측면이 좀 있습니다 있고 그 다음에 Q1 Q3, Q2에 약간 상승을 하다가 그 다음에 Q3, Q4에 하강을 하는 시즈널리티가 계속 반복되는 특징을 가지고 있고요 Q1에 이정도 상승한 모습을 보이고 있네요 이 당시 뉴스를 보면 작년 Q1, Q2에 매매량이 상승했다, 몇 년도 대비해서 그런 뉴스가 좀 많이 나오던 때였습니다. 그래서 저는 이 시점에서 앞으로 이런 추이가 계속 될지가 되게 궁금했던 거죠.

질문이 하나 있는데요. 매매건수가 그러면은 그 매매 지금 결국에 그 가격 그 가격에 대한 예측을 하고 싶으신건데 매매건수랑 가격이랑 이제 어떤 관계가 있다고 생각을 하신건가요

아니면 이거는 그냥 예 그 가격을 예측하는거는 제가 블로그에 따로 정리를 했고요 정리했고 요거는 요거는 제가 앞에서 말씀 드렸는데 매매 추이에 대해서 그 알고 싶었던 거죠 예 전체적인 매매 추이 예 그래서 가격에 대한 고려는 사실상 없고요. 제가 뒤에 잠깐...

지금 매매 추위에 집중해서... 그리고 오늘 저 다른 두 분께서 아마 다음에 발표하셔도 괜찮다고 동의를 하셔가지고 오늘 그냥 5시까지 하셔도 될 것 같아요.

5시? 한국 시간으로?

그 10시까지.

10시까지요? 네 알겠습니다. 매매 추이가 계속 될건지를 보고싶어하는게 이 섹션의 목표입니다. 가격에 대한 예측은 제가 잠깐 화면 전환 해가지고 나중에 끝나고 나서 보여드릴게요. 제가 살고 있는 단지에 대한 가격 예측을. 그래서 분기별 아파트 매매건수는 쭉 살펴 봤고요.

음 근데

이제 대부분 전체적으로 볼 때랑 뭔가 지역적으로 쪼개 볼 때랑 다른 패턴을 가질 가능성이 있잖아요 그래서 지역적으로 한번 쪼개 봤습니다 도 단위로 해가지고 쪼개서 이렇게 본거죠 전체적으로 한번 이렇게 본겁니다 그 약한 그 순으로 어림진작 해보면 전체 17개 지역 중에서 약 47% 정도인 8개 지역에서 매매량 상승 추이가 보이는 것을 볼 수 있습니다

만약에

이런 시선이 존재한다면 그 패턴이 미래에도 계속 지속될 것이라는 가정을 기반으로 우리가 예측을 해볼 수 있잖아요 그래서 이를 좀 검증을 먼저 해보는게 예측 전에 어떻게 보면 좀 탭핑하는 어떤 그런 단계이긴 합니다 그래서 요거를 아주 간단하게 좀 탭핑을 좀 해보겠습니다. 여러분 눈으로 보실 때 눈으로 보실 때 패턴이 보이시는지가 가장 중요합니다 여러분들이 보실 때 아까 봤을 때 주기적으로 시즌을 한 패턴은 모든 거의 모든 지역에서 나타나는 걸로 보이지만 트렌드는 약간 다르죠 이런 부분들이 굉장히 시계열 예측에서는 되게 중요합니다 눈으로 봐서 보이지 않으면 사실 그 알고리즘으로 써도 좀 추출하기 힘든 그런 부분들이 좀 있는 것 같습니다 가장 간단한 이런 어떤 시계열의 패턴이 있는지 없는지 검증하는 방법이 랜덤리스트 테스트라고 해가지고 시계열이 랜덤하게 어떻게 보면 분포하고 있는지 그런 부분들 좀 검증을 하는 방법이 아주 간단한 방법이 있고요 그 다음에 시계열의 시차상관, 오토코릴레이션, 파셜 오토코릴레이션, 그런 부분들 좀 보는 방법들이 있고, 그 다음에 전자공학이나 컴퓨터공학 하셨던 분은 퓨리엣 트랜스포메이션 기법으로 주파수 분석을 주로 하시죠. 그런 식으로도 볼 수 있고요. 그 다음에 뒤에 나오겠지만, 를 Decompose 해가지고 보는 방법도 있습니다. 그건 이제 뒤에서 제가 설명을 드리도록 하겠습니다. 그래서 일단 아주 간단하게 코드가 나와 있는데 그 랜덤성을 좀 검증을 해봤습니다. 그래서 P-Value를 뽑아본거죠. 연도별, 지역별 아파트 매매량 변동이 랜덤하다는 기무과서를 참이라 가정할 때 관측값이 나올 확률을 의미하죠. 그래서 P-Value가 작으면 작을수록 이건 랜덤하지 않다라는 그런 의미로 해석을 하면 됩니다. 그래서 결과적으로 이렇게 보시면 P-Value를 이렇게 쭉 봤습니다. 대부분 이제 뭔가 랜덤하지 않은 패턴이 지역별로 이렇게 있는 거죠. 그렇지만 이제 충북? 이거는 약간 좀 랜덤하지 않다라는 어떤 그 대립 가서 지지하지 못하는 어떤 그런 모습들을 좀 보이고 있긴 합니다. 충북 한번 위로 올라가서 보시죠. 근데 뭐 그래 보이지는 않은데, 안아보입니다. 요즘 p-value가 p-value를 써야 되냐 말아야 되냐 그런 얘기들이 좀 많이 있긴 한데 일단 계략적으로 이런 식으로 랜덤성을 검증하면서 이렇게 판단해 볼 수 있는 방법이 있다 정도로만 알고 계시면 될 것 같습니다. 이거는 전체 매매 추이를 decompose 해가지고 확인을 한 겁니다. 아까 시계열 처음에 나왔던 시계열을 시계열 전통적인 타임 시리즈 분석에서는 시계열을 세가지로 세가지 패턴이 존재한다고 보고 있습니다 첫번째는 여기 나오는 트렌드라는 패턴하고요 그 다음에 시즈나 패턴하고 그 다음에 사이클 주기라는 패턴을 가진다고 알려져 있는데 주기는 굉장히 길고 긴 단위로 좀 반복이 되기 때문에 여기서는 나타내지 않고 있습니다. 트렌드는 아시다시피 장기적으로 나타나는 변동 패턴을 좀 의미하고요. 그러니까 사이클보다는 좀 작은 단기죠. 그리고 그 seasonal은 예를 들어서 연 단위로 연초에 튀었다가 연말에 좀 누그러들고 하는 어떤 매매, 아파트 매매 패턴 그런 것들을 좀 의미를 하고 있습니다 그래서 주 월 분기 반기 단위 등으로 우리가 알고 있는 시간 주기 단위로 변하는 패턴을 패턴이라고 보시면 됩니다 여기서 이제 이런 바가 있어요 바가 있는데 요게 의미하는 거는 어떻게 보면 요 바정도의 크기는 각각 스케일을 의미합니다. 요정도의 시즈널에서 요정도의 변동 크기는 트렌드에서 요정도의 변동 크기하고 같다라는 거죠. Y축이 다 다르기 때문에 그래서 요게 의미하는 거는 뭐냐면 시즈널보다 트렌드의 변동이 좀 크다는 걸 의미하고요 생각보다 시즈널과 트렌드를 제거한 나머지 리메인더가 굉장히 크다는 걸 의미합니다. 쉬운 말로 해석을 하자면 시즌과 트렌드라는 반복되는 패턴을 시계를 수출했더라도 나머지 변동이 굉장히 크다는거죠. 우리가 알지 못하는 부동산 시장이 그런겁니다. 여기서 딱 봤을 때 시계열 예측이 우리가 지금 가지고 있는 데이터만으로 쉽지 않겠구나 하는 그런 부분들을 간접적으로 확인해 볼 수 있는 거죠. 일단 이런 감을 가지고 시작을 하는게 나중에 실망을 덜 하는 어떤 그런 좋은 단초가 되는 거죠. 뒤에 이제 자세한 설명을 좀 하고 있습니다. 제가 사용한 방법은 아리마 모형을 기반으로 예측을 했습니다. 간단하게 여기 써 있습니다. 과거의 관측값과 오차가 현재 시계열 값을 결정한다는 알마 모형에 불안정 시계열을 안정 시계열을 바꾸는 I를 추가한 게 아리마 모형입니다. AR의 P차수하고 MA의 Q차수를 막 찾아내고 그 다음에 이걸 이제 차분차수 D를 찾아내가지고 이렇게 막 하는 과정들을 반복하게 되거든요. 반복하게 되는데 이걸 할 수 있는 이걸 예를 들어서 안정시계열이라고 하면 거의 뭐 노이즈성의 어떤 평균이 일정하고 노이즈성의 시계열을 그렇게 의미하는데 그런거를 좀 이렇게 만들기 위해서 KPSS 테스트라든지 아니면 디키퓰러 검증을 좀 수행을 하게 됩니다. 여러가지 테스트가 있는데 단익은 검증이라고 다들 얘기를 합니다. 그리고 ACF 오토코릴레이션이나 파셜 오토코릴레이션 펑션을 그려가지고 P나 Q차수를 찾게 되는데 다행히도 R에서는 힌드만 교수님이 만드신 포어캐스트 패키지가 있습니다. 포어캐스트 패키지가 있고 거기에 오토아리마가 최적의 파라미터를 찾는 과정을 자동으로 수행을 해줍니다. 자동으로 여러가지 차수를 넣어보고 AIC를 최소로 하는 PQ차수를 순차탐색을 계속하게 되는거죠. AIC, BIC 그런것들이 나중에 나오게 되는데 리그레이션 같은거 하시고 변수가 많아지면 많아질수록 피팅은 잘되게 마련인데 차수가 많아지는거죠 차수가 많아지는거에 대해서 좀 페널티를 줘가지고 최적의 어떻게 보면 PQ 차수를 찾는거를 AIC나 혹은 BIC 그렇게 의미를 합니다 그래서 ARC를 최소로 하는 PQ차수를 순차 탐색을 하게 되는 거죠. 이걸 자동으로 수행을 해줍니다. 그렇게 해서 나온 모델이 도출이 됐는데, 도출된 모형에서 이게 도출된 모형이 모형의 가정을 잘 만족하고 있는지 판단하는 게 굉장히 중요하죠. 그래서 이런 플러스를 제공을 하는데 대부분 레그레이션 많이 하셨던 분들은 잔차 분석이라고 얘기를 많이 합니다. 그러니까 observation 값과 그 다음에 expected 값의 차이를 잔차라고 이야기를 하는데 이걸 이제 표준화를 시킨거죠. 예를 들어 평균 0인 어떤 그런걸로 디스코어로 변환한건데 이렇게 쭉 변화를 해가지고 잔차에 어떤 그런 특별한 어떤 반복되는 패턴이 있는지 없는지 눈으로 일단 확인을 하게 되죠 근데 이제 특징적으로 보시면 2스탠다드 데비에이션 혹은 3스탠다드 데비에이션을 넘어가는 잔차들이 좀 보이죠 이런 애들은 좀 이렇게 이유가 뭔지를 좀 찾아볼 필요가 있습니다 왜 그런지 그리고 최근에 좀 잔차가 좀 많이 나온 것을 좀 볼 수 있습니다. 이런 부분 좀 이렇게 나중에 이 뒤에 분석할 때 좀 뭔가 주의 깊게 좀 찾아볼 필요가 있습니다. 이게 뭔가 패턴하고는 다른 어떤 뭔가가 우리가 알지 못한 어떤 정보가 있었다는 거죠. 그리고 오토코릴레이션, 레지디얼에 대한 오토코릴레이션을 본건데 시차 상관이죠. 시차에 렉을 줘가지고 상관한 코릴레이션을 줬을 때 이게 코릴레이션이 있는지 없는지 사실 아리마가 그걸 뽑기 위해서 그런 패턴을 뽑기 위해서 만들어진 알고리즘인데 그런 패턴들이 주기적인 패턴들이 뽑혀졌는지를 보는 거죠. 잔차를 통해가지고. 보시면 이제 자기 자신이니까 자기 자신인데 자기 자신은 당연히 코릴레이션이죠. 보면 코릴레이션이 있어 보이지는 않습니다. 시차적으로 쭉 봤을 때. 그걸 이제 엘정 박스 검증이라고 그걸 기반으로 검증을 하게 되거든요. 대부분 피차 자기 상관이 없다라는 규모가서를 만족하는 모습을 좀 보이고 있습니다. 우리가 알고 있는 시즌얼 패턴은 어느정도 추출이 됐구나 하는 것을 알 수 있습니다. 실제 예측을 코어캐스트 함수로 예측을 하게 된건데 진짜 이게 2016년이 됐으니까 이게 맞는지 틀린지는 저도 대보지 못했어요. 대보지 못했는데 왜냐하면 제가 아까 말씀드렸던 것처럼 사이트 구조가 바뀌는 바람에 수집을 못했습니다. 최근 데이터를. 그래서 혹시라도 여러분들 중에 여기에 컨트리뷰션 해가지고 데이터를 좀 수집을 좀 해주실 분이 있으면 되게 좋을 것 같아요. 후렴 분석을 할 수 있으니까.

저 근데 다른 방법은 2012년까지 데이터 가지고 모델 핏 하신 다음에 그 뒤로 그 뒤에 데이터를 테스트 데이터로 데이터를 다시 스플릿해서 그 모델 트레이닝 테스트를 하셔도 되나요?

예 그렇게 해도 좋습니다. 원래 예측 방법으로 테스트할 때 그런 식으로 테스트를 많이 하게 되죠. 근데 저는 그렇게 안했네요. 그렇게 안했는데 일단 뭐 제가 봤을 때 설명 안되는 당시 분석을 했었을 때 이런 설명 안되는 부분들이 많아서 많아서 크게 예측이 정확도가 높지 않겠구나 하는 그런 예상을 했었던 것 같아요. 그래서 이미 그냥 그래서 어떻게 그냥 평균적으로 우리가 이런 데이터가 있을 때 어떤 추이로 가겠구나 정도를 좀 파악하고 싶었던 것 같았거든요 그래서 이런 건데 딱 보시면 그냥 리저너블 해요 딱 보면 봄 가을에 뭐 봄에 좀 거래가 좀 늘어나고 뭐 늘어나는 어떤 그런 계절적인 패턴하고 그 다음에 뭐 2006년 이래로 상승과 하강을 반복하면서 결국 추세적으로 큰 변동이 없는 어떤 그런 성격을 좀 그 가지는 어떤 그런 예측지가 좀 도출이 되긴 했습니다 예 그리고 어 에러율을 봤을 때 민 앱설루트 퍼센테이지 에러인데 이건 이제 관련 내용을 찾아보시면 되는데 에러율 편집인 예측 에러율을 제가 계산을 한 것 같아요 이 당시에 근데 이제 그 한 23%정도가 에러율이 나와가지고 아까 그 decompose 해가지고 나왔던 그 remainder 그쪽 그쪽 부분 때문에 굉장히 에러율이 굉장히 높게 나온거죠 23%면 이미 근데 마음의 준비는 하고 있었습니다 그렇습니다 뭐 이렇습니다 그 시계열 예측이라는 것은 이미 시계열 분석에서 알려진 패턴을 얼마나 시계열에서 그 자체에서 잘 뽑느냐가 좀 성패를 좌우를 합니다. 그리고 그걸 설명하지 못하는 부분들도 굉장히 많고 그래서 외생 변수들이라고 하죠. 그런 부분들에 대해서 좀 이렇게 그런 변수들을 감안해 가지고 분석을 하면 어떤 그 MAP 이게 이제 23% 보다는 좀 줄어들 수 있겠다는 그런 생각을 좀 해봤습니다. 예를 들어서 금리나 뭐 그런 것들 그런 것들이 중요한 변수들이 좀 될 수 있겠죠 아니면 그것보다 더 좋은 변수들이 있을 텐데 그럴 경우에는 이제 rmx 모형이라든지 뭐 그런 것들 그런 모형 활용할 수 있을 것 같습니다 일단 저는 여기까지 스타팅 포인트로 제안을 한 거고요 12분 남았네요 전셋가열 분석은 간단하게 설명드리도록 하겠습니다 전세 데이터도 로딩을 할 수가 있어요 로딩을 할 수 있고 전세가율이라고 하면 어떻게 보면 그 매매가 대비 전세가의 비율이잖아요 그 비율인데 그러려면 전세 데이터랑 매매 데이터랑 조인을 해야 됩니다 그 조인을 하는 얘기들이 여기에 좀 설명이 되어있고요. 주소, 연도, 월하고 그 다음에 층 면적까지만 조인 조건이 만족했을 때 데이터를 머지를 했습니다. 그리고 특징적으로 전세데이터는 2011년도부터 데이터가 존재를 하고 있습니다. 그래서 조인을 해가지고 전세가율을 본거죠. 11년도, 12년도, 13년도, 14년도, 15년도 색깔이 빨간색부터 전국매매 1분기만 이렇게 했네요. 1분기만 했는데 점점 이게 전셋가위로 좀 올라가는 어떤 그런 모습을 좀 보이죠 그렇고 그 다음에 전국 연별로 전셋가위로 어떻게 올라가는지 이렇게 보여주고 있습니다 근데 보시면 급격히 올라가는 지역이 있어요 서울하고 경기 지역이 좀 그렇습니다 나머지는 평균 전셋가율이 고만고만하더라도 광주같은 경우는 변동이 연별로 상대적으로 크지 않죠 경북도 마찬가지고 전셋가율은 좀 높은 측면에서 크지만 상승률 자체로 봤을 때는 서울이랑 경기가 굉장히 높습니다 그리고 서울 내에서도 구별 전셋가율 추이를 봤는데 특징적으로 다른 두 구가 있어요 강남구하고 강동구 얘네들은 따로 떼서 분석을 해볼 필요가 있습니다 그리고 송파구도 이런 애들이 더 특징적이죠 특징적인데 아무래도 제가 디스크립션을 써놓긴 했었는데

특히

강남구 같은 경우는 연별로 전셋가 변동이 굉장히 심하다는 것은 제가 예상으로는 데이터를 실제로 보지 않았지만 매매가는 크게 변동이 없을 것 같은데 전셋가가 예를 들어서 입학시즌에 굉장히 전셋가가 높게 쳤다가 수요가 있으니까 그 뒤에는 점점 하락하는 굉장히 전셋가율의 플러큐에이션이 좀 심하지 않았을까 하는 그런 생각을 해봤고요 사실 추후에 이런 분석을 좀 더 들어가면 되게 재미있는 어떤 내용들이 좀 나올 수 있을 것 같습니다 가설들 기반을 해가지고 이 정도 설명을 했고요 뭐 종합을 해보자면 아까 뭐 잠깐 빼놨는데 전셋가율은 2015년이 최고라고 얘기할 수 있겠고 16년은 또 어쩔지 모르겠죠 그 다음에 상승 추이는 수도권 이내가 가장 크다 그 다음에 서울시 전색깔 추이를 볼 때 특징적으로 다른 강남구 같은 그런 몇 개의 구가 존재하고 있다 이런 부분에 대해서 좀 이렇게 상세 분석을 좀 해볼 필요가 있다 왜 그럴지 해볼 필요가 있겠다는 생각을 해봤고요. 이거 마치면은 나중에 제가 PDF를 드리면 그때 읽어보시도록 하겠고요. 시간이 없어가지고 이 정도로 좀 마치도록 하겠습니다. 제가 저희 단지나 저희 집에 대한 전세를 살고 있는데 어떻게 보면... 회과를 한번 좀 살펴보는 어떤 그런 포스팅은 제 블로그에 올라와 있거든요. 네 블로그 주소가 이렇습니다 블로그에 올라가 있는데 이 블로그를 좀 참고를 해보시면 어 리그레이션 피팅을 했었던 어떤 그런 자료들을 좀 보실 수 있을 것 같습니다 참고로 말씀드리면 리그레이션 피팅이 그렇게 레지디얼이 그렇게 안정적인 레지디얼을 제가 여태까지 실제 데이터로 본 적이 없거든요 예 그러니까 얼마나 사람들이 고민 고민 해가지고 집을 굉장히 인생의 가장 큰 지름이잖아요 고민해가지고 그 집을 사는지를 이 데이터를 통해서 느낄 수 있겠더라구요. 그래서 여러분들도 데이터도 기터배에 올려놓고 그랬거든요. 그러니까 이제 그런 데이터를 가지고 한번 정도 분석을 해보시고 진짜 욕심이 나시는 분은 최근 데이터를 크롤링 해가지고 살펴보시는 것도 추천드립니다. 혹시 크롤링 하셨다면 저한테 좀 연락 좀 주세요. 저도 데이터가 필요하니까.

알겠습니다.

이상으로.

볼 수 있게 만들어 놨으면 좋았을텐데 고생이 많으시네요. 그러면 어떻게 이 분석을 통해서 실제로 뭔가 의사결정에 지금 활용하시는 단계인가요? 아니면 아직은 데이터 분석 그 전 단계인가요?

일단 제가 집을 살 생각이 있다면 데이터를 수집해가지고 평균 내가 매매를 했을 때 평균 매매가 어느정도 되고 어퍼 바운드가 어느정도고 하는 그런 부분들을 좀 분석을 해보겠죠 근데 아직은 집을 살 생각은 없습니다 그래서 일단 이정도로 이 정도로 하고 있는데 데이터가 있다면 충분히 해볼 필요는 있을 것 같습니다

보통 꼭 이런거 하면은 물어보잖아요 앞에는 하나도 안 듣고서 그래서 지금 집을 사야 되는 거예요 말아야 되는 거예요?

사실 그래서 통계청에서 이 글을 올리는데 되게 부담스러워 했었던 게 아닐까 하는 생각이 좀 드는데요. 그거는 조금...

농담입니다. 애써도 답변하려고 하지 않았어요.

구성원과 전문가도 아니고.

잘 들었습니다.

예. 예.

알겠습니다.

오늘 처음에 신고식처럼 굉장히 많은 일이 있었는데요 일단 제가 늦어서 죄송하고 회사 근무가 끝나가는 시간이라서 원래 아무 일이 없을 줄 알았는데 조금 일이 생겨서 그리고 행아웃 관련해서도 배울 점이 많다는 걸 느꼈고요 다음에는 제가 그 한 10분 전에 다 여기 참여하실 분들이 다 참여를 하셔가지고 그 에코나 이런거 그 테스트를 꼭 해서 그 이런 다음에 이런 일이 없도록 하겠고 오늘 사실 두 분이 더 이제 발표를 해주시기로 하셨는데 그 이번에는 이번엔 아마 힘들게 됐지만 이번엔 좀 시간 관계상 조금 힘들 것 같지만은 그 다음번에 제가 아마 2주 후 정도에 콜을 다시 잡을 수 있을 것 같습니다. 그래서 그때 다시 한번 할 수 있는 기회를 갖도록 하고요. 그리고 이제 앞으로 저희 프로젝트 문서 제가 지금 화면을 좀 공유하려고 하는데 여기 보시면 저희가 문서가 있어요 그래서 이 문서에서 여기 저희가 실제로 프로젝트 하시는 분들이 여기 계속 업데이트를 해주고 계신데 여기 참여를 해주시면 참여해주신 내용이 나중에 같이 대화를 하고 그럴 수 있을 것 같고요 어... 그... 예, 그러면 뭐... 저... 그러면 오늘 방송은 아마 여기까지 하면 될 것 같고요. 마지막, 끝내기 전에 게스트 지금 방송에 계신 분 두 분 계신데 한 말씀씩 드릴 수 있을까요? 도현님, 희원님?

희원님 먼저 하시죠. 여보세요?

지금 마이크를 제거해가지고...

항상 있는 일입니다.

제가 먼저 할게요.

말씀하세요.

핸아웃으로 이런식으로... 이런식으로 해본적이 처음이어가지고 품질이 상당히 괜찮은것 같습니다. 그 품질에 굉장히 놀랐구요. 아까 말씀드렸던것처럼 데이터 혹시 수집하실수 있으면 데이터 좀 같이 공유를 좀 받았으면 좋겠다는 생각을 해봅니다. 어디 공통의 어떤 공간에 깃턱같은데 올려가지고 제가 수집은 할 수, 불가능한 건 아니라 불가능할 거라는 생각은 안 하는데 제가 시간을 좀 내기가 조금 어려워요. 그래서 좀 거기에 대해서 좀 컨트리뷰트 해가지고 데이터를 좀 주기적으로 매매 데이터 아파트 아파트나 주택 그런 매매 데이터를 좀 크롤링 같이 해가지고 같이 분석을 서로서로 좀 해나가는 그런 것들을 그런 재미를 좀 만들면 연대하면 어떨까 하는 그런 생각을 좀 해봅니다.

이제 많이 나온 김에요. 그 GitHub 같은 데다가 데이터셋에 링크만 운용을 해보는 건 어떨까 싶네요. 그래서 이제 링크만 쭉 그거를 북마크를 관리를 하는 거죠. 요즘 많이 보는 게 어썸 시리즈 같은 게 있잖아요. 그런 식으로 데이터셋에 대해서 개인이 올렸던지 그런 것들을 한 군데에서 찾아볼 수 있게끔 해주면 좋을 것 같다는 생각이 듭니다. 여러 사람들이 가서 목록도 업데이트하고요. 두 분과 관리자는 한 사람이 있어야겠지만 커밋 정도만 해서 데이터들이 꾸준히 갱신될 수 있게만 해주면 상당히 의미있는 작업이 될 것 같습니다.

예 뭐 어쨌든 그 저도 이제 새해 맞아서 이것저것 해보고 있는데요 아마 다다음 주쯤에는 또 뭔가 저도 드릴 말씀도 있을 것 같고 제가 또 지금 생활 데이터 계속 말씀을 드리고 있는데 사실 시작하는 게 굉장히 쉽지가 않잖아요 데이터 그 사실 이렇게 희원님 같은 분은 굉장히 경험도 많으시고 이제 좋은 분석 해주셨지만 사실 처음에 시작하시는 분들은 굉장히 어려움이 많았을텐데 그런 질문 같은 것도 올려주시고 하시면 저희가 다음주에 최대한 모아서 답변 드리는 시간을 가져보면 어떨까 그렇게 생각하고 있습니다. 어쨌든 방송 참여해주신 분들 그리고 게스트 다음에 알찬 내용으로 찾아뵙도록 하겠습니다. 두 분 다시 감사드리고요.

감사합니다.

다음번에 뵙겠습니다.

감사합니다.

수고하셨습니다.