데이터지능 팟캐스트 E6: Deep learning in NIPS2017 (네이버 CLAIR 하정우 & 성낙호님 + 스페셜 게스트)

네 저

데이터 지능 팟캐스트 여섯 번째 시간 이번에는 스페셜 게스트 분들과 함께하는 딥러닝 방송입니다. 딥러닝이라면 사실은 요새 데이터 종사하는 부분뿐만 아니라 정말 모든 사람들이 관심을 갖고 있는 분야인데요 사실 저희 방송에서도 계속 딥러닝 얘기가 나왔어요 머신러닝 할 때도 나오고 최근에 금융데이터 할 때도 딥러닝 얘기가 나오고 그래서 피해갈 수 없는 소재 그런데 이제 저도 사실은 개인적으로 굉장히 관심이 많고 저도 비슷한 분야에서 박사를 했지만 제가 대학원 공부할 때는 딥러닝이 아직 없었던 관계로 회사에 와서 어떻게 돌아가나 분위기만 보고 있는 상태인데 사실 관심은 많은데 저도 굉장히 궁금한 분야예요 그래서 오늘의 스페셜 게스트분들을 모셨고 저희 방송에 이제 데이터 진흥 방송인데 저는 데이터 담당이고 진흥을 담당하시는 테리님께서 오늘 좀 더 진행을 또 적극적으로 원하셔서 마이크를 테리님께 넘겨서 딥러닝 이야기를 한번 나눠보도록 하겠습니다.

테리님 네 안녕하세요. 네 뭐 저희 뭐 이제까지 진영님의 진행과 함께 거의 뭐 EBS 아니었습니까? 그래서 본격 이번 방송부터 예능으로 바꾸고자 제가 마이크를 잡았습니다. 그동안에 제가 거의 뭐 무릎학도사로 따지자면 진영님이 강호동이면 제가 올뱀같은 역할 중간에 드립이나 치고 그랬거든요. 근데 이제는 이번 방송은 주제가 딥러닝인 만큼 제가 주도적으로 하고 진영님께서는 일반인 역할을 맡아주시면 되겠습니다. 그러면 일단은 기분 좋아서 오랫동안 떠들고 싶지만 게스트님이 주인공이시니까 게스트분들을 먼저 소개를 할게요. 오늘은 정말 정말 어려운 분들을 모셨습니다. 어려운 분들을 모셨는데 한 분은 지금 다 오셨나요? 정준규 교수님도 오셨나요?

아직 접속하지 않으신 듯 합니다.

네, 지금 정준규 교수님은 차가 막히셔서 차가 막히셔서는 아니고 지금 네트워크 상태가 안 좋으셔서 지금 아직이고요. 그러면 먼저 오늘 오신 네이버분들, 네이버랩스 네이버분들을 먼저 소개를 하도록 하겠습니다. 먼저 영화 배우 하정우님이십니다.

안녕하십니까. 천만 배우 하정우라고 합니다. 참고로 저희 네이버랩스 아니고요. 네이버랩스 자문사 나간지 거의 1년이 다 돼가고요. 저희는 네이버 클로바 소속입니다. 안녕하십니까. 네, 죄송합니다. 일부러 디스를 하려고 했던 건 아니고요 네, 네이버 클로바의 AI 리서치 디렉터를 맡고 있는 하정우입니다. 반갑습니다.

감사합니다. 자, 그리고 그 다음 게스트 지금 다들 업되셨죠? 립스에 계셔가지고 업되신 거예요. 그리고 다음 게스트는 성나코님이십니다.

네, 안녕하세요.

성나코입니다. 똑같이 네이버 클로바 AI R&D를 맡고 있고요. 준비 된 멘트가 없어서 이정도 하겠습니다.

갑자기 다운됐죠?

오늘 발표하셔서 필요한 것 같습니다.

발표 얘기도 들어야 되겠네요. 두 분 말고도 원래는 김성훈 교수님이 오시기로 했었는데 뭐랄까 바쁘신 건지 아니면은 어 나는 나를 뭐 단독 게스트로 초대해야지 무슨 섞여서 초대하느냐는 농담이구요 네 오늘 바쁘셔서 갑자기 바쁜이 생기셔가지고 오늘 또 네이버에서 또 다른 또 굉장히 유명하신 분이시죠 네 이활석님 나오셨습니다

네 안녕하세요

김성훈 교수님 대타 개인장인 클로버 비전 개발하고 있는 연구 개발하고 있는 이활석입니다

와 그리고 아직 정지훈 교수님 안 오셨죠?

화면에서 봐야 될 것 같은데요

정지훈 교수님 오시는 대로 소개하도록 하고요 제가 사정을 말씀을 드리면 오늘 다 학회에 계세요 지금 그래서 학회라는 게 가보시면 아시겠지만 다들 엄청 바쁜 지금 일정인데 이렇게 일정 속에서 나와주신 거라서 어쨌든 오시는 대로 아마 참여하실 겁니다. 일단 저희끼리 진행하면 될 것 같아요.

네, 그러면 일단 먼저 이제 각자 다들 모르시잖아요. 다들 저보다 안 유명하시잖아요. 그러니까 소개를 좀 하셔야 될 것 같아요. 그래서 하정우님, 상사코님, 이활성님 네 세분이 각각 지금 어떤 일 하시는지 말씀을 먼저 좀 자세하게 좀 해주세요. 네이버에서 어떤 일을 하고 계시는지.

이제 저는 소개할 거 다 한 것 같은데요. 일단 그 말씀을 먼저 들고 싶었는데 메인 MC께 차신 거 축하드리고요.

네, 감사합니다.

개인적으로는 계속 하기를 계속 빌어드리겠습니다.

자극적인 방송 추구합니다.

선정적인 방송 굉장히 좋아하고요. 다시 제 소개로 좀 넘어오면 저는 2015년 3월에 네이버에 입사를 해서 꾸준히 머신러닝 관련 연구 개발을 해왔고요. 잠시간 추천 쪽으로 빠져서 클로바 뮤직 개발을 하고 서비스 되기 직전까지 PM을 하다가 저보다 훨씬 더 잘하시는 분께 넘겨드리고 다시 연구개발로 돌아와 있고요. 저희가 있는 조직이 클로바 AI 리서치라는 조직이 있습니다. 클로바가 범용 AI 플랫폼인데, AI 비서 플랫폼이죠. 얘를 자비스보다 똑똑하게 만들기 위해서, 자비스보다 똑똑하게 만들려는 아주 원대한 꿈을 품고, 사능기술을 열심히 개발하고 있고요. 머신러닝과 관련된 거의 대부분의 연구를 진행하고 있다. 이렇게 생각을 해주시면 될 것 같고, 그 연구의 디렉터를 맡고 있습니다.

그러니까 하정우님은 비전이든 내추럴 랭기즈든 음성이든 다 디렉팅을 총괄하시는 거죠?

네, 그런 걸로 하시죠. 사람이 좀 부족한 게 문제지. 소중하신 분들 오시면 바로바로 일거리를 주는 거죠. 우리 같이 연구해봅시다. 멋진 서비스 만들어봅시다. 이런 걸 하고 있는 상황입니다.

네, 알겠습니다. 그러면 나코님 소개해 주시죠.

앞에서 너무 말씀을 당황하게 잘해주시네요.

어떡하지? 이거 불어놔야 되나?

탁호님, 뭐 부담되시면 빠지셔도 돼요.

이 양반 스타일이 원래 그래요. 알론 소리 한 번 한 다음에 뒤에서 막 이렇게 몰아치는 그런 타입입니다.

두 분이 학교 동기이신가요?

네, 학교 동기입니다.

아, 학부 동기씨구나. 몇 학번이시죠?

97입니다.

97이요? 진영님도 몇 학번이시죠?

저는 99학번입니다.

99, 97, 99. 제가 02학번이거든요.

나이 티나는 이런 거...

그런 거 별로 안 좋아해요.

네, 좋아하지 않습니다.

제가 제일 어린 것 같아서 이런 모임도 흔치 않아서 너무 한번 얘기해봤습니다.

일부러 나이 자랑하는 거죠, 지금.

네, 소개를 하라고 하신 분이 소개를 하겠습니다. 저는 99년에 게임 회사를 창업해서 게임 업계 18년 동안 근무하다가 이번에 6월 달에 네이버로 옮기게 되었습니다. 옮기기 전에는 애쉬소프트에서 딥러닝을 약간 해가지고 발표했던 게 있어서 그것 때문에 2년부터 옮긴 것 같고요. 옮긴 다음에 방향적으로 딥러닝 관련 일을 하고 있지요.

네.

책을 읽습니까?

네, 장호님하고 같이 저는 좀 더 개발 쪽으로 치중해서 음성이든 뭐든 여러 분야에서 같이 하려고 하고 있습니다.

아, 그러면은 나코님께서도 뭐 그런 도메인 안 가리시고 다 같이 이렇게 디렉팅을 같이 여러 분야를 다 하시는군요.

네, 저희가 특별히 가릴만한 인력이 아직 없어서.

네, 지금 저희가 찬박동박 가릴 때가 아닙니다. 다 중요하고, 일은 많고 하다 보니까 다 이렇게 연구, 개발에 조금씩 신경을 쓰고 있습니다.

그리고 최근에 입사하고 나서 딥러닝 개발에 필요한 시스템이 필요한 것 같아가지고 그거를 만들어서 이번에 발표하게 되었고요. 아마 내년쯤에 오픈소스로 찾아뵙게 될 것 같습니다. 자세한 건 나왔나?

원래 사전에 저희가 받았던 질문이 있어요. 그중에서 이제 나코님께 드리는 질문이 있었는데 지금도 이제 NSML 말씀을 해주신 거죠?

네.

근데 게임 회사에서 오래 계셨었는데 이렇게 완전히 분야를 보통 생각하기엔 바꾸셔서 이렇게 또 활발하게 활동을 하고 계신데 그 과정에서 뭔가 어떤 어려움이나 아니면 어떤 그런 경험을 좀 말씀해주시면 좋을 것 같아요.

네. 사실은 AI에 원래 관심이 많긴 했는데 AI가 윈터가 되었잖아요.

네, 잠깐 다시 말씀해 주시겠어요?

네, AI에 원래 어릴 때부터 관심이 있었는데 중간에 AI가 죽는 바람에 AI에 대한 꿈을 진작에 접었고요. 그 다음에 게임업계로 갔던 거였죠. 고등학교 때 뉴럴레터 그 관련해서 구현이랑 OCR 같은 거 만들어 보긴 했었습니다. 그러니까 아예 관련이 없던 건 아닌데 네, 뭐 잠깐 좀 많이 쉬었죠. 그런데 갑자기 AR이 떠가지고 뜬 건 또 한번 해보고 싶은 건 있어서 공개가 되었는데 말이 참... 마이크 돌아가니까 힘드네요. 편하게 말하면 되겠다

이거.

마이크 없다고 생각하세요. 세 명이서 얘기한다.

네, 뭔가 물어봐 주시면 제가 대답을 할 수 있을 것 같아요.

구체적인 질문으로 한답니다.

네, 마이크 활성님으로 넘기겠습니다. 네 저희가 지금 오늘 게스트분들이 많아서 한 분이 10분씩 사용하시면 40분이에요 그래서 저도 말해야 되기 때문에 네 그럼 활성님 지금 하시는 일 좀 말씀해 주시겠어요?

네 저는 박사 때는 비디오 코덱 쪽을 했었고요 그래서 비디오 코덱 쪽에서도 물체 추적과 관련된 부분 모듈이 있어요 그래서 그쪽 부분으로 학위를 받았었고 회사로 넘어왔을 때는 삼성테크윈이라는 회사에서 CCTV에 들어가는 사람 탐지하고, 추적하고, 자동차 찾고 뭐 이런 탐지, 추적 이쪽에 관련된 일을 계속 하다가 알파고 나오기 전에 아타리 게임을 보고 인공지능 안 하면 기존 쪽 다 죽겠구나 하는 생각이 들어서 NC 소프트로 넘어갔어요 테크윈과 같은 회사 그래서 NC 소프트웨어에서 강화학습 1년 하고요. 그 다음에 제가 비전 전공자다 보니까 비전에 맞는 아이템을 찾을 수 있나라는 TF를 꾸려줘서 거기서 이제 GAN을 제가 보기 시작했습니다. 그래서 NC 소프트가 게임 회사인데 그림 그리는 일이 꽤 많거든요. 업무량에서. 그런 거를 자동화할 수 있는 부분이 있지 않을까 해서 GAN을 열심히 탔었고요. 그리고 또 어떻게 좋은 기회가 돼서 네이버에 온지는 한 3개월밖에 안됐습니다 얼마 되진 않았지만 지금 셋업되는 일들은 OCR쪽 우선 예의 진행될 것 같고요 상품화로서는 연구는 뭐 제가 어차피 겐을 계속 했으니까 겐에 관련된 여러가지 연구도 계속 앞으로 할 것 같습니다

끝 네 정주혁 교수님 오셨습니다

넵답성이 되게 안 좋아가지고 네 변명은 변명입니다 정진 교수님 소개해주시겠어요?

저도 제가 누군지 잘 몰라요. 저는 경기사이버대학교에서는 시니어 티칭별로 학생들 가르치기도 하고 엔젤 투자도 많이 하고요. 그 다음에 의학 공부했고 석사는 정책했고 박사는 외공학을 했는데 인공지능 머신러닝 쪽도 아주 저건 아닌 게 제가 석사 때는 디시션 트리하고 어서시에이션을 이용해가지고 보여주는 이게 고파이, 옛날 심볼릭인데 그거 이용해가지고 허스피터 매니지먼트 하는 쪽 관련된 걸 했었고 박사는 제가 옵틱스 했거든요 옵틱스에서 했던 게 멀티 디멘셔널 데이터를 받아가지고 그 데이터를 우리 눈에 보이는 형태로 줄여서 보여주는 그런 거래였어요. 그래서 디멘셔널트리덕션하고 언스포바이저러닝 관련된 거 시그너처 셀렉션하고 뭐 이딴 거래가지고 그게 20년 전, 10년 전이에요. 그러니까 20년 전, 10년 전에 그 옛날 심벌릭하고 10년 전에 언스포바이저러닝하고 디멘셔널트리덕션 이딴 거 하다가 투자하고 뭐 이러다 보니까 딥러닝하고 뉴럴 네트워크가 또 안 될 것 같은 게 되길래 또 보고 뭐 이러다 보니까 거의 20년에 걸친 것들을 막 섞어가지고 보고 있는 상황이 됐죠. Anyway 제가 직접 하고 있는 건 주로 개발이나 연구나 이런 걸 하기보다는 그냥 닥치는 대로 보고 그냥 사람들한테 알려주고 그런 역할이죠 뭐.

교수님께서 이렇게 말씀을 해주시니까 저희 방송이 갑자기 품격이 올라갔어요. 기성미가 한번 발리는 느낌. 그러면 제가 각각 분들에게 질문 드리고 싶은 게 있는데요 다들 딥러닝을 요즘에 핫하고 다 연구하고 그러고 계시는데 각각 분들이 접하게 된 계기가 다 달라요 예를 들어서 하정우님 같은 경우는 박사 때는 딥러닝이 그렇게 핫하지 않았을 것 같고 또 나코님이나 활성님은 게임 회사에서 게임 개발하시다가 오시는 딥러닝으로 넘어오시는 과정도 좀 궁금하고 또 정지훈 교수님은 또 의학 관련해서 또 하다가 또 딥러닝 쪽에 관심가져서 이렇게 연구 혹은 뭐 여러가지 소식들 받아보시는 것도 되게 흥미로운데 그런 계기들을 좀 알고 싶어서요 그럼 정우님부터 어떻게 하면은 내가 박사 때 딥러닝이 전공이 아니었는데 현업에 와서 이렇게 적응하고 새로운 기술을 받아들이고 또 현업에 적용하고 계신지 말씀해 주시겠어요?

풀 스토리를 얘기하자면 눈물 없이 들을 수 없는 스토리가 있기 때문에 저희 연구실이 교수님께서 선호하시는 모델이 있어요 선호하시는 모델이 있는데 풀고자 하는 철학은 어차피 머신러닝이다 보니까 머신러닝이라는 어떤 공통된 범위 내에서 풀고자 하는 모델은 비슷하고 그리고 저희가 파블리싱 해야 되는 모델의 우월성을 강조를 하려면 여기 계신 분들 많은 분들이 릴레이티드 웍이라는 걸 너무 많이 써보셨으니까 릴레이티드 웍이라는 걸 쓰지 않겠습니까? 그리고 컴퓌레이션을 해야 돼요. 실험, 비교실험을 비교실험 대상이 거의 다 딥러닝일 수밖에 없었고요. 그때 당시만 해도 제가 2015년 졸업이었으니까 2014년 2013년만 해도 꽤 여러가지 CNN 모델들이 나왔고요. RNN 계열전의 모델들이 나오기도 했고 가장 널리 써있는 것들은 워드투백 같은 것, 리프레젠테이션 러닝 같은 것들이 이미 사용되고 있었죠. 생각해보면 2012년에 RxNNC 나왔으니까. 그래서 릴레이티드 워그로 많이 접할 수 밖에 없었고 그리고 제가 졸업을 했던 거는 이미지랑 텍스트, 멀티모델 어소시에이션 쪽으로 졸업을 했어요. 딥러닝은 아주 약간만 쓰고 그리고 네이버에 갔더니, 그때 낸 시에는 랩스였습니다. 랩스에 갔더니 굉장히 많은 문제들을 다 딥러닝으로 활용을 해서 풀었어요. CNN이든 LSTM이든 기타 등등들이든. 그래서 이쪽 딥러닝 연구개발적으로 많이 할 수 밖에 없는 상황이 됐고, 사람이 그렇습니다. 특정한 상황에 노출이 되면, 특히 회사면, 해야 되는 건 아니야 할 수가 없지 않습니까 그래서 열심히 하게 됐고요 그러면서 뭐 아직 많이 부족하지만 빡세게 하고 있는 여전히 빡세게 하고 있는 상황이다 이렇게 보시면 될 것 같습니다

그래도 뭔가 박사를 일단 베이스로부터 베이스가 탄탄하시니까 박사를 받은 다음에 바로 딥러닝을 쫓아가는 데는 한 1년 정도만 충분하셨나요?

이게 제가 머신러닝 연구실 나오다 보니까 유럴렛, 딥러닝이 추구하는 유럴렛의 어떤 이론적인 부분이 제가 이전에 하던 넌파라빅토릭 베이지안 이런 쪽이라던가 혹은 다른 커널 머신, 혹은 일반적인 넌파라빅토릭 베이지안 계열의 생성 모델에 비하면 굉장히 양호한 편이었어요. 그래서 이론적으로 따라가는 데는 그래도 좀 수월한 편이었던 게 있고 그리고 오픈소스도 되게 많았고 페이퍼들도 되게 많았고 해서 좀 적응하는데 아주 오래 걸리는 편은 아니었다 라고 볼 수 있겠죠

그럼 이제 나코님께 질문 드릴게요. 나코님은 게임 회사 쪽에서 경력이 굉장히 많으시잖아요. 근데 이제 게임 개발하시다가 회사 다니는 분이 따로 이렇게 공부를 한다는 게 쉽지 않으실 텐데 또 그런 거에 생각하면 내공이 엄청나세요. 그래서 어떻게 원래 머리가 좋으면 다 할 수 있는 건지 어떻게 그렇게 가능하셨나요? 박살을 받으신건 아니시잖아요.

네.

NC소프트에서 일할때 저희 보스께서 AI로 무언가를 하는거를 돌아가는걸 보여드리겠다고 대표이사께 보고하셔가지고 박살을 보이라고 하시더라구요.

독특한 지지받으셨네요.

선언드리븐.

그래가지고 그래서 게임이 아시다시피 되게 복잡하고 업데이트가 자주 있어요 그래서 룰 베이스를 접근하면 이게 각이 안나오거든요 그래가지고 보던 차에 Neural Fitted Queue Iteration 이라고 알려져있는 알고리즘이 눈에 보여서 그거를 파기 시작했는데 비우승을 엄청나게 오랫동안 받았죠 아무것도 되질 않았어요 딥마이드 논문이 처음 DQM 논문이 나오고 그거를 구현하고 그러고나서부터 한 1개월? 2개월 있다가 부터는 원래 있던 룰 베이스 에이전트를 이기기 시작했고 그 다음에는 뭐 그렇게 그렇게 됐죠 그 다음에는 이제 그래서 그 RL 연구는 끝났구요 그렇게 만든 에이전트가 게임에 쓸 수 없다고 또 기획자들이 뭐라고 하시더라구요 그거는 효율적이긴 한데 재미는 없다고 해가지고 그 다음에는 그래서 재미있는 AI는 무엇인가에 대해서 고민을 많이 하고 스토리 제네레이션이나 제너리티모델이나 이런 것들을 연구를 하고 뇌과학을 보고 그랬었습니다.

지금 방송 들으시는 분들 중에 저번에 설문조사도 해봤는데 연구자랑 IT개발자가 거의 동등한 비율로 나오더라고요. 그만큼 IT개발자들이 머신러닝이나 딥러닝을 자신의 스킬셋으로 가져가는 분들이 많은데 개발자였던 분으로서 딥러닝으로 가는데 장벽이 어떤지 어느 정도 노력을 해야지 수준에 오를 수 있는 것 좀 말씀해주시겠어요?

많이 보면 될 것 같습니다.

네, 저 제가 방송중기인 줄 알고 저한테 인터넷에서도 의심했잖아요.

많은 데이터 팻이 필요합니다. 페이퍼를 닥치는 대로 보면 돼요. 맞아요.

페이퍼를 닥치는 대로 봐라.

1년에 한 10개.

한 달에 한 2, 30개 정도씩 봐주면 그러면 됩니다.

하루에 한 개씩.

구현도 좀 하고 요즘은 좀 쉽잖아요. 예전에 카페 갖고 할 때랑 LSTM RNN 구현 없을 때도 있었고. 네, 지금은 되게 세상이 좋아졌으니 많이 볼 수 있을 것 같고요. 많이 봐야 언젠가 갑자기 알게 될... 이게 딥러닝이라는 게 수학적으로 증명된 게 거의 없고요, 아직도. 대부분 감으로 이해하지 않고서는 트렌드에 따라가기가 힘들거든요. 제 생각에는 커리어로 잡고 싶으시면 무조건 많이 공부하는 수밖에 없을 것 같습니다.

네, 나코 님의 포인트는 하면 된다. 네가 많이 안 해서 그렇다. 뭐 이런 걸로 잡는 걸로 하고요. 네, 그러면은...

완전 그냥 맞습니다.

사실 그 증명된 게 없다는 게 굉장히 수학보다도 오히려 실제로 많이 해보고 경험에서 느끼는 게 굉장히 중요하다고 저도 많이 들었는데 개발자 경험이 있으시니까 사실 경험이 굉장히 장점이셨을지 않나 그런 생각도 좀 들어 봅니다.

이거 한 분씩 진짜 게스트 너무 많아요. 짧게 말씀해주시죠. 어차피 이번에 땜빵으로 끼신거니까 아까 말씀하셨으니까 짧게 말씀해주세요.

비전쪽 원래 알고리즘이 핸드크래프트 피쳐 보완하는 쪽이 많았었거든요. 저도 계속 하다가 아탈이 보고 AI 안하면 큰일나겠다 싶어서 이제 마음을 먹었는데 때마침 그때 저희 회사가 삼성에서 한화로 넘어가던 타이밍이었어요. 그래서 제가 그때 딱 마음 먹고 계속 AI 공부에 올인했거든요. 어차피 회사 분위기 어수선해서 몇 개월 올인하다 보니까 이제 조금 베이스가 쌓였던 것 같아요. 그거 예쁘게 봐주셔서 이제 NC 소프트 가서는 제대로 좀 공부랑 개발이랑 같이 할 수 있었죠.

아 역시 회사가 어수선할 때의 틈을 타서.

네. 완두용 교수님께서 말씀하실 때.

아름답습니다.

정주영 교수님.

네.

네. 원래 이렇게 너무 모시기 힘드신 분이신데 저희가 이렇게 잡담하느라 계속 눕고만 계시고.

잡담이라니.

저희 다 잡담이었어요. 네.

저는 근데.

아까 잠깐 얘기했었지만 거의 이거 20년 봐가지고요, 저는. 그러니까 별로 새롭지는 않았어요, 사실은. 그냥 옛날부터 알고 있었던 건데 안 되는 거였는데? 이런 느낌이었다가 이제 본격적인 건 사실은 눈이 타고의 만남이 컸죠. 제가 2014년에 투자를 했는데 엔젤 투자하면서 원래 이제 눈잇이 ILS VRC 2014년에 나갈 때 그때만 하더라도 옷 가지고서 이렇게 커머스 쪽 했었거든요? 근데 제가 딱 보니까 그건 아닌 것 같아가지고 데이터나 여러가지만 했어도 아닌 것 같아가지고 의학적으로 돌리면 제가 돕겠다고 그래가지고 그때 의학 분야로 돌리고 그럼 이제 제가 투자한 회사가 됐으니까 뭐 또 제대로 좀 봐줘야 되지 않겠어요? 그래서 그때부터 좀 본격적으로 봤죠 그러니까 근데 나오는 것 자체도 그렇게 수학적 베이스도 뭐가 됐던 그렇게 어려운 종류는 아니었고 그래서 옛날에 사실 학문들이 좀 비슷하게 극한으로 가면 거의 비슷하게 만나요. 그래서 공통점이 되게 많아요. 텀이 다르고 용어가 다르고 뭐 이래서 그렇지 시간이 가면 대부분 또 보여서 저도 아까 나코님 얘기한 대로 닥치는 대로 많이 보면은 지금 이해가 안 돼도 한 번 보고 두 번 보고 열 번 보고 백 번쯤 보면은 보이기 시작한다 뭐 그런 그런 주의자라서 최대한 많이 보는 게 좋다고 봅니다

감사합니다 네 오늘 다들 뭐 딥러닝 꼰대들 모인 것도 아니고 다들 다들 막 열심히 하면 된다 하면 된다 네 주의하실 게 채팅에서도 올라오는데 나코님이나 활성님이나 정우님이나 지훈님이나 다 다들 머리도 좋으시고 배경도 탄탄하시고 이러셔서 하면 된다지 꼭 다 그런 건 아니라고 좀 알려달라고 채팅에도 올라오네요

시간이 많이 걸리니까 어쩔 수가 없죠 스킬만 가지고서 그냥 적용만 하겠다는 쪽만 목표로 가지면 뭐 우리 많이 쓰이는 튜토리얼들이 있으니까 그 정도에서 이것저것 가지고 노는 식으로 하는 정도면 되지 않을까 싶고 꼭 다 리서치할 필요는 없는 거잖아요. 그렇게만 할 필요는 없는 거고. 라콘이는 또 조금 다른 생각일 수 있는데.

제가 관련돼서 질문 드릴 게 있는데 얼마 전에 Reddit에서도 올라왔는데 딥러닝의 낮은 진입장벽이 딥러닝의 레피테이션을 낮춘다. 세상에 딥러닝 한다는 사람들이 코드 돌려보고 하는 사람만 많다고 들었는데요. 그런 것들에 대해서 어떻게 생각하시는지 정말 만약에 하정우 디렉터님은 인재를 뽑을 때 어떤 부분을 주로 보시는지 이런 거랑요 그 다음에 이런 낮은 베어리어가 가져오는 많은 소위 딥러닝 전문가들의 양산 이런 거에 어떻게 보시는지 좀 궁금합니다

채용 관점에서 말씀을 드리면 말 그대로 채용을 해야 되는 숫자는 있는데 지원자가 많이 늘어나는 셈이니까 저희가 좀 더 힘들 수는 있죠. 그래서 당연히 저희 입장에서는 저희가 해야 되는 일들이 굉장히 많으니까 많이 뽑긴 하지만 영향 검증은 당연히 필요하고요. 그래서 일반적인 코드 좀 돌려보신 분 뭐 이런 분들이 안 된다 이런 개념보다는요. 굉장히 빨리 배우실 수 있는 분 굉장히 적응을 잘 하실 수 있는 분 습득 능력이 좋으신 분, 소위 말해서 러닝 커브가 빠르신 분 같은 경우는 경험이 적어도 선호하는 편이긴 해요. 저도 계속 말씀드렸다시피 딥러닝, 소위 말하는 뉴럴렛 계열의 어떤 머신러닝 레서드들은 다른 머신러닝 기반 방법들에 비하면 진입장벽이 낮고 그리고 굉장히 빠른 속도로 성장이 가능하기 때문에 이런 성장 가능성 있는 분들 같은 경우는 같이 맨땅에서 구르면서 충분히 영향이 올라올 수 있다고 생각을 해요. 그래서 저희가 채용할 때도 그런 부분을 굉장히 많이 보고 있고요. 물론 이미 충분히 엑스퍼트 수준에 계신 분께서 지원을 해주시면 좋죠. 좋은데 이런 분들 같은 경우는 구글, 페이스북 이런 식으로 가기 때문에 현실적으로 그렇게 쉬운 건 아니고요. 물론 바꿔 말하면 저희가 그런 분들이 오실 수 있는 환경을 만들기 위해서 노력을 열심히 하고 있다 뭐 이렇게 말씀을 드릴 수 있을 것 같고요 이거는 완전 다른 측면인데 전문가들이 양산되고 있다라고 표현을 하시지만 저희 입장에서는 나쁠 게 없는 게 이렇게 접해보신 분들이 많아진다는 얘기는 관심을 많이 갖는다는 얘기가 되고 결국 저희 입장에서는 시장의 파이가 커진다는 의미로 볼 수 있거든요 본인들이 조금이라도 해보면서 관심을 갖고 그리고 관련 분야에 대해서 상품이나 서비스가 나오고 그럼 이분들은 그 시장의 아주 중요한 사용자, 고객층이 될 수 있다고 생각을 하기 때문에 회사 입장에서는 오히려 더 좋은 효과로 나타날 수 있다고 생각을 합니다.

혹시 다른 분들은 이런 진입장벽과 딥러닝 하시는 분들의 전문성 이런 거에 대해서 말씀하실 거 있으신가요?

그건 굉장히 불편한 것 같아요.

저거랑 똑같이 인터넷 처음에 시작했을 때 다들 인터넷 쓰면 안되는 것처럼 얘기를 한다던지 아니면 인터넷 초기에 가장 많이 얘기 나왔던 것 중에 하나가 저널리스트, 블로그 같은 걸 쓰는 사람들, 저 사람들 제대로 트레이닝도 안 받았는데 어쩌고 뭐 이런 얘기랑 비슷한 거라고 저는 봐요. 한마디로 말해서 우리가 쓸 수 있는 간단한 도구인거고 어떤 면에서는 그렇게 해가지고 수많은 사람들이 써가지고 좋은 가치를 만들어 놓으면 나쁠 게 없잖아요 그리고 그거를 딥하게 봐가지고 하는 어떤 뭐 예를 들어 TCP IP의 스택을 만든다든지 이런 사람도 있는거고 아니면 그거를 활용을 해가지고 하는 사람도 있는거고 그런거지 그걸 굳이 그렇게 뭐 저는 전문가는 말 자체를 되게 싫어해가지고 그 전문가스러운 어떤 계급화를 잡고 하려는 그런 느낌의 말 자체가 별로 좋아하지 않아서 저는 아주 좋은 현상이라고 봅니다.

저 똑같은 거 원래 말씀드리려고 했는데 제가

예전에 충격받았던 게 소셜레터워크라는 영화였어요. 소셜레터워크라는 영화를 봤더니 하버드생인 주커버그가 술 처먹으면서 그때 제가 알고 있던 tcp ip 스택 같은 걸 그러면 되게 쉽지가 않았거든요. 갑자기 새로운 기술들이 갑자기 나왔어요. 인터넷 쪽에서도 노드든 아니면 메시브하게 스케일러블한 갑자기 에디스같은 것들 노엘스케일같은 것들이 갑자기 나왔었는데 결과적으로 그들을 되게 무시하는 문화가 개발 쪽에도 있었어요. 그들을 힙스터라고 부르고 왔는데 그들이 새롭게 제공하는 가치가 제시하는 가치가 훨씬 더 컸고요. 그들은 분명히 아래쪽 스택을 잘 몰랐지만 어쨌든 그들의 세상이 됐어요. 제가 보기에는 머신러닝과 딥러닝도 비슷하게 바뀔 수 있다고 생각하고요. 사실 저희가 프로그램을 잘한다고 하지만 반도체가 어떻게 들어갔는지 다 배우긴 배웠는데 기억은 잘 안 나요. 저도 MP 반도체 어떻게 됐는지가. 거기서 양자 터널 같은 게 어떻게 됐는지 모르거든요. 어차피 내려가면 내려갈 수 모르긴 마찬가지인 것 같다고 생각합니다.

네, 말씀 감사합니다. 의견들이 다들 비슷비슷하네요. 지금 진영님 주무시나요?

아니요, 저 지금 잘 듣고 있습니다.

진영님께 마이크의 기회를 드릴게요. 여기 설문조사 저희 한번 했잖아요. 오늘 리포터로서 설문조사 결과 좀 공유해 주시죠.

네, 이런 영광을...

질문도 있으면 좀 주시고요, 좋은 질문 있으면.

뭐 우선은 사실은 저도 그 딥러닝 현상에 대해서 저는 사실은 약간 다른 관점에서 저도 사실은 그 정진욱 교수님 말씀해주신 대로 괜히 막 전문가 일반인 이렇게 나누는 건 좋아하진 않아요. 근데 저는 오히려 좀 걱정이 되는 게 걱정까지는 아니지만 제가 생각할 때는 지금 딥러닝 그 분야의 약간 붐 같은 게 예전에 그 빅데이터 처음에 나왔을 때 사람들이 뭐 하드웁 이런 거 굉장히 열심히 막 하고 막 그렇게 뭔가 세대가 바뀌는 것처럼 갔다가 실제로 세대가 바뀌긴 했지만은 그때 뭐 하드웁 막 공부했던 게 사실은 지금은 다시 다 그냥 SQL로 쓰고 그냥 그렇게 됐었고 지금 공부를 굉장히 열심히 하는 건 굉장히 저는 저희 나라에는 되게 좋은 일이고 바람직한 상상이라고 생각을 하는데 또 한편으로는 뭐 지금 뭐 초등학생까지 텐서플로우를 배운다는 그런 얘기를 들었는데 이게 기술이 계속 바뀌잖아요 계속 바뀌면서 이렇게 텐서플로우 같은 경우에도 계속 업데이트가 되면서 계속 뭐 API가 바뀌고 그러면 이제 다시 다시 해야 되고 그런 식으로 이제 시간을 굉장히 지금은 어찌 보면은 성숙되지 않은 기술들이라서 굉장히 변화도 빠르고 지금 공부한 것들이 나중에는 사실 굉장히 바뀌어서 뭔가 효과를 좀 얻기 힘든 그런 상황들일 것 같은데 딥러닝 기술도 그렇지만 그 기술을 가지고 뭐를 해야 될 것인가 그런 쪽으로 고민해야 되는 사람이 저는 훨씬 많을 거라고 생각을 하거든요. 정말 하드코어하게 딥러닝 기술을 가지고 나중에 정말 막말로 밥거리를 할 수 있는 분도 있고 대부분의 분들은 제가 봤을 땐 딥러닝 기술을 잘 써서 뭔가 그 결과를 자기 분야에 응용하면 되는 분들인데 그 두 분들의 약간 제가 봤을 땐 접근 방법이 좀 달라야 될 것 같은데 지금 모두들 약간 딥러닝 연구자 그 마인드로 이제 공부를 하시는 것 같은데 이제 그거에 대해서 조금 의견 있으시면 좀 저는 궁금하고 네 전 또 설문을 좀 정리해드리도록 하겠습니다.

네, 리포터님.

그거는 사실은 그 기술의 발달성에 대해서는 어쩔 수 없는 것 같아요. 보면은 초기에 프린시프를 하는 사람들이 있고요. 그때는 굉장히 포수가 하죠. 왜냐하면 아무도 그거의 가치를 잘 모르니까 될지 안 될지도 모르고 그러다가 유스케이스 하나가 첫 번째가 나오기 시작하면 한 분야 정도에서 다음을 이제 proof of concept으로 하게 되죠 그때 그때는 이제 정말 고생 많이 하신 분들이 이제 뜨는 거죠 이제 사실은 AlexNet 같은게 나타났을 때가 이제 그런 시기라고 보면 되는데 첫번째 proof of concept이 나온 다음에는 그러면 이제 어 그럼 우리 또 해볼까 해가지고 use case가 늘죠 이것저것 다른 쪽에서 또 써보고 범용성 정도가 확립이 되기 시작하면 그때부터는 커머셜 한 파트에서 사람들이 진입을 하기 시작하죠. 왜냐하면 이제 가치가 있을 것 같으니까. 커머셜 파트에서 진입하면 게임이 달라지는 것이 고객에 대해서 이해를 해야 되니까 유저 익스피린스가 되게 중요하고 그 다음에 상품화를 해야 되기 때문에 해석이 됐든 뭐가 됐든 규제가 됐든 이런 부분들을 극복을 해야 되고 에 대한 것들이 이제 진행이 되게 되는데 또 한 가지는 가격이 싸져야 되고 접근성이 쉬워야 되니까 도구가 많이 나오고 가격도 싸지고 지금의 딥러닝이 지금 그 단계에 들어가고 있는 거죠 그러니까 사실은 굉장히 많은 다이버스한 영역에서 도메인 테크너의 가격을 싸게 만드는 거 옵티마이제이션 뭐 그 다음에 유저 엑스피리언스 인터프리터블리티 뭐 이런 이슈들이 쭉 뜨고 있는 거고요 그 다음에는 진짜 제대로 된 상품을 만드는 쪽으로 가게 되니까 성숙하게 들어가는 거죠. 이거는 사실은 기술이란 것이 이제 사회에 들어와서 어느 정도 진입을 하고 뭔가를 만들기 시작하면 그게 자연스러운 현상이에요. 제가 봤을 때 너무 자연스러운 현상이어서 볼 건 없다고 생각해요.

네, 저도 굉장히 예를 들어서 지금 두 가지 이제 우리나라 저는 엄청난 열풍인데 하나는 인공지능 열풍이고 하나는 이제 비트코인이잖아요. 저는 그 중에...

비트코인...

비트코인... 비트코인...

비트코인...

비트코인...

비트코인...

비트코인...

비트코인...

비트코인... 비트코인...

비트코인...

비트코인...

비트코인...

비트코인...

비트코인... 비트코인... 비트코인... 비트코인... 비트코인... 비트코인... 비트코인...

비트코인...

비트코인...

비트코인... 비트코인... 비트코인... 비트코인... 비트코인... 비트코인...

비트코인...

비트코인... 비트코인... 비트코인... 비트 거기에서 이제 뭔가 한 단계 나아갔을 때 거기에서 이제 본인의 약간 응용 분야나 그런 거랑 접목을 시켜야 되는데 그 부분에서 조금 많은 분들이 고민을 하시지 않았나 그런 생각도 좀 들고 하지만 기술이 성숙하면서 조금 더 그런 것도 좀 더 쉬워지고 그렇게 될 것 같습니다 네 그 설문조사 결과를 조금 더 말씀을 드리면은 우선은 지금 저희가 사실은 텐서플로우랑 AI 코리아 커뮤니티 위주로 이번에 설문을 해서 사실은 그 부분이 많이 반영이 된 것 같은데요. 우선은 여기에 답변해주신 분들의 직업 분포를 보면 대학원생, 대학생 분이 한 40% 정도 되고요. 그다음에 개발자분이 한 25% 되고 나머지는 비즈니스 대기업 이렇게 나왔는데 어쨌든 조금 더 저희는 전문가가 되려고 준비를 하시는 분이나 아니면 이제 비슷한 쪽이라고 할 수 있는 개발 쪽에 계신 분이 지금 많으신 것 같고 그 다음에 이제 딥러닝에 관심을 갖게 된 계기도 실제로 연구하시는 분이 한 30% 되세요. 그래서 지금 저는 좀 이렇게 연구하신 분들이 어쨌든 그분들이 모인 커뮤니티니까 좀 그런 것 같고 근데 이제 비즈니스에 활용하고 싶거나 아니면 이제 그냥 딥러닝 스킬셋을 갖고 싶은 분들 또 그냥 진짜 호기심 때문에 오신 분들도 계시고 그 다음에 NIPS 관련해서는 어떤게 관심이 있으신지 봤더니 역시 지금 뭐 딥러닝 중에서도 가장 핫한 것 같은 그 GAN이 속한 Unsupervised Learning이 지금 가장 높게 나왔구요. 이게 재밌는게 제가 사실은 작년에 저도 데이터 과학 쪽에서 책을 집필하면서 비슷한 설문을 했는데 그때는 Unsupervised Learning이 거의 없었어요. 근데 이제 한 2년 안에 이렇게 굉장히 많이 화두가 옮겨갔다는 게 점점 재미있는 것 같고 그 다음에 reinforcement learning이 그 다음이고 이 두 가지는 사실은 기존 머신러닝 쪽에서는 사실 거의 언급을 많이 안 하던 분야인데 굉장히 어쨌든 트렌드가 많이 바뀌었구나 생각이 들고 기타 딥러닝 이론 그리고 회사에서 어떤 일이 이루어지고 있는지 그런 이야기도 좀 있었고요 방송에서 다뤄주셨으면 하는 주제는 연구 트렌드 그 다음에 딥러닝의 장점과 단점 기존에 머신러닝 비교해서 어떤 장점이 있는지 기타 학습 방법과 응용 분야 이 두 가지도 있었고 프레임워크도 있었어요 근데 프레임워크는 그렇게 많이 안 나왔고 오늘은 어쨌든 LIPS 컨퍼런스 관련해서 말씀을 나눌 예정이니까 트렌드와 그 다음에 장점과 단점 위주로 좀 더 말씀을 나눠보면 어떨까 합니다 네, 기타 질문은 제가 중간중간에 끼워 넣을게요. 그리고 이제 테리님께 다시 마이크를 옮기겠습니다.

감사합니다, 리포터님. 목소리가 너무 좋으셔서 정지윤 교수님이랑 두 분 하실 때 EBS인 줄 알았어요.

테리님?

네.

네, 요청이 있습니다. 팍성님한테 질문 좀 해주세요.

그래서 지금 이제 Nips 얘기를 시작하면서 활성님께 첫 질문을 드리려고 합니다. 활성님 졸리신가요?

내 옆에 침 흘리는 거 봤어요.

네 알겠습니다. 활성님께 질문을 드릴게요. 이제부터 좀 Nips 얘기도 하고 특별히 연구 얘기들을 좀 하려고요. Nips 하면 또 최고의 머신러닝 합격이기도 하니까 그리고 다들 너무 Nips 가셔서 부러운데 Nips에서 어떤 일들이 있었는지 좀 한 번씩 여쭤보도록 하겠습니다. 먼저 월요일에, 아 이번에 아니다, 이 얘기는 활성님이 답을 못하실 수도 있으니까 다른 걸 여쭤보죠. 질문이 원래 뭐였냐면은...

그건 모를거에요.

네 알겠어요.

그럼 활성님께 질문 드릴게요. 활성님 그... 이전에도 Nips를 가보셨다면 해마다 변해가는 Nips의 규모에 대해서 어떻게 생각하시나요?

잘못하셨네요.

입술 안 감았습니다. 처음입니다.

그래서 제가 다른거 하겠다고 했잖아요.

우리가 잘못했습니다.

입술 규모 얘기해주시죠.

입술 규모가 저희 장교수님 만나서 말씀하시는 말씀이 서머스쿨처럼 시작을 했다. 30년 전에. 처음 시작할 때 서머스쿨 정도였는데 이렇게 커질 줄 몰랐다. 라고 말씀을 항상 하세요. 입술이 사실 머신러닝이 좀 대중적으로 많이 인기가 없을 때도 머신러닝 내에서는 가장 많이 모이는 학회이긴 했어요. 가장 중요한 학회이기도 했고, ICML과 더불어서 가장 많이 모이는 학회이긴 했는데 물론 ICML과 NIPS는 유러사이언스적인 내용도 되게 많고 뭐 어떤 이볼루션? 이런 쪽 연구도 되게 많이 있었어요. 그리고 반 이상 이제 관련한 머신러닝 이론적인 부분들도 좀 많았고 그런데 작년부터 재작년부터 좀 등가하는 것 같더니 작년에는 온갖 분야 분들이 다 모여서 일단 머신러닝이라는 게 뜨는 것 같은데 NIPS라는 데를 가보자 하면서 등록 마감 사태가 발생을 했죠. 그리고 올해는 8000명, 공식적으로는 7500명 정도가 등록을 했대요. 그런데 부스 운영인들도 있고 프레스들도 있고 이러다 보니까 최소 8000명 이상이 모인 것 같아요.

거의 콘서트네요, 콘서트.

네, 이 정도면 뭐 거의 물론 의료 쪽 학회 가니까 훨씬 더 크긴 하다고 하는데 CS, 컴퓨터 사이에서 특히 머신러인 쪽에서는 거의 유례가 없는, 사상 유례가 없는 정도의 많은 분들이 모인다. 근데 이 모이는 분들의 도멘이 굉장히 다양하다. 이 얘기는 머신러닝을 기반으로 한 AI가 거의 패러다임화, 패러다임 시프트를 만들고 있다고 생각을 할 수 있을 것 같아요.

그러면 다시 활성님께 질문을 드릴게요. 그래서 옛날에는 학회에 가면 대부분 새로운 발표를 듣는다든지 새로운 연구 내용을 본다든지 이러면서 새로운 연구들을 많이 접하잖아요. 다 알카이브에 나오고, 뭐 피어리뷰 끝나고, 화키까지 할 때 되면은 이미 유명해진 논문들이 다 걸려있으니까 약간 그런 기능은 좀 약해진 것 같은데 입스에 가서는 주로 어떤 거를 얻으실 수 있나요? 직접 참석하면.

제 생각에는 제일 큰 거는 이제 세계적으로 유명한 사람들을 볼 수 있는 자리가 많다는 게 있고요. 다르게 얘기하면 네트워킹 자리가 굉장히 중요한 것 같아요. 온라인상으로 안 되고 오프라인에서 만나서 이런저런 얘기하는 것들이 가능해지고요.

그럼 구펠로우랑 호영호제라도 하고 그러시나요?

그렇죠. 궁금한 게 있으면 가서 물어볼 수 있는 기회들이 생기니까. 그리고 온라인상으로 여러 가지 얘기됐던 온라인상으로 메일을 주고받은 친구들도 닙스 왔니? 나 왔다. 그럼 우리 어디서 보자. 이런 메일이 오고 가기도 하거든요. 그러면 좀 더 많은 코억이 일어날 수 있고 그리고 주로 보면 학회 당일에 논문들은 이미 알고 있는 거지만 제일 궁금한 건 그 다음에 무슨 일이 일어날지가 제일 궁금하잖아요. 다음 연구 뭐 하고 있는지 어느 방향으로 가는지 그래서 그런 거 서로 얘기하다 보면 또 아이디어 떠올리면 또 논문 쓰고 이러는 게 좀 비일비재하는 것 같아요. 포스터 세션도 굉장히 늦게까지 하고 좀 치열하게 얘기하기도 하고요. 그리고 워크샵 같은 경우에도 예전에 제가 학회 다닐 때는 좀 수줍낮은 논문들이 나오는 뭐 이런 느낌이었는데 지금은 워크샵, NIPS 워크샵 가 보니까 주로 발표되는 내용들이 내년에 출판될 논문들에 대해서 얘기하는 경우가 많더라고요. 그래서 좀 더 한 발짝 빨리 정보를 접할 수 있는 장소가 되기도 하는 것 같고요.

활성님 기터업 유명하잖아요. 그거 보고 알아보시는 분들이 좀 있으신가요?

네, 이름 보고 조금 알아보시는 분 계시더라고요. 그리고 구글분이 만나자고 한 분도 계시고.

반갑습니다. 얼마나 어렵게 데려왔는데?

그렇군요. 그럼 Nips 내용으로 월요일이 튜토리얼인데 원래 Nips는 튜토리얼이랑 워크숍 이런 게 오히려 본 발표보다 더 재밌는 경우가 많더라고요. 그래서 튜토리얼 어떤 거 들으셨는지 나코님부터 한번 말씀해주시겠어요?

부스 운영했습니다.

네, 넘어가고요. 다른 분이요?

저라고 부스 운영 안 했겠습니까? 부스 대장인데.

네, 다음 분이요.

저는 뭐 갠 좀 들어갔고요. 그런데 워낙 사람이 많아가지고 좀 집중이 안 되더라고요. 장소도 넓은 데서 하다 보니까.

오히려 내용 들으려면 온라인 라이브 스트리밍 듣는 게 더 낫다는 분들도 많으시더라고요.

그 말씀 드리려고 했는데 아침에 튜토리얼이 멀티세션으로 돌아가는데 딥마인드에서 난도가 와서 하는 튜토리얼이 있었어요. 8시부터 시작이었는데 등록을 해야 들을 수 있잖아요. 저희가 이제 부스 운영을 하기 위해서 딱지도 붙여야 하고 해서 좀 나름 일찍 간다고 갔는데 등록줄이 학회장 바깥으로 겹쳐가지고 세 줄을 서있더라고요. 사람들이 등록하느라 기다린다고.

기다리다가 못 들었겠네요?

네, 그분들 아마 들어왔으면 튜토리얼 다 끝나고 점심시간 정도? 저희도 등록을 밥 먹고 했어요. 그 정도로 이게 좀 운영의 이슈가 좀 있었다라는 부분이 있죠. 그래서 실제로 튜토리얼 많이 못 들으셨을 거예요.

저는 등록해서 배지 받는데 1시간 주셨어요 진짜.

가위바위보 해서 한 사람이 좀 담아두면.

그니까 뭔가 좀 사실은 그날 등록 이거 주는 거는 좀 길게 한다거나 이렇게 해서 좀 시간을 줄일 수 있었을 것 같은데 너무 못한 것 같아요

사실은.

사실 그 전날에 등록이 가능하긴 했거든요. 그래서 그 전날 등록을 하셨던 분들은 이제 위너죠.

정준인 교수님은 월요일 아트 스토리 어떤 거 들으셨어요?

저는 트렌드. 저는 수박버터에 끼잖아요. 그러니까 전체를 한꺼번에 몽창 와장창 볼 수 있는 게 제일 좋아서 트렌드하고 이런 쪽 관련된 거 넓게 보는 거 위주로 해서 들었죠.

항상 튜토리얼 맨 처음 봤는데 저도 봤거든요. 근데 한 해 한 해가 다르더라고요. 한 해 한 해 그 때의 스탠드가 옛날에 기초적인 지식이 되어버리고 또 이번에 새로운 게 나오고. 이번에 오토바이 모델을 좀 많이 하는 것 같던데.

네 그것도 많았고 범위가 되게 넓어졌고요. 딱 느낌은 진짜 커머셜라이즈 되는구나 하는 느낌이죠. 왜냐하면 이슈화가 되는 것들의 대부분이 실제 고객들하고 만나고 문제를 해결하려고 할 때 부딪히는 것을 해결하기 위한 안 할 수가 없는 그런 것들이 점점 부각되는 것 같았거든요. 예를 들면 인터프리터빌리티라던가 인터프리터빌리티 엄청 떴죠. 사실은 저 같은 경우에도 저는 좀 일찍 시작했잖아요. 인터프리터빌리티하고 휴먼 AI 인터랙션 분야 굉장히 일찍 했는데 그 이유는 고객을 만나기 시작을 하게 되면은 레귤레이션 이슈라든지 그 다음에 상품화 문제 때문에 그게 가장 이슈가 될 수밖에 없어요. 그러니까 프로덕트를 준비하고 커머셜라이저를 중심으로 하는 사람들은 그 부분이 굉장히 뜰 수밖에 없는 상황이라 많이 보고 있었는데 아니나 다를까 한 1,2년 지나니까 메인 이슈로 올라와요.

특히 헬스케어나 뭐 이런 쪽이 되게 중요하잖아요.

헬스케어 같은 경우에 규제 부분에서 옛날에 블라인드 식으로 해서 결과는 좋은데 왜 그러는지 몰라요. 이렇게 하면 큰일 나잖아요. 그러니까 일단 두 가지 정도의 방안이 나오죠. 하나는 이러이러해서 이런 결과가 나왔습니다라고 설명력을 강화하거나 베이션 쪽에 접근하는 부분들의 인터뷰, 인터뷰는 그렇게 하고 또 한 가지는 의사가 됐든 누가 됐든 내가 휴먼 인 더 루프 식으로 끼어들어가서 다이섹션을 하거나 보여주거나 이래저래 내가 중간에 껴갖고 내 나름의 판단에 의해서 이렇게 결정했습니다 하고 하는 일종의 인터페이스로 접근 이 두 가지의 설악이 있게 되는데 그 두 가지 접근들이 다 부각 됐어요 지금 그래서 만드는 쪽에서는 이렇게 하고 수학이나 약간 좀 그 과학적 이런 거 근거를 하려는 쪽에서는 그 그런 컴퓨던스라든지 이런 거를 집어넣어 살려고 하고 이 두 가지 어플로지가 지금 다 등장을 하고 있고 아마도 제품의 클래스라든지 또는 타겟이라든지 이런 거에 따라가지고 선택하는 것이 좀 달라질 것 같아요. 이건 굉장히 중요한 이슈고 상품화에서는 되게 중요한 이슈라서 앞으로도 당분간 큰 이슈, 큰 어떤 에이리어가 될 것 같아요.

나코님께 질문드릴게요. 나코님은 뭐 다른 것도 흥미롭게 본 거 있으신가요? 주제?

이번에 와서 느낀 게 보통 다 아카이브에 올라오니까 이렇게 본 포스터는 제가 이미 봤던 포스터고요 안 봤던 포스터는 원래부터 흥미가 없던 거라 볼만한 건 다 뽑았어요 그래서 그게 재밌더라고요 근데 워크숍은 안 그래가지고 좀 달랐던 것 같고요 워크숍은 봤던 거가 재밌고요 안 봤던 건 재미가 없더라고요

아, 좀 분야로 말씀해주시겠어요? 그러니까 뭔가 뭐 예를 들면 reinforcement 러닝에서 뭐라든지 뭐 아니면은 뭐...

제가 올해 재밌다고 생각한 거는 VQB라고 생각하는 거랑 웨이브 넥 계열이랑 뭐 그런 것들이고요 대부분은 레이턴트 스페이스를 좀 어떻게 하면 더 잘 배울 수 있는가? 그런 것들이 가장 중요한 트렌드라고 생각을 했고 그리고 올해 미프로합이나 뭐 뭐 컴프레스트 그래디언트나 뭐 이런 것들 중요한 변화라고 생각하는데 그런 것만 눈에 들어오고 뭔가 뭐 푸앙카레 이런거요 수학용어 나오는거 익숙하지가 않더라고요 수학용어 나오는거 수학적으로 저희가 학습을 하려고 할 때 데이터를 잘 다룰 수 있는 테크닉들이나 거기에 대한 경험적인 것들 보통 딥마인드에서 많이 나오는데 그런 것들에 대해 관심이 많이 가더라고요

활성님은 겐 관심이 있으셨으니까 겐에서 뭐 또 다 봤던거죠?

네 뭐 주로 다 봤던 거였고 저도 워크숍이 제일 재밌었거든요 워크숍은 레드벨스를 어택 쪽 들어갔었는데 그쪽 재밌는 연구들이 많이 있더라고요

어택이라면 어떤 어택 말씀하시는 건가요?

클래스파이어가 멜드면 분류성능이 99%다 하더라도 지금 나오는 결과들을 보면 뭐 한 화수만 바뀌어도 그게 전혀 다른 클래스로 되거나 이런 거를 Adversarial Attack이라고 하거든요. 완전 속이는 거. 이게 어떻게 보면 아까 정지훈 교수님 말씀하신 것처럼 이게 상품화됐을 때 이제 그런 결과가 나오면은 이게 고객한테 설명하기 어렵잖아요. 그래서 그런 거를 이번 워크샵 통해서 이런 현상들이 있고 이걸 어떻게 풀어나가야 되고 혹은 이런 걸 가지고 클래스파이를 어떻게 학습하면 좀 더 그런 어택이 강인해질 것인가? 이런 보안, 어떻게 보면 보안하고도 관련되어 있다고 볼 수도 있죠.

이번에 대회도 하지 않았나요? 대회도 했던 것 같은데?

네?

대회도 했던 것 같은데요, 이번에?

네, 컴퓨티션 대회도 했었는데 그 결과는 제가 못 들었어요.

그 뭐지? 활성님께 기회를 드릴게요. 겐을 쭉 보셨으니까 기초 겐에서 어떤 갈래들로 뻗쳐 나오는지를 한 3분에서 5분 사이로...

겐 튜토리얼을 시켜.

겐 튜토리얼. 3분짜리 겐 튜토리얼.

겐은 나중에 방송 하나 따로 만들어야 될 것 같아.

이분 왠지 사심방송인데 이거?

이번에 3분짜리 잘하시면 제가 30분 드릴게요 다음에.

한 번 안 주셔도 될 것 같아요. 2014년 논문 나오고 갠 학습 잘 안되니까 기본 갠 학습을 잘하기 위한 한 줄기가 있고요. 그 다음에 그 줄기가 주로 로스 펑션을 어떻게 바꾸면 학습이 잘 되더라 이런 쪽의 계열의 논문들이 한 축이 있고요. 또 다른 축은 갠이 어느 정도 성능이 나오는 갠들이 있으니까 그걸 가지고 실제 분야에 응용하는 쪽 그런 쪽 계열들이 쭉 나오고요 그 다음에 제 생각엔 또 다른 건 이제 그 게네 단점을 또 극복하기 위한 게 또 Variation Autoencoder랑 같이 하는 다른 방법론이랑 같이 섞어서 했을 때 이제 좀 더 좋아지는 결과들이 있어서 이제 그쪽으로 또 한 축 제가 봤을 땐 그렇게 크게 3개? 축으로 있지 않을까라고 생각하고 있습니다

그래서 가장 본인이 관심가시는 분야는 어떤 쪽이신가요?

전부 다 압니다. 아, 또 다른 쪽이 있구나. 개인의 응용 분야 쪽에서 사실 저는 개인이 일반 네트워크 학습시킬 때 데이터 오그멘테이션 관점에서 그리고 아까 얘기한 그런 Adversary Attack 그런 걸 넣어서 좀 더 학습이 제너럴라이즈 되게 좀 더 일반화가 잘되게 학습하는 그런 하나의 툴로서 GAN이 사용될 수 있을 것 같아서 회사에서는 서비스에 가까운 문제들도 풀어야 되기 때문에 그런 걸 풀 때 GAN을 가지고 어택트 해본다던가 아니면 데이터를 좀 더 늘려서 해본다던가 이런 시도를 해보고 싶어요

저는 GAN 관련해서는 저도 얘기할 게 좀 있는 게 사실은 제가 도메인은 크게 두가지를 하거든요. 하나는 여러분들 다 아시는 것처럼 헬스케어를 하고 헬스케어 같은 경우에는 베리데이션 스타드가 되게 중요해서 아까 얘기한 대로 베이시안을 집어넣거나 아니면 휴먼의 인터랙션을 통해서 처리하는 방향성을 가지는데 또 한가지 제가 주로 많이 하는 파트가 문화 쪽이에요. 그래서 음악이라든지 커믹스 뭐 이딴 관련된 걸 많이 하는데 이쪽에서 제너러티브 인터페이스로 접근을 하거든요. 인텔리전스를 증강하는 쪽으로 접근을 하는데 문제는 같은 것을 놓고서 두 접근의 철학이 되게 달라요. 예를 들자면 의학 같은 경우에는 주로 많이 쓰는 게 이렇게 해서 어떻게 보면 성능을 좋게 만드는 거 그리고 딴 데로 많이 안 튀게 만드는 쪽에 해당하는 것들을 해결하려고 많이 쓰는데 문화 쪽에 있는 사람들 같은 경우에는 글로벌 옵티맘을 찾으면 안 돼요. 쉽게 말해서. 한마디로 말해서 어느 정도 패턴을 찾았는데 로컬 옵티마를 들여서 찾을 수 있도록 힐 클라이밍 해줄 수 있도록 해주는 게 우리의 창의성을 자극하는 데 더 유리하거든요. 그러니까 목적이 다르죠. 그래서 어떻게 보면 A하고 B하고의 모드 전환을 같은 기술을 보는데 A를 볼 때에는 이 방향으로 보고 기술을 해석을 해야 되고 B를 문화 쪽을 볼 때는 되려 다이버전스로 가면서도 너무 무너지지 않고 그치만 어느 정도 이렇게 탐색이 가능한 바깥으로 막 튀어나갈 수 있는 그런 것들을 할 수는 있도록 하는 뭐 이런 생각들을 해줘야 돼서 사실은 이 머신러닝이나 이쪽 공부하는 사람들한테 제가 꼭 하고 싶은 이야기가 내가 지금 진짜로 하려고 하는 것이 무엇이고 고객은 누구이며 어떤 가치를 하려고 하느냐에 따라 가지고 같은 기술이라도 되게 다른 걸 볼 수 있다는 거 이번에 특히 워크샵 하면서 크리에이티비티하고 디자인 관련한 워크샵이 처음 열렸거든요. 거기에 모인 사람들은 완전히 다른 시각으로 기술을 바라봤죠.

말씀하시죠.

개인이나 문화 다 전반적으로 제네럴라이제이션을 향해서 달려가고 있다고 생각을 하고요. 거기 관련돼서 되게 다양한 기술들이 동시에 나오고 있는데 하나의 주제를 묶이지는 않고 있는 것 같은데 그게 잘 될수록 더 성능이 잘 나오는 것들을 보고 있어서 그 부분이 가장 맘에 드는데 그 얘기를 아까 빼먹었어요.

데이터가 그냥 제네럴라이제이션으로 가고 있다는 말이 어떤 말씀이시죠?

네트워크를 어떻게 하려면 제네럴라이저 잘하게 할 것인가에 대해서 다들 여러 분야에서 고민을 많이 하고 있고요.

굉장히 많이 나왔죠.

갠도 그렇고 아까 말씀드린 VTBA도 그렇고 아니면 딕셔너리 베이스드 임베딩을 통해서 뭔가 알고 있는, 에피소딩 메모리처럼 뭔가 내가 알고 있는 거에서 설명하려고 하게끔 정보를 제안하는 것도 그렇고 전반적으로 다 그런 트렌드가 있다고 봐요 그래서 전반적으로 여러 테크닉들이 동시에 하나의 목표를 향해 달려가고 있다고 생각하는데 그게 한 주절이 묶여있지 않네요

컨버전스 되고 있었죠 가장 제일 눈에 띄었던 게 디스크리트한 도메인하고 우리 흔히 보는 스페이셜 도메인하고 완전히 다른 접근을 했던 것들을 엮는 방식에 대한 거라든지 아니면 이제 완전히 특성이 달랐던 데이터들을 연결하는 어떤 학습 방식이나 예를 들어서 디시전트리 계열이라든지 이런 과거의 어떤 심볼리칸 어프로치를 지금 현재 쓰고 있는 CNN 계열의 백프로포케이션 중심으로 하는 것들과 연결시킬 수 있는 기술들이 서로 다른 접근으로 여러 개가 나왔고 굉장히 다양한 그런 관련된 문제를 해결하려고 하는 리서치가 서로 다른 방식으로 여러 개가 나왔어요. 그런 거 보면 확실히 옛날에 서로 다른 부족이라고 얘기했었던 것들끼리 따로따로 노는 게 아니라 이게 서로 이런저런 방식으로 서로 만나고 있는 걸 본 게 가장 큰 트렌드? 저는 그게 제일 눈에 많이 띄더라고요.

네. 지금 뭐 약간 경보가 떴는데 너무 전문적이다.

아, 네.

저도 지금...

네.

일반인 리포터에게 마이크를 한 번 넘겨보도록 하겠습니다. 어떤 질문들, 적절한 질문들 있는지 난이도 좀 낮춰주시죠.

네, 저도...

아, 어렵다.

너무 그거에 구애받지 않아도 돼요. 저희는 사실은 그러니까 여기 계신 전문가 분들의 이야기를 최대한 끌어내고 그다음에 이제 그걸로 들으시는 분들이 지금 당장 이해가 안 돼도 이런 게 있구나 할 수도 있는 거고 저는 그냥 정진욱 교수님께서 좋은 말씀 많이 해주셨는데요. 저도 사실은 제가 했던 게 주로 검색, 추천 이런 쪽이라서 아까 인터프리트블리티가 굉장히 상업 시스템에서 중요하다. 저도 굉장히 공감을 하고 그다음에 이제 뭔가 글로벌한 어떤 옵티멈이 있으면서도 그 안에 디버시리가 있어야 된다는 게 저희 검색이나 추천도 마찬가지거든요. 그러니까 뭔가 사용자가 원하는 걸 줘야 되는데 그렇다고 이제 사용자가 원하는 게 딱 한 가지로 보통 접혀지진 않기 때문에 그 안에서 이제 베리에이션이 있어야 되고 그런 의미에서 뭔가 그 컨버전스와 다이버전스의 어떤 그 조화? 이런 게 굉장히 중요한데 네, 그런 건 굉장히 저도 많이 공감을 합니다.

오늘 김진영 박사님 일반인 리포터 역할 하시기로 해놓고 저도 뭐... 그래서 사람은 오버스펙을 뽑으면 안 돼요.

아, 근데 저도 뭐... 저도 일반인이죠, 일반인. 여기 계신 분들의 관점에서 보면은 저도 그냥 저는 그런 것 같아요. 이게 딥러닝이라는 게 저처럼 이제 인적 분야에 연구를 하는 사람이 보는 딥러닝이 있고, 그 다음에 이제 개발자분들이 보는 게 있고, 그 다음에 정말 일반인들이 보는 게 있고, 근데 사실 그 얘기를 한 방송에서 하기는 쉽지가 않아요. 그래서 저는 오늘은 조금 더 여러 가지 관점을 약간 맛보고, 나중에 이제 뭐 좀 더 시간을 가지고, 사실 뭐 갠 뭐 3분 안에 요약한다 이것도 말이 안 되잖아요. 전 그래도 너무 욕심을 내지 말고 오늘은 좀 맛보기로 여러 가지 얘기를 편하게 하면 되지 않을까 생각을 하고 있습니다.

저번에 그 설문 받은 거 보니까 학생들이 진로라든지 공부법이라든지 이런 것도 질문 많이 들어왔는데 약간 쉬어가는 의미로 해서 그런 거 좋은 질문 있으면 하나 좀 해주시죠.

네, 진로... 그렇죠, 학습법도 되게 많았고 그다음에 진로 고민도 되게 많았는데 그것도 이제 재미있는 것은 여기 참여해주신 분들 상황이 다르기 때문에 어떤 분은 영어를 못하는 사람의 딥러닝의 학습법 사실 이 부분은 김성은 교수님께서 좋은 자료로 많이 도움을 주신 것 같은데 어떤 분들은 이제 수학적 지식이 문과 고졸에서 멈춘 사람은 딥러닝으로 어디까지

할 수 있는지

그 다음에 어떤 분들은 통계학과 대학원이신데 이제 여러가지 찾아보고 구현까지 하고 계신데 그거를 여러가지 이것저것 너무 많이 나오니까 그거를 이제 넓이만 되게 여러가지 가지수만 넓혀서 하고 계신데 그걸 깊이 해야 되는지 아니면 넓게 해야 되는지 그런 질문을 하신 분도 계시고요 제가 일단 몇 개 던져볼게요 그 중에서 여기 계신 분들이 좀 답변해주실 만한 거 있으면 나중에 그냥 해주시면 좋을 것 같아요

그럼 일단 수학과 딥러닝, 먼저 수학을 못하는데 딥러닝을 어떻게 접근하면 좋으냐, 어느 방향으로 공부하면 좋으냐 이런거 답변해 줄 수 있으신 분 있으신가요?

네 제가 할게요. 그거는 사실 오늘 크리에이티비티 디자인 워크샵에서도 되게 중요한게 나왔던 주제인데 예를 들자면 디자인하는 사람들이나 작가나 크리에이터들 같은 경우에 이 사람들은 딥러닝 기술을 이용하면 자기의 생산성이 많이 올라가게 되어있는데 추억은 잘 모르잖아요 그래서 가장 비판적으로 이야기가 나왔었던 내용이 뭐냐면 이게 지금 도구로서의 가치가 굉장히 많이 올라가는데 너무 그런 거 강조하지 마라. 여기에도 그런 세상이 있으니까 어떻게 보면 이거를 어떻게 보면 AI 인터페이스 또는 generative interface라는 표현을 쓰는데 도구로서 굉장히 쉽게 쓸 수 있도록 하는 어떤 그런 노력들을 굉장히 많이 하고 그런 사람들을 위한 어떤 기술과 그리고 커뮤니티 같은 것들이 많이 활성화되는 것이 좋다. 그리고 그런 노력하는 사람들의 숫자가 상당히 늘기 시작했어요. 그리고 제가 봤을 때는 이 분야에서 가장 앞서 있는 기업이 어도비 에요. 어도비가 그걸 신경을 되게 많이 써가지고 이것저것 많이 만드는 회사거든요. 그리고 아마도 그런 회사들이 많이 나올 것 같은데 그런 좋은 도구들이 이제 사뭇밭에서 나오기 시작하면 그 인공지능, 딥러닝 관련된 기술을 이해하고 있는 사람들, 어느 정도 이해하고 있는 사람들, 어떻게 쓸 수 있다는 것 정도를 아는 사람들이라면 충분히 그 도구들을 써가지고 자기 생산성도 올리고 가치를 만들어갈 수 있지 않을까. 그래서 필드를 잘 찾으면 충분히 도전해 볼만 했다고 생각합니다.

저도 많이 동의를 하는게 사실 개발자도 마찬가지로 로우엔드부터 프론트엔드 백엔드 다 여러가지가 있잖아요 그런 것처럼 일단은 먼저 튜토리얼 먼저 다 들으시고 그 다음에 튜토리얼에서 어느 쪽으로 심화로 가느냐 어플리케이션으로 가느냐 분야에 따라서 수학을 충분히 피해갈 수 있는 길도 많은 것 같아요 저도 최근 논문에 수식 하나도 없는 논문들을 몇 개를 내가지고 뭐 그렇지 않나 싶습니다 다른 또 의견 있으신가요?

제 의견은 사실 어떤 개별 하시는 분들이 궁극적으로 하시고 싶은 게 뭔지부터 디파인 하는 게 중요하다고 보거든요 모든 운전하시는 분들이 다 차가 돌아간 로직에 대해서 잘 알 필요는 없잖아요 그것과 마찬가지로 본인이 하고 싶은 게 뭔지에 따라서 본인이 하고 싶은 거에 필요한 만큼 진짜 필요한 거, 그걸 먼저 파악해가지고 그걸 차라리 깊이 파는 게 훨씬 효율적일 수 있을 거라고 생각을 해요. 모든 분들이 앉아서 수식 증명 다 하고, 2차 미방 풀고 이런 건 의미가 없다고 보거든요.

그냥 자기가 하고 싶은 거 해보다가 막히면 거기서부터 필요할 때 공부하면 필요한 만큼 공부할 수 있지 않을까 싶네요.

네, 지자체도 동의하는 것 같아요.

다 공부하려면 너무 많아서요. 근데 필요할 때 모르면 또 디버깅도 못하고 안 되는 걸 왜 안 되는지도 모르니까 그때 필요한 만큼만 공부하면 딱 원하는 만큼 공부할 수 있지 않을까 싶습니다. 맞아요.

문제는 해결이 중요하잖아요.

해결.

인공지능 분야가 워낙 빠르게 바뀌고 있으니까 사실 내가 이런 걸 하고 싶어서 사실 굉장히 추상적일 수 있잖아요. 근데 그걸 만약에 업으로 삼아서 돈을 번다는 것까지 생각을 해보면 본인이 구체적으로 어떤 작업을 하게 될지 이런 것에 대해서 굉장히 감이 없을 수도 있고 회사 안에 있는 저희 조차도 어떻게 정말 세분화해서 뽑아야 될지 이런 것도 굉장히 고민이 많거든요 그래서 정답이 아직은 보이지 어려운 상황이지 않을까 굉장히 많이 빠르게 변하고 있기 때문에 그렇지만 그 흐름을 놓치서는 안 된다고 생각해서 그냥 소식들에 대해서 이렇게 바뀌고 가고 있다 이런 것에 대해서는 감을 놓지 않고 본인이 우선 감시 가는데대로 하고 막히면 요새는 또 잘 물어버릴 수 있는데 더 많으니까 그렇게 해서 조금씩 실력을 쌓아가는 게 그나마 조금 현실적인 조언이지 않을까

영어 관련해서 딥러닝 페이퍼가 되게 많이 나오는데 맥을 짚어주는 페이퍼는 많지는 않거든요 그런 거를 알려줄 수 있는 친구가 주변에 있으면 될 것 같습니다

비슷한 의견인데 사실 너무 많은 페이퍼가 나오고 너무 빨리 변하고 있기 때문에 혼자서 하는 것은 현실적으로 불가능하고요. 그래서 주위에 친구들 잘 같이 얘기할 수 있는 친구들 좀 더 크게 하면 커뮤니티 활동을 좀 할 필요가 있는 게 혼자서 할 수가 없으니까 그럼 이럴 때 집단지성을 활용을 해야죠. 그러면 혼자 하는 것보다 훨씬 가능성이 올라갈 수 있다고 생각을 해요. 저희가 회사 내에서 세미나를 굉장히 빡세게 돌리는데 제가 연구실에 있을 때보다 더 빡세게 돌리는 것 같거든요. 개별 개별 논문을 굉장히 구체적으로 판다기보다는 핵심 아이디어가 뭐고, 어떤 데이터를 썼고 뭐가 다른지에 대한 공유만 서로서로 해줘도 팀 내 팀원들 전반적인 어떤 도움을 줄 수 있는 것 같더라고요. 그래서 결국은 집단 지상을 활용할 필요가 있다. 혼자서 끙끙 앓지 말고. 그런 거는 확실히 메리트 있는 것 같아요.

근데 좀 더 팔로우를 해보면 일단 저도 커뮤니티의 필요성을 공감을 하고요. 아까 그 전에 일단은 뭔가 실무 응용 분야를 찾아서 목표를 집중을 해서 뭔가 하나를 하다가 중간에 막히면 필요한 걸 공부하면 된다 이렇게 말씀을 드렸는데 그 부분도 굉장히 좋은 접근 방법인 것 같아요. 근데 여기 계신 분들은 실제로 많이 그런 경험을 일종의 이제 뭔가 문제 해결을 하면서 필요한 걸 배우는 과정을 많이 해보셨을 텐데 요거는 이제 내가 해보니까 정말 좀 제대로 좀 알아두면 좋겠다 이렇게 생각하신 어떤 여기서 질문이 나온 것 중에 수학도 어떤 수학이 필요한지 아니면 이제 그 예를 들어 프로그래밍일 수도 있고 그게 뭐가 됐든 간에 요 부분은 조금 내가 실제로 실문을 해보니까 굉장히 좀 그래도 좀 잘 알아둬야 되는 분야나 기술이다 뭐 그렇게 생각하시는 게 있으신지 좀 구체적으로 말씀해주시면 좀 더 도움이 될 것 같아요

넌파이에요

넌팔만큼 중요한 게 없죠 모든 Neural Network 모델을 NumPy로 다 구현할 수 있거든요? 느려서 그렇지? 근데 그걸 구현해 보므로써 또 이해도가 올라가는 게 있으니까 네, 좋을 것 같습니다.

다른 라이브러리들도 웬만하면 NumPy 컨벤션을 따르려고 하기 때문에 NumPy를 잘 다루면 좋을 것 같아요.

네, 그 NumPy... 제가 보니까 예전에 NumPy만 집중적으로 다룬 튜토리얼 같은 것도 있었던 것 같은데 그건 이제 방송 말미에 좀 소개를 제가 자료로 넣도록 하겠습니다. 태리님 뭐 말씀하시려고 했던 거 아니에요?

아니요. 아닙니다. 아까 그 영어와 딥러닝 공부 얘기를 했잖아요. 저는 개인적으로는 영어를 피하면서 딥러닝 공부를 할 수 있을까 그런데 사실 영어 공부가 딥러닝 공부보다 좀 더 많은 베네핏을 주지 않나요? 영어 공부부터 하는 게 좋지 않을까요?

그걸로는 공론을 다 봐도 괜찮을 것 같습니다. 뭔가 줄인다 그러면 그걸 잘 전파해주는 한국 친구가 있으면 좋을 수도 있어요.

그쵸. 근데 진짜 너무 영어를 피하고 가능한 세상이 오겠죠?

파파고가 있습니다, 파파고.

광고하지 마시고요.

네, 들어갑니다.

광고라도 하셔야지 저희가 출연료 드리는 것도 아닌데. 그렇긴 하네요, 네.

파파고와 클로바를 이용하시면 됩니다.

그새 지금 70분이 넘었어요. 저희 생방송. 동접 70명의 최고 기록을 지금 세우고 있습니다.

와 굉장히 많은 분들이 듣고 계시네요. 축하드립니다.

아유 감사합니다. 근데 저는 지금 새벽 2시를 향해 가고 있어서 사실은 저 지금 맥주 하나도 까서 먹고 있어가지고 점점 컨디션이 떨어지네요. 자 그러면은 다시 립스 얘기로 돌아갈까요? 네, 립스 얘기로 돌아가서 아까 여러가지 얘기들 해주셨는데 저는 또 한가지 이제 트렌드라고 볼 수 있는게 뭐랄까 베이지안의 부활? 이런것도 좀 많이 여쭙고 싶거든요 그래서 베이지안의 부활에 대해서 어떻게 생각하시는지 혹시 말씀해주실 분 있으신가요?

기본적으로 유러넬렛이 굉장히 오랫동안 혼나고 있고 여전히 혼나고 있는거는 프린스폴이 없다 있어요. 그 프린스퍼를 가장 잘 설명해 줄 수 있는 부분이 베이지안과의 결합인 부분이 있을 거고요.

첫번째.

두번째는 역시 유럴렛 자체가 결국은 파라미터들이 굉장히 많은 모델인데 여기서의 어떤 파라미터, 하이퍼 파라미터 얘들을 베이지안 쪽으로 풀어서 뭔가 좀 훨씬 가셀리티컬하게 이쁘게 좀 찾아갈 수 있는 그런 연구가 어차피 머신러닝 하시는 분들 입장에서 봤을 때 특히 이론적인 부분에 연구를 하시는 분들 입장에서 봤을 때 충분히 매력적인 부분이 될 수 있을 것 같고 그래서 결국 베이진 러닝, 베이진 옵티메이제이션, 그리고 뉴럴랩 부분이 합쳐져서 가려는 서로의 이해관계가 맞아떨어지는 부분이라고 생각을 해요 지금 제가 봤을 때는 그쪽 방향으로 가는 게 맞을 것 같은데 이게 리얼월드의 문제 풀이에서도 그게 굉장히 유용하냐라고 물으면 그런 건 못 봤습니다.

네.

좀 애로사항이 있죠, 여전히.

하트라 그런 것 같은데.

네.

그럼 나코님께서 리얼월드에서 어떻게 잘 적용이 안되는지 설명해주시겠어요?

인베이딩 관련해서도 뭔가 믹스쳐 모델 같은 게 제시되긴 했는데 실제로 사용하기 계산량도 너무 많고 너무 느려요. 문제를 해결하긴 하지만 그것이 더 나은 성능을 보여준 것은 없고 이론적으로 뭔가 좀 더 아름답기 때문에 되는 것 같긴 한데 뭔가 분포 같은 것들도 그렇게 아름답게 어떤 가오시안이든 뭐든 확률 모델을 모델링해서 한 것보다 좀 더 좀 더 나이브하게 접근한 것들이 더 잘 되는 것 같고 개선양도 더 나은 것 같아서 아직은 제가 뭐 저는 그쪽에 동의하지는 않습니다 왜냐하면 NIPS에서 이런 페이퍼가 워낙 많이 나왔는데 그건 여기서만 많이 볼 수 있는 것 같아요.

이게 근데 아직 안 좋다는 게 아직까지는 발전이 안 돼서 안 좋지만 나중에 되면 꼭 필요할 것이다 이런 건가요? 아니면 그쪽 방향은 좀 아닌 것 같다 이런 건가요?

사실 되면 좋아요. 되면 굉장히 나이스하게 풀리는 문제들이 많거든요. 굳이 레이어 개수 안잡아도 되고 그 다음에 개별 하이퍼 파라미터들에 대해서 고민하지 않아도 되고 그 다음에 이 러닝 자체가 수렴성 이런 이슈 다 해결할 수가 있어요. 근데 그거는 그거고 그래서 만약에 간다면 갈 수 있다면 되게 좋겠죠. 근데 쓰는 리얼리티 입장에서 봤을 때 개를 만족시키기 위하여 거기에 맞춰가는게 맞냐고 물으면 잘 모르겠어요.

그러면 활성님 주무시나요?

아니요.

네 활성님께 질문드릴게요. 활성님 그 약간 어떻게 하면 베이지한 쪽의 입장을 좀 담은 게 베리에이셔널 엔코더잖아요. 베리에이셔널 엔코더랑 모르시는 분들을 위해서 VA랑 GAN이랑 둘이서 어떤 장단점이 있는지를 통해서 어떤 장단점이 있는지를 통해서 각각의 발전 방향, 미래 방향에 대해서 3분 안에 설명해 주시겠어요?

저는 왜 이렇게 3분 테드라인으로 왔나요?

왜냐면 땜빵으로 나오셨기 때문에 그래요

갑자기 물어보시니까 머리가 멍해지는데 졸려가지고 왜냐면 사람들이

일반인들이 보시기에는 간이 핫하다 간이 이렇게 리얼리스틱한 샘플들을 많이 만들어내 막 이러면서 그럼 도대체 Variational Autoencoder가 왜 필요한거야? 이러시는 분들도 있으시거든요

제가 봤을 때 가장 큰 차이는 생성된 모델의 결과나 이런 것도 있겠지만 Variation Autoencoder는 그래도 인코딩과 디코딩이 같이 결합된 구조잖아요 그래서 인코더로서의 역할이 굉장히 중요한 것 같아요 그래서 Feature Embedding 할 때나 이럴 때 Variation Autoencoder가 인코딩으로서 성능은 강하지만 걔네는 오히려 그런게 없잖아요. 그래서 Generator만 따지면 괜히 더 좋아 보일 수도 있지만 Variation Autoencoder는 인코더도 최소한의 성능이 어느정도 보장되는 접근론이기 때문에 그래서 최근 추세들의 논문들을 보면 Variation Autoencoder랑 걔네랑 같이 쓸 때 여러 멀티모델 데이터들을 한꺼번에 다루고 싶을 때 그때 Variation Autoencoder를 Feature Embedding 하는 쪽으로 쓰고, Decoding 쪽은 Generator가 주도적으로 하고 이런 구조들이 많이 있어요. 그래서 Variational Autoencoder도 생성된 이미지 쪽이니까 이미지 결과만 보면 괜히 좀 더 좋다고 보여지기도 하지만 사용하는 측면에 봐서는 Variational Autoencoder도 굉장히 많이 쓰이고요. Feature Embedding 방식으로. 이렇게 크게 차이가 있다고 했는데 횡설수설하게 되네요. 죄송합니다. 피곤해가지고.

네, 알겠습니다.

기억나는 건 피곤하다는 얘기밖에 없네.

네, 낙헌이 뭔가 추가 발언하신답니다.

네.

네, Variational Boundary Curve는 괜히 크게 달라 보이지는 않고요. 어떤 정보가 어떤 버틸렉을 지나갈 때 논란이 있는 것 같은데 보틀랙을 지나갈 때 다양한 태스크를 해결하도록 로스가 정의되고 갤럭시가 흐르면은 그게 잘 다듬어지는 것 같아요. 그래서 하나의 모델에 갇히지 말고 여러 개로 네트워크를 구성한 다음에 적절한 로스들을 흘려주면은 잘 제너럴라지가 되는 것 같다고 생각합니다.

갤럭시는 바틀랙이라고 하면 어떤 쪽을 바틀랙이라고 생각하시는 거죠?

바틀랙이라고 하는 것보다 레이턴트에 대한 얘기고요.

근데 갠이 레이턴트 스페이스를 잘 못 배운다 뭐 이런 얘기도 있잖아요.

잘 못 배운다고 하면은 그게 멀티태스크로 구성하면서 잘 배울 수 있지 않을까 생각해요. 이거 뭐 다 제가 갖고 있는 생각이니까.

아 약간 라지스케일로 가서 조금 더 빡세게 갠을 굴리면 결국은 배울 것이다.

흐로한 것처럼 보이는데 이건 왜 누군가로...

다시 정지훈 교수님께 한번 돌아갈게요. 정지훈 교수님, 저는 아까 초반에도 인터프리터빌리티에 대해서 했지만 그 워크숍이 되게 재미있었다고 하더라고요. 거기에 대해서 조금 더 자세하게 얘기해 주실 수 있나요? 교수님 주무시나요?

지금 잠깐 네트워크 사정으로 나가셨는데

여러분, 여러분이 마이크를 이렇게 지금 오래 잡고 계시니까 화가 나셔서 나간 거잖아요. 알겠습니다. 이 질문은 이제 넘어가기로 하고 다시 좀 제네럴한 질문들 받았던 것들 중에서 좀 돌려볼게요 이번에 우리나라 국뽕 맞을 텐데 우리나라 분들도 NIPS에 굉장히 많이 참여하셨어요 그래서 다른 분들이 궁금해하시는 게 과연 우리나라 머신러닝 연구자들의 실력은 어느 정도인가 어느 정도 이상인가 어느 정도 수준인가 우리나라의 딥러닝 연구 수준은 이런 거 궁금해하시는 분들도 많거든요 그래서 이런 부분을 좀 말씀해 줄 수 있으신가요? 정우님?

이 부분은 제가 감히 평가를 할 수 있다 없다라고 얘기하기 힘들 것 같고요 어떤 어플리케이션? 어플리케이션이라기보다는 완전 이론보다는 응용이라던가 뭔가 새로운 아이디어를 좀 더 추구한다던가 이런 걸 확실히 잘하긴 해요 우리나라 분들이 챌린지 휩쓰는 걸 보면 문제는 언어장벽으로 인한 페이퍼 쓰는 부분 그리고 절대 모수가 다른 나라들 미국, 중국 이런 쪽에 비해 절대 보수가 적기 때문에 손해를 보는 부분 서미션 수도 적고 리뷰어수도 적고 pc 커뮤니티 수도 작아요 이 부분 무시할 수 없구요 그리고 역량 자체가 딸린다기보다는 물론 뭐 사실 저기 있는 미국이나 이쪽에 있는 완전히 소위 말하는 선골, 그쪽은 잘 모르겠습니다. 제가 평가하는 게 옳은지 그런지 모르겠지만. 그걸 론대로 치더라도 우수가 작기 때문에 분해보는 부분은 있는 것 같다는 생각이긴 하지만 영향이 딸린다는 느낌은 잘 모르겠어요. 거기에 대해서는.

그렇군요. 그러면 또 추가적으로 우리나라 딥러닝 기업들이 받는 비판 중에 하나가 왜 한국 연구자들만을 고집하냐, 리크리팅 할 때도 좀 외국 연구자들 해가지고 좀 글로벌하게 가면 안 되냐 이런 얘기를 많이 하거든요. 그래서 왜 외국 연구자들이 이렇게 많이 한국 기업에 조인 못하는지 이런 거 좀 설명해 줄 수 있으세요?

네, 감사합니다. 회사 홍보할 찬스가 왔네요. 네, 저희 네이버 클로바 AI 리서치 외국 연구자들 많이 뽑고 있고요. 그리고 외국 저희 부스 운영을 하지 않았습니까? 플랫폼 스폰서십으로. 국적 불문하고 제발 와주십시오라고 열심히 채용 행사를 했고 사실 저희는 국적을 가리지 않습니다.

자, 그 부분을 영어로 좀 해주시죠.

네, so welcome to Clueva AI Research World. Thank you very much. 요렇게 얘기를 할 수 있구요. 근데 이제 이분들 입장에서 봤을 때는 좀 몇가지 컨션이 있겠죠. 외국인 연구자분들 입장에서는 첫번째는 소위 말하는 실리콘밸리 지역 혹은 홈토링에 계시는 월드 터울루 지역, 그 다음에 몬트리올 위시아 밀라일 때 보면은 굉장히 인프라가 잘 돼 있고 많은 분들이 많은 연구자분들이 잘 돼 있고 어 이런 부분들에서의 차이가 틀림없이 있긴 한 것 같아요 그분들의 인식 속에서 그러다 보니까 굳이 저 먼 한국까지 가서 해야 되나 특별한 이유가 있지 않는 한 그런 부분이 체험할 때 가장 크고요 그리고 아무래도 급여체계 물가까지 고려한 급여체계 부분 굉장히 클 것 같고요 그리고 첫번째 진입하는 어떤 인더스트리의 커리어 패스를 생각을 할 때 구글이 찍혀있는 것과 한국 기업이 찍혀있는 것의 차이는 틀림없이 존재한다고 생각을 해요 지금 당장 입장에서 봤을 때 이런 여러가지 것들이 저희가 외국인 연구자분들을 채용하는 데 굉장히 어려움이 좀 있는 것 같구요 같은 상황이구요 그래서 이런걸 극복하기 위해서 저희는 다양하게 노력을 하고 있죠 가능하면 저희가 서비스, 클로바를 똑똑하게 만들기 위한 서비스를 기반으로 하는 어떤 AI 연구를 하고 있지만 사실 클로바를 똑똑하게 만드는 게 자비스처럼 만드는 건데 자비스처럼 만들려면 해야 될 게 너무너무 많고요. 기술적인 부분도 너무너무 많이 풀어야 되기 때문에 그런 기술을 열심히 개발할 수 있게 최대한으로 지원을 해드리겠다라는 형태로 그리고 같이 재밌는 문제를 풀자 이런 형태로 많이 어필을 해서 저희 같은 경우는 열심히 채용을 하려고 노력을 하고 있습니다만 그분들의 입장에서는 아무래도 어떻게 보면 되게 마이너잖아요. 그리고 보험을 걸어야 하고 이런 부분들이 있다고 생각을 합니다.

그래서 글로벌 캠페인?

네, 글로벌 엘리베이터. 네, 나코님 말씀하세요.

그래서 좋은 분들이 편하게 연구하고 가시면서 저희 네이버 이름으로 연구를 할 수 있도록 하는 프로그램 운영하려고 모집 중이고요. 그런 형태로 저희가 점점 더 노출도가 높아지면 그러한 마이너한 인식이 조금은 나아질 거고 그렇게 해서 점점 좋은 분들도 더 가속화가 돼가지고 선수단이 될 거라고 기대하고 있습니다.

그러면 미국이 아닌 이런 것들을 잘하고 있는 나라는 또 어디가 있나요? 예를 들면 중국에서 약간 외국 연구자를 잘 불러드리는 이런 기업은 또 어디가 있나요?

제가 알기로는 중국은 일단 실리콘밸리에 비해서 돈 싸움이 밀리는 게 아니라 더 많이 주고요. 그리고 중국 자체의 연구 인력이 굉장히 많습니다. 테리님도 페이퍼 보시면 아시겠지만 페이퍼의 저자들의 국적을 보면 중국인들이 요즘 한 70-80% 되는 것 같아요. 그만큼 사람들이 많기 때문에 원래 중국인들 해외 유학 가있던 아니요 본토에 있던 이분들만 이분들의 30%만 데리고 와도 싸움이 될 만하죠. 이게 모수의 위력인 것 같습니다.

그러면은 국내 얘기를 좀 해볼게요. 국내에서는 딥러닝 열심히 하고 계시는 분들이 네이버도 있고 카카오 브레인도 만들었고 또 SKT 브레인인가요? T 브레인도 있고 삼성에서도 하시고 있고 이런데 지금 국내 상황은 어떤지 각각이 다들 어떤 상품들 개발하시고 이런 것 좀 얘기해 주실 수 있나요?

저희가 다른 회사는 뭐하는지는 알 수가 없고요. 어떻게 하겠습니까? 다 저희끼리 있는 상황이라서 뭐라고 말씀드릴 수는 없을 것 같고.

아직은 막 서로 경쟁하고 이런 단계는 아니죠?

경쟁 느낌보다는 각자 잘하자? 이런 느낌이 강한 것 같아요. 아직은 연구자도 많이 부족하고 시장도 많이 부족하고 그래서 같이 이 시장을 분목하자 하는 게 되게 중요하다고 생각을 해요. 그래서 김남준님 같은 경우는 사석에서 만나서 술도 먹고 그러는데 이 기술 접연을 어떻게 하면 좀 더 확대할 수 있을까? 이런 얘기들을 많이 해요. 이런 부분은 정지웅 교수님도 마찬가지로 고민을 같이 하시는 부분이고요. 네, 정중 교수님은 자꾸 네트워크 상태가 안 좋으신 것 같네요. 저희가 진행하고 있는 연구들은 대비성 이슈가 있어서 디테일한 토픽대로 말씀드리기 힘든데 클로바를 똑똑하게 만들 온갖 종류의 어떤 서비스에 필요한 기술들을 하고 있다 정도로 이해를 해주시면 될 것 같습니다.

약간 경호님이랑 남준님이랑 만나는 건 약간 뭐랄까 양현석과 박진영의 만남 이런 걸로 보면 되나요?

그정도까지는 오버구요. 그건 저희 GIO님과 김범수 위장님 수준에서의 얘기고 저희는 어차피 월급쟁이들이기 때문에 그냥 같이 구르는 사람들끼리의 동병상년? 뭐 그런 정도라고 볼 수 있겠죠.

그러면 이제 조금 더 부드러운, 거의 저희가 1시간 반이 지났어요. 그래서 저희가 이제 목표도 원래 2시간 정도를 잡고 있거든요. 그래서 조금 더 소프트한 질문으로 갈게요. 여기 관심 가져주시는 분들의 정말 많은 분들이 학생 분들이시더라고요. 그래서 학생분들이 주로 고민하시는 게 진로잖아요. 그래서 어떤 분들은 이거 딥러닝 하려면 꼭 박사 가야 됩니까? 라고 물어보시는 분들도 있고 또 어떤 분들은 공부하는데 코드 구현과 수학적인 이론이 어느 정도 비율입니까? 이런 거 여쭤보시는 분들이 있는데 먼저 그런 분들께 학위의 필요성 과연 박사를 꼭 가야 되는가, 머신러닝을 하려면 이런 진로 방향들에 대해서 한번 조언해 줄 수 있을까요?

제가 97학번인데요. 학부 졸업 12년 걸렸거든요. 그리고 일을 하고 있습니다.

결론을 내주세요, 결론을.

하기에는 별로 안 중요한 것 같고요. 하고자 하는 의지가 중요하지 않을까요?

다시 저희 왠지 회사 홍보하는 자리가 되는 것 같은데 미리 방향에 말씀드립니다. 저희가 채용할 때는 사실 학위를 중요하게 생각하지 않아요. 서류 전형에서 보는 어떤 요소 정도로만 보고요. 학위가 있고 없고 보다 훨씬 중요한 것은 본인이 가지고 있는 역량이 얼마나 많냐 아니냐라고 생각을 합니다. 학위가 역량을 반드시 대변해 주지는 않고요. 저는 적어도 저희는 그렇게 생각을 하거든요. 그래서 오신 분이 얼마나 저희가 클로바를 자비스보다 똑똑하게 만드는데 기여를 하실 수 있느냐 하는 부분에 훨씬 방점을 많이 두고 있죠.

아까 정우님께서 잠재력을 높이건다 그런 말씀도 하셨는데 저는 사실 조금 구체적으로

말씀해주셔야 될 것 같아요.

왜냐하면 잠재력이라는 게 평가하기 굉장히 어려운 부분인데 그 잠재력을 어떻게 보는지 일단 필드가 너무 빨리 바뀌거든요

지금 작년에 알고 있던 게 이미 없어져 있잖아요 그래갖고 어차피 들어와서도 계속 바뀔 테니까 그분이 합의를 받았을 때 지식이 전문 지식이 아닐 가능성이 높아요 그래서 잠재력이라는 거는 그런 트렌드를 얼마나 빨리 따라갈 수 있느냐 그리고 거기에서 트렌드에서 어떻게 내가 갖고 있는 문제 해결할 수 있느냐 같은 것들이 잠재력이 되겠죠. 저같은 경우는 면접볼때 늘 여쭤보는게 얼마나 빨리 배울 수 있는가랑 얼마나 창의적으로 알고있는 여러분이 획득한 지식을 적용할 수 있는가 그거랑 세 번째는 그거를 진짜로 구현할 수 있는 능력이 있는지 세가지가 있으면 하기에는 필요가 없다고 생각해요. 심지어 나이도 중요하지는 않고요.

그러면 기출 문제 하나만 주시겠어요? 네이버 면접 기출 문제?

그거를 들고는 저희가 멘탈을 어떻게...

아유... 네, 이럴 수는 없으니까...

그니까 기출문제는 아니더라도 뭔가... 저는 약간 더 구체적으로 가야 될 것 같아요. 왜냐면은 지금 말씀하신 게 뭐 눈에 보이는 건 필요 없다. 그럼 눈에 보이지 않는 그 기술을 어떻게 평가할 수 있는 방법이 어떻게 되는지 그러니까...

말해드리는 게 하나 있네요. 네, 새로 나온 논문이 되게 많이 나오잖아요. 네? 논문이 굉장히 빨리 많이 쏟아져 나오는데 그 논문에 대한 구현체를 기타부에 공개한 날짜가 되게 중요한 것 같아요.

날짜요?

왜냐면 그게 영상에서 아무도 구현체가 없을 때 구현했다고 하면 그건 굉장한 의미가 있어요.

네, 이거 뭐 우유인가요?

포 위그 잼플입니다, 포 위그 잼플.

네, 이거는 되게 좋은 힌트인데. 네, 이거는 까도 되는 것 같아요.

네.

알겠습니다.

다른 각도에서 여쭤보면 저희 질문 중에서 지금 2년이 있으세요 학부를 졸업하셨는데 취업도 하고 싶고 딥러닝 쪽으로 뭔가 하고 싶은데 2년 동안에 어떤 준비를 할 수 있는지 비슷한 예를 들어 이번에는 석사를 하시는 방법이 있고 아니면 학원에서 패스트 캠퍼스 이런 데 수업을 듣고 취업 준비를 하는 방법이 있고 독학으로 뭔가 커뮤니티 활동이나 이런 걸 한 다음에 취업 준비하는 방법이 있고 그 시간을 어떻게 쓰는 게 가장 예를 들어 네이버 같은 데서 일을 할 수 있는 가능성을 높이는 건지의 질문이 나왔어요. 이런 각도에서 답변해 주셔도 좋을 것 같습니다.

이 부분은 사실 그냥 저희가 답을 드리는 게 의미가 없을 것 같은 게 이분이 가장 잘할 수 있는 게 뭔지부터 먼저 필요할 것 같아요. 이분이 잘할 수 있는, 딥러닝 하이라이터라고 하더라도 이론적인 걸 굉장히 빨리 따라오실 수 있는지 구현을 굉장히 빨리 하실 수 있는지 혹은 뭐 다른, 새로운 모델을 만드는 걸 빨리 하실 수 있는지에 따라서 나머지 결정을 하는 게 결정이 될 텐데 지금 가지고 있는 정보가 너무 없는 상황이고 그래서 일률적으로 이게 좋다, 저게 좋다 라고 말씀을 드리는 거는 별로 의미가 없다고 생각합니다.

얘기 나온게 대부분 모델 개발 쪽이였던 것 같아요 사실 딥러닝이라는게 그렇지가 않으니까요 데이터를 정형화하고 그걸 시스템에 올려서 모델 개발을 하고 서비스까지 가는거가 전체적인 산업일텐데 거기서 할 수 있는 역할은 상당히 많아요 모델 개발 능력에 대한 아니 새로운 모델 구현 능력에 대한 정도였으니까 개발할 수 있는건 딥러닝으로 산업이 굴러가는거에 대한 좀 이해를 할 수 있게끔 여러 사람들한테 정보를 좀 구하신 다음에 박수 맞는 거 하는 게 괜찮을까요?

그렇죠. 이게 서비스 입장에서 생각을 해보면 기업 입장에서 생각을 해보면 모델 개발하시는 분들이 그렇게 많지는 않아요. 어느 조직을 가도 리서치 사이언티스트 하시는 분들보다 AI 소프트웨어 엔지니어링 하시는 분들이 훨씬 더 비중이 많고요. 그리고 데이터 엔지니어 반드시 필요하고요. 아시겠지만 머신러닝이 데이터 드리븐이고 특히 딥러닝은 무조건 데이터가 굉장히 중요하고 그런데 이 데이터라는 게 하늘에서 뚝 떨어지는 게 아니고 학습을 시킬 수 있는 형태로 만드는 게 굉장히 중요하고 근데 새로 생기는 데이터들을 보면 엉망진창이고 그래서 그런 부분들에도 기여를 충분히 하실 수 있고요 마찬가지로 이제 모델 개발도 있고 그 다음에 빠르게 나와 있는 걸 구현해야 되는 부분도 있고 하는 것들이 총체적으로 다 합해져야 기업 입장에서는 서비스화 할 수가 있는 부분이라서 그래서 본인이 가장 잘할 수 있는 거에 대한 어떤 저희가 정보가 있어야 어느 부분이 더 적합한지에 대한 조언을 드릴 수 있다고 말씀드릴

수 있을 것 같습니다.

선택목이 굉장히 넓어요.

제 생각에는 충분히 답변이 됐을 것 같아요. 예를 들어서 이제 뭐 이론적으로 좀 더 관심 있는 분 같은 경우는 당연히 대학원을 가야 될 거고 그 다음에 이제 뭐 당장 개발 쪽으로 해보고 싶은 분들은 이제 다른 독학이나 아니면 이제 좀 더 빠른 방법 찾을 수 있을 것 같은데 어쨌든 중요한 거는 연구하는 사람만 있는 게 아니다. 실제로 뭔가 그 프로덕트를 만들기 위해서는 그 데이터를 넣고 데이터를 가공하고 그 다음에 이제 실제로 뭔가 구현할 수 있는 구현체를 만드는 그런 역할도 있고 각자의 역할, 본인의 역할을 조금 더 고민해보는 그런 시간을 가져야 된다 포인트이신 것 같습니다.

많은 분들이 그냥 무엇을 해야 될까 어디로 가야 될까 이런 거 고민하시는데 뭘 하든지 간에 잘하면 어디에든 다 쓸모있는 구성요소가 되는 것 같아요. 잘해야죠. 잘하면 됩니다. 괜히 그냥 모두가 따라가는 길 갔다가 못하는 것보다는 자기가 잘할 수 있는 걸 잘하는 게 낫죠.

저희가 늘 생각하는 게 저희가 얻을 수 있는 탤런트가 있으면 부족한 게 있어도 채용을 하려고 해요. 저희가 부족한 것을 채울 수 있는 분이 되면 좋을 것 같습니다

네이버 지원했다 떨어지신 분들 탤런트가 부족하답니다

탤런트가 부족하다는 느낌보다는 본인이 기여하실 수 있는 부분에 대해서 명확하게 본인이 이해를 하고 있어야 될 것 같아요 A를 잘할 수 있는 분이 난 B를 잘하고 싶어요 라고 하면 저희가 아무래도 자산사업 하는 게 아니다 보니까 사실 채우기 힘들잖아요. A에 기여를 하실 수 있는 분은 A를 잘해야 되고요. B에 기여를 하실 수 있고 하시고 싶은 분은 B를 잘해야겠죠.

활성님?

네?

주무시나요?

아니요. 사람 뽑는 기초 문제 물어보셨는데 사실 저희가 채워줄 수 없는 회사에 오면 협업하다 보면 저희가 도울 수 있는 건 돕고 또 도움을 받을 건 받지만 저희가 채워줄 수 없는 게 저는 열정인 것 같거든요. 자기가 AI 분야를 왜 하게 되고 또 그런거에 대한 고민이 있으셔야 될 것 같고 그런 열정이 충분히 보이는 거에 대한 증거로써 저희가 뭐 사실 저같은 저 보고 면접보라면 페이스북 다 뒤져보거든요. 페이스북 뒤져보고 어떤 활동 하시는지 뭐 뒷조사같은거 열심히 하거든요. 그게 그냥 삶에서 묻어날 거 아니에요. 내가 이쪽 분야에 관심이 있었으면 뭐 질문도 하셨을 거고 뭐 나름 고민들의 흔적들이 이제 요새는 SNS에 다 드러나니까 그래서 뭐 꼭 활동 안 하면 그런 거 아닌가요라도 질문하시는데 SNS 아니고 그 정보를 얻기가 굉장히 요새는 힘드니까 레딧 활동이라던가 그래서 저는 꼭 해야 된다고 보는 입장 중에 하나라서 꼭 뒤지는 편입니다

네 알겠습니다 그래서 네이버 지원하시는 분들은 SNS를 잠시 비활성화를 하시고

네 알겠습니다

아 그리고 또 이런 질문 들어왔는데 아 이것도 모르겠는데 음 그 약간 지금 계속 말씀 들어보니까 뭐 나코님께서는 이제 구현하는 거 구현을 하는 날짜 이런 거 아무도 몰랐을 때 그걸 이해하고 구현하는 이런 것도 말씀하시고 하셨는데 그렇게 구현을 잘하는 사람하고 또 어떤 부분들은 새로운 아이디어를 내서 논문을 쓸 수 있는 사람이 또 있잖아요. 근데 그렇게 새로운 아이디어를 해서 논문을 쓸 수 있는 사람이 과연 얼마나 많이 필요한지?

저희는 다 많이 필요합니다. 그러니까 일단 다 많이 지원해 주시면 감사하겠습니다. 버리고 있는 일이 너무 많아요.

그러니까 뛰어나기만 한다면 누구든 채용하겠다 뭐 이런 입장이시죠?

그렇습니다. 저희 신중호 대표께서 클로바의 총 리드이신 신중호 대표께서 제게 내린 미션이 있습니다. 2월 달에 천명 채용해라.

천명이요?

아이에도가 천명이라다라. 천명 데리고 와라.

네.

10만 양병석 이런 느낌인데요?

많이 채용해야 합니다.

네.

저희 시간이 많이 됐는데 딥러닝의 미래, 지금 닙스 다녀오셨으니까 미래에 대해서 약간 직견이 생기지 않으셨을까 하는데 마무리를 그렇게 해볼까요?

네, 좋습니다. 그럼 딥러닝의 미래에 대해서요 그러면 이런 말씀을 드려볼게요 딥러닝이 이제 작년에 다르고 올해 다르고 또 내년에 다르고 다 그럴 거잖아요 그래서 작년 같은 경우에는 정말 뭐 괜히 돌풍을 일으켰고 그래서 다들 언스퍼바이즈드가 뜰 것이다 막 이렇게 왔었고 또 한편으로는 또 리인포스먼트 러닝도 굉장히 핫해서 지금도 핫한 상태고 그런데요 아직까지 딥러닝이 굉장한 프로덕트를 보여주고 있다 이런 것까지는 안 온 것 같아요 그래서 과연 딥러닝의 미래 그리고 이런 것들이 시장에서 어떻게 나타날 것인가에 대해서 좀 얘기를 나누고 싶은데요 먼저 정우님께서 클로바를 디렉팅하는 입장에서 어떤 상품들이 이제 나올 것 같은지 좀 한번 말씀을 해주시겠어요

딥러닝이 엔드프로덕터로서 바로 엔드투엔드로 기여를 할 수 있는 부분은 아직까지 많지 않은 건 사실이에요. 여러가지 퍼포먼스 이슈도 있고 정확도 이슈도 있고 하지만 딥러닝의 가장 막강한 점 중에 하나인 기존의 피처들을 대체하는 피처리프레젠테이션 부분에서는 개별 서비스나 프로젝트를 만들기 위한 피쳐로 활용함으로써 쓰이는 부분은 굉장히 많아요 저희가 쓰는 서비스들의 대부분을 디피쳐들을 사용하고 있어요 그게 MNLP가 됐든 다일로그가 됐든 뮤직이 됐든 그래서 거기에서 기여하는 바는 충분히 크다고 생각을 할 수 있고요 그리고 회사 입장에서 봤을 때 이걸 모두 엔드트렌드로 반드시 끌고 가야 되냐고 물으면 그거는 또 꼭 그럴 필요는 없다고 생각을 해요 다만 어떤 형태가 됐든 사용자들의 가치를 만족시킬 수 있는 부분 이상의 어떤 기술적인 백업이 된다면 그게 당연히 딥러닝에서 나올 수도 있는 거고 다른 데서 나올 수도 있는 거죠. 그래서 제 입장에서 봤을 땐 그래요. 이게 반드시 딥러닝의 미래가 좋고 나쁘고 이런 의미보다는 서비스나 프로젝트로서의 가치를 많이 줄 수 있는 부분으로 흘러가는 형태가 되어야 되지 않을까 생각을 해요 물론 아카데미 하시는 분들은 좀 얘기가 다르긴

하겠지만

나코님께 질문 드릴게요. 그 리인포스먼트 러닝에 대해서 뭐 이런 얘기도 하거든요. 가장 핫하지만 가장 쓸모없는 분야다. 뭐 이렇게 말씀하시는 분도 있거든요. 왜냐면은 리인포스먼트 러닝이 뭐 게임상에서만 잘 된다. 이런 얘기도 많이 하고 하는데 리인포스먼트 러닝이 진짜 세상을 바꿀 때는 어떤 형태로 바꾸기 시작을 할까요?

면접인가요?

저희 방송 면접입니다.

인플루스 버튼 러닝 자체가 게임 환경에서 다루고 있는데 게임의 너무 로울레벨 비초에서 다루고 있어서 진도가 잘 안나오고 있는 것 같고요 다루고 있는 문제의 게임 자체도 굉장히 좀 말을 잘 몰라요 프리미티브한 수준이라 프리미티브한 게임이잖아요 아탈이나 이런거지 스타크래프트는 건들지도 않고 있고 그래가지고 제대로 된 의사결정 수단으로서의 기능을 하고 연구를 하고 있지 않다고 생각해요 그런데 그거를 방향을 틀어서 새로운, 페이스북도 발표를 했지만, RTS 환경도 만들고, 디시전이 있어야지, 제대로 된 플래닝이 있어야지 풀 수 있는 문제들이 나오고 있으니까 발전을 할 거라고 생각을 하고요. 이것들이 이제 어떠한 형태로 발현이 돼서 세상을 바꿀 거냐는 질문이시잖아요. 그것들은 대부분 제가 보기에는 기존의 사업이나 MBA 출신 분들이 하셨던 디지션 메이킹을 대체할 거라고 생각을 합니다. 예를 들면은 유통이든 아니면 경영이든 이쪽에 숫자를 갖고 하는 업무들에 대해서는 적용하기가 굉장히 쉽다고 생각을 해요.

Reinforcement learning이 아직 숫자로 잘 디파인되지 않은 환경에서 오기까지는 좀 한참 멀었다고 생각을 하시는 거죠?

아니요, 연구의 방향이 바뀌어야 한다고 생각하는데 다른 상황이 있다고 생각합니다. 연구가 너무 과태리 위주로 가고 있는 게 그렇게 범위가 아니라고 생각합니다.

그래서 최근에 벤처그룹에서 홈 데이터셋이 나왔죠. 그게 제가 볼 때는 거의 최초의 게임 월드에서 기어나온 리얼 월드에 가까운 RL 시뮬레이터 및 Environment 한 것 같아요. 이런 데이터셋들이 많아지면 많아질수록 좀 더 리얼리티에 가까워질 수 있을 것 같아요. 예를 들면 비전 쪽에서도 이제 VQA 데이터셋 같은 것들이 막 나오고 VQA 데이터셋 같은 것들이 막 나오고 하면서 점점 현실에 가까워지거든요. 얼마나 많이 만들어지느냐 거기에 따라서 이제 연구 트렌드가 같이 움직이게 될 것 같아요.

RL이 컨버션이 너무 느려가지고 현재 로우 픽셀을 쓰고 있는 것들이 좀 오히려 문제를 망치고 있다고 생각해요. 정제된 퓨처 베이스를 하든지 아니면 달라같은 거나 vtube같이 레이턴트를 많이 압축할 수 있는 연구들이 발전을 한다면 도움이 될 것 같고 말씀하신 대로 문제정리가 잘 돼야 할 것 같아요. 지금 풀고자 하는 문제랑 동떨어져 있는 게임을 풀고 있어서 게임회사에서 왔습니다만 게임회사도 그런 예의가 필요없어요.

저도 로봇 쪽에서 있다가 이런 쪽으로 와서 사람들이 로봇 쪽 해요 딥러닝도 하고 그러면 reinforcement learning 쓰시겠네요 이런 얘기를 하거든요 근데 이번에 보스턴 다이나믹스에서 백플립하는 휴머노이드도 봤지만 사실 그 휴머노이드에 RL이라든지 머신러닝이 들어가지는 거의 않거든요 대부분이, 사실 가장 정제되는 피처가 그거잖아요. 그 이퀘이션에서 나오는 값. 그게 가장 정제되는 피처죠.

게임 회사에서 왔다고 말씀드렸는데, 게임 회사 분들이 들으셨으면 좋겠지만 게임 회사에서는 아이패드를 누구한테 얼마나 가격을 할지, 서비스를 디스카운트 할지 같은 결정은 매번 사람들이 해요. 그런 것들은 굉장히 RL로 포뮬레이션하기 좋은 문제고, 그렇게 되면 게임 회사 수익이 급격화되면서 유저에 불만을 많이 줄 거예요. 이러한 걸 문제로 포뮬레이션 할 수 있을 텐데 게임 회사들이 데이터 설치를 푼다면 가능할 겁니다

네 알겠습니다 그러면 이제 활성님 갠 이번에 진짜 1년 사이에 갠이 너무너무 많이 나왔어요 진짜 초반에 아시잖아요 처음에 갠 주가 나온 게 2월달인가 그랬는데 그때도 많았다고 생각했는데 지금 너무너무 많잖아요 네 앞으로 내년에 겐에 대한 예상 어떻게 보십니까? 비트코인 예상보다 더 어려운 겐 예상 3분안에?

3분안에 해주세요.

3분안에.

겐 겐. 메트로브 생성하는 겐.

제 생각엔 지금 약간 바틀렉이 걸려있는 것 같고요. 겐 자체의 방법론으로써 약간 브레이크 스루가 일어나야 될 것 같고요. 그래서 그런 페이퍼가 얼마 전에도 나왔죠. 수많은 갠 논문들이 사실 정량적으로 평가해보면 별 차이가 없었다.

그 바틀릭이 어디에서 오고 있다고 생각하세요?

이 때까지는 로스 펑션을 잘못 구성했기 때문에 그랬을 거라고 봤는데 저는 그냥 갠 방 뽑는 자체에 한계지 않을까 그거를 이제 뭐 그래서 이제 다른 방폭론이랑 섞어서 풀려는 시도들이 있으시 저도 다른거랑 이렇게 얽혀야되지 않을까 그렇죠 그 생각도 하고 있죠

컴플렉스 네트워크 네 딥 컴플렉스 네트워크 그래서

구조적으로 풀어야 된다는 얘기들도 있어요. 네트워크 구조적으로 괜히 글로벌 스트럭처가 망가지는 이미지를 제너레이션 하는 게 어차피 CNN을 쓰기 때문에 그렇기 때문에 예를 들면 최근에 나온 캡슐렛을 쓰면 좀 더 되지 않을까 이런 얘기들도 있고 그래서 이때까지는 좀 학습 방권론적으로 사람들이 달려붙었다면 네트워크 구조적으로 최근에 나온 프로세셔를 해서 HD 화질을 한 것도 사실 구조적으로 푼 거였잖아요. 그런 접근론들이 좀 더 많이 나오지 않을까라는 생각을 하고 있습니다.

지금 구조적이라는 거는 그 제네레이터와 디스크리미네이터 이렇게 투클래스로 이렇게 푸는 그 방법의 구조가 아니라 그 전에 당긴 그 전에 있는 피처에 대한 구조에 대한 걸 말씀하시는 건가요?

힌트는 말씀드리고 싶습니다. 디렌더 아니면 스팅팔서에 대한 얘기들이 있잖아요. 그것들은 CNN 컨볼루션 네트워크처럼 어떠한 뭔가 대등한 위상을 갖는 픽셀들의 집합으로 보는 게 아니라 의미론적으로 뭔가를 분석하려고 하는 거고 그 계층적으로 분석에 대한 레이턴트를 갖게 된다면은 제네르트 할 때도 전체적으로 뭉개지지 않은 이미지를 만들 수 있을 거라고 생각해요.

제가 말한 구조라고 하면 사실 그런 시도들이 LIPS에도 있었거든요. 말씀하신 것처럼 그냥 제네르트 하나, 디스크레이멘터 하나만 두는 구조가 아니고 뭐 이번에 LIPS 페이버 보니까 디스크레이멘터 두 개 써서 얼마나 얘를 잘 하는지 뭐 그런 것도 있고 또 아니면 제너레이터 디스크로멘터 자체의 네트워크 구조도 캡슐에서 쓴다던지 아니면 이번에 나온 딥셋 논문 굉장히 흥미롭게 봤는데 그런 사람의 인투이션이 들어간 네트워크 구조 이런 것들이 반영되는 시도들이 많지 않을까 싶습니다

네 진영님 마이크 받으시죠 마무리를 할 때가 온 것 같습니다

네 오늘 어쨌든 굉장히 학회라는 게 굉장히 바쁘고 피곤하고 그런 일인데 학회날 밤 11시 반까지 이렇게 귀한 시간 내주셔서 감사드리고 저도 2시 반입니다. 2시? 2시 반? 2시 반에. 뭐 젊으니까. 태리 님은 젊으니까.

저도.

여기서는 제일 젊잖아요, 그쵸?

네, 그쵸.

좀 덜 미안한데 어쨌든. PD님도 오늘 방송을 정말 혼자 캐리해 주셔서 너무 감사하고 저는 사실은 사람들이 왜 저한테 이런 거 하냐고 일하는 거 바쁠 텐데 저는 제가 공부를 항상 해야 된다고 느끼고 있고 이게 정말 공부하는 데 너무 좋은 것 같아요 제가 이런 분들 모셔서 말씀 듣고 저도 이제 이걸 하려면 뭔가 준비해야 되니까 그런 의미에서 공부를 굉장히 많이 할 수 있어서 행복한 시간이었고 앞으로 사실은 오늘 워낙 많은 말씀을 나누느라고 깊이 못들어간게 아쉬운데요 네 앞으로 김성훈 교수님과 함께하는 학습법 그리고 이제 정지훈 교수님과 함께하는 딥러닝과 KTBT 그 다음에 또 캔 아무튼 방송 분량이 엄청나게 나올 것 같습니다 그래서 또 다 여쭤보거나 하세요. 어차피 저 혼자 생각을 하고 있고 네 그러면은 게스트분들 한 번 일단 클로징 이렇게 또 마지막으로 한 말씀씩 해주시고요. 네 그리고 이제 방송 마치도록 하면 될 것 같습니다.

선생님 부터 하시죠. 선생님 부터 하시죠.

저는 AI 기술이 굉장히 많이 발전되고 있잖아요. 근데 제일 어떻게 보면 거기 제일 앞단에서 같이 껴서 달려가고 있는 것 같은데 저 개인적인 생각일 수도 있지만 열심히 잘 개발되는 기술이 개인적으로는 모든 사람들한테 그 혜택이 잘 갔으면 좋겠거든요. 그래서 그런 고민도 기업에서도 같이 하고 있다는 거 조금 알아주셨으면 좋겠고요. 개인이 잘 되는 것보다 혹은 특정 회사가 잘 되는 것보다 전체 인류가 좋은 방향으로 갔으면 하는 바람입니다. 너무 시동적이네요.

세계 평화를.

그래서 이번에 구글에 입력서를 내셨다는 그런 건 아니시죠?

네. 협업했습니다. 협업.

네.

알겠습니다.

늦은 시간까지 기다려주셨습니다. 저희가 좋은 자리 만들어 주셔서 감사합니다.

제 얘기는 여기 계신 분들은 다 예측 가능하실 겁니다.

기생전 채용?

네, 저희 클로바 정말 열심히 여러분들 연구 개발하시는데 표설자에서 주문해서 클로버가 자리스를 뛰어넘어 구글을 구걸하게 만드는 그날까지 열심히 하려고 하니 함께 하시고 싶은 분들은 이력서나 CV를 제 메일로 보내주시면 감사하겠습니다. 메일 주소는 채팅창에 찍겠습니다.

테리님도 한 말씀 하셔야죠.

저요? 오랜만에 방송에서 말을 많이 해서 참 좋고요.

마이크

언제 뺏길지 모르지만 앞으로도 저도 사실 투모토크 족 중에 하나이기 때문에 마이크 좀 많이 주셨으면 좋겠습니다

아무튼

다들 수고 많으셨고 오늘 생방송도 70분 이상 들으시기도 하셨고 지금도 쉬운 분 계신데 너무 감사드리고 어쨌든 방송에 대해서는 사실은 제가 시작을 테리님이랑 해서 여기까지 왔지만 저희는 사실은 많은 분들이 데이터과학과 인공지능 관련된 이야기를 하실 수 있는 플랫폼 형태로 운영을 하려고 해요. 그래서 이 분야에 대해서 이 주제에 대해서 뭔가 하실 말씀이 있으시면 언제든지 뭐 참가 해주시면 되고요 저한테 이제 연락 주시면 되고 어 그 다음에 저희가 방송 컨텐츠를 녹취록 형태로 만들어서 이제 또 공유할 생각을 하고 있는데 이제 녹취가 사실은 굉장히 녹취를 하는 과정에서 공부가 되기도 하지만은 좀 시간이 걸리는 일이긴 해서 혹시나 이제 녹취자원봉사 해주실 분 있으시면 너무 감사하겠고 저희가 감사의 뜻으로 한빈 미디어 협찬에 책을 한 권씩 드리고 있습니다.

미리 말씀드립니다. 저희 회사는 인티그리티 정책이 있어서 받으면 안됩니다. 다른 분께 받습니다.

어쨌든 오늘 너무 줄 생각 없었나봐 다음번에 더 편안한 환경에서 외국에서 노트북 놓고 방송할 수 있는지 알려주셨기 때문에 좋은 말씀 듣기를 바라겠고요 그러면 제가 이 방송이 더 빛을 볼 수 있도록 열심히 올리도록 하겠습니다 조만간에 그러면 남은 일정 잘 마치시고 한국 돌아가시고요 태리님도 이제 주무셔야죠.

저 축구 보고 잘 겁니다.

축구 있나요? 몇 명이 축구 있나요?

네, 축구 있습니다.

몇 시에 하나요?

2시에 끝나고 TV 켜시면 됩니다.

바로 켜시면 돼요.

축구까지 오면 내일 몇 시에 일어나시는지 모르겠는데. 주말이니까. 네, 알겠습니다. 다들 너무 감사드립니다.

수고하셨고요. 테리님 특히 새벽까지 고생 많으셨습니다.

네, 수고 많으셨습니다.

들어가세요. 또 뵙겠습니다.

방송 끝이 들어가세요인가요? 들어가세요.

정지용 교수님 어디 계신가요?

네, 주무십니다.

정지용 교수님은 네트워크 사정으로 중도 하차하셨는데 또 모시기로 했습니다.

네 들어가세요.

온라인에 계신 분들 너무 감사합니다.

또 뵙겠습니다.