인공지능 시대의 데이터 사이언스 - Bay Area K그룹 세미나

저는 어쨌든 컴퓨터 사이언스 공부를 하긴 했고, 데이터 사이언스 기본적으로 일을 꽤 오래 했어요. 주로 하는 일은 검색, 검색 시스템 개발도 하지만 제가 주로 하는 일은 평가에 갔어요. 그래서 누군가 새로운 검색 추천 알려를 갖고 오면 이게 과연 사용자가 저한테 내보내도 되는 건지 그런 의사결정을 하는, 추로 이제 그런데 AB 테스팅을 하기도 하고 다른 기법을 사용하기도 하는데 그런 일을 하고 있습니다. 저는 AI, 사실 전문가기보다는 AI 밖의, 조금 이따 말씀드리겠지만 AI 시스템이 사실은 AI 자체를 굉장히 각광을 받고 있잖아요. 그래서 이제 AI 시스템에 대해서 관심을 받는 분들이 많은데 사실은 AI가 발전할수록 제가 오늘 드리고 싶은 메시지 중에 하나는 AI가 아니라 AI 밖에 있는 것에 더 관심을 가져야 된다. 되게 효과적으로 들으실 수가 있는데 그거를 좀 생각... 하시고 가실 수 있으면 도움이 될 것 같고요 제가 그런 말씀을 드릴 거고 다른 거는 아까 말씀해 주셨으니까 지금 인공지능이라는 말만 들어가면 책이 팔리고 펀딩이 들어오고 학과에 학생들이 꽉꽉 차고 그런 시대가 됐는데 그만큼 제 생각에는 많은 오해도 있는 것 같아요 제가 항상 생각하는 건 이전에 2000년대 초반에 빅데이터라는 이름만 들어가면 모른지 팔리던 시절이 있었어요 그때 빅데이터 전문가, 빅데이터 학원, 빅데이터 빅데이터가 정말 화두였는데 그게 인공지능으로 넘어갔죠. 사실은 인공지능이 당연히 저는 처음에 빅데이터와 마찬가지로 제가 새로운 맘퍼가 된다 하면 회의적인 편이에요. 그것도 보통 항상 나중에 남들 다 살 때까지 기다렸다가 사고 그랬는데 인공지능도 이제 지나가겠거니 했어요. 근데 이제 지나가지 않고 점점 더 많이 트렌드로 됐고 그게 사실은 나중에 저도 공부를 해보니까 이유가 있어요. 트렌드가 되는 이유가 있고 운명이 중요한 건데 그렇다고 사람들이 언론에서 퍼드리는 말이 다 진실이 아니다. 그런 거를 조금 더 말씀을 드리고 싶은 것 같고. 그래서 우선 주로 하면서 오해 중에 하나가 공부를 해야 된다, 인공지능을 하기 위해서는. 인공지능 자체를, 인공지능이 결국엔 수학 통계에 기반이니까 수학 공부, 통계 공부를 해야 된다. 수학 책부터 잡고 공부를 하시는 분이 되게 많아요. 제가 아는 동생 중에 한 명도 수학 스터디를 하고 있어요. 인공지능을 공부하겠다고. 근데 이제, 당연히 이제 중요하죠. 수학이 기반이니까. 근데 이제 그걸 인공지능을 사용하고 싶은 사람이 수학 공부를 해야 되느냐 생각해 보면은 지금은 그럴 수도 있어요. 지금은 소화기가 어느정도 필요할 수도 있는데, 굳이 비유를 하자면, 자동차를 운전하고 싶은 사람이 자동차 엔진의 원리가 되는 동력학을 공부하는 것은 똑같다고 저는 생각을 해요. 그게 무슨 말이냐면, 자동차가 처음 나왔을 때, 20세기 초반에, 그때는 자동차가 중간에 서고, 뭐 그런 것들을 고쳐야 되잖아요, 사람들이. 그리고 지금처럼 잘 되지도 않았고, 사용하기도 어렵고, 운전도 어렵고, 그런 시대가 있었는데, 10년, 20년 뒤에는 자동차 엔진의 구조를 몰라도 자동차를 쓸 수 있는 시대가 왔죠. 그게 지금 저는 과도계에 있다고 생각해요. 지금은 자동차를 운전하는 사람들이 엔진을 공부하겠다고 달려드는 시대이고 지금은 필요가 있을지 몰라요. 왜냐하면 자동차가 나온지 얼마 안됐으니까 그게 시대가 바뀌면서 조만간에 자동차를 만드는 사람과 자동차를 운전하는 사람이 확실히 나뉘게 되는 그런 시대가 되지 않을까 생각을 하고 있고요. 그런 의미에서 텐서플로우를 공부하겠다고 지금 초등학생부터 학원이 생기고 지금 뭐 하는 얘기를 들었었는데 또 비슷한 얘기에요 텐서플로우를 지금 공부해가지고 인공지능을 만들겠다고 하는게 지금 인공지능을 당장 해야 되는 사람들은 그래야 될 수도 있죠 근데 그게 좀 길게 봤을 때 내가 꼭 지금 텐서플로우 공부하느냐 그래야 되는 상황은 굉장히 제한적이라고 저는 생각해요. 마치 그 엔진의 원리를 몰라도 잘 운전할 수 없는 것처럼. 그리고 이제 최신 컴퓨터가 지금 GPU가 달린 컴퓨터가 있어야만 인공지능을 할 수 있다 이런 얘기를 굉장히 많이 하는데 그건 저도 그런 줄 알았어요. 저도 사실은 GPU가 달린 컴퓨터를 알아보는 시절이 있었는데 최근에 이제 굉장히 좋은 클라우드 서비스 의미가 안 나와있어요. 사실은 클라우드 서비스를 잘 쓰면은 GPU 이런거 다 빌려서 쓸 수 있고 그런 상황이 됐고 그 다음에 이제 이 마지막 두 가지는 인공지능이 조만간 일자리 없앨거고 인간을 지배할거다. 이거는 사실은 정말 이렇게 생각하시면 됩니다. 아니 뭐 제가 미래의 예측은 못하겠지만 일자리 부분은 사실은 저는 이제 어느정도는 영향이 있겠죠 그렇지만 대부분의 일자리가 없었지 않다고 생각을 하고 제가 마지막에 다시 한번 답도록 하겠습니다 어쨌든 그 데이터 사이언스라는 얘기를 하면 항상 나오는 그림이 이 그림인데 혹시 이 그림 보신 적 있는가요? 데이터 사이언스라는 게 원래 통계학 같은 것을 갖고 왔는데 거기에 굉장히 많은 데이터가 쌓이고 그걸 처리하는 수단으로써 컴퓨터가 각각을 받기 시작하면서 세계의 원인이 들어간 도형이 완성이 됐어요. 그게 2000년대 초반이고 그래서 이제 사실은 데이터 사이언스를 좀 더 얘기를 하자면 기본적으로 데이터를 가지고 문제를 해결하는 방법이에요. 우선 여러가지 데이터가 있고요. 테이블부터 그래프 이미지, 비디오, 음성, 데이터에 적용할 수 있는 기술 등 여러가지가 있어요. 다 모르시는 용어일 수도 있지만, 다양한 통계적 기법이 있고, 머신마는 기법도 있고, 결국에 학하고서 하는 것은 뭔가의 문제 해결하는 거예요. 그게 의사결정일 수도 있고, 예측일 수도 있고, 패턴 추출, 검색 추천 이런 굉장히 다양한 문제 해결할 수가 있어요. 그래서 이렇게 생각을 하면 사실은 내가 데이터 사이언스를 한다? 그렇게 얘기를 하는게 이 컨비네이션 중에 일부를 했다는 거에요. 저같은 경우는 예를 들어서 주로 택시형태 아니면 테이블형태의 데이터여서 주로 신경망, 의사열전투 이런 모델을 사용해서 검색, 추천, 모델을 만들고 그런 일을 주로 했어요. 근데 다른 거를 해봤냐 하면 드론을 많이 봤어요. 근데 제가 실제로 해본 건 그렇게 많지는 않고 그래서 보통은 여기 이제 굉장히 다양한 선텐츠 가운데 일부를 그냥 해봤다. 그런게 데이터사이언스를 했다 이런건데 데이터사이언스를 모든 분야는 다 안다 이런 사람이 있으면 조금 의심을 해보셔야 돼요. 그 다음에 이제 오늘의 주제인 인공지능을 생각을 해보면 인공지능은 여기서 굉장히 또 특수한 기술을 특수한 형태의 데이터에 적용을 해서 특수한 문제를 푸는 거예요. 그런 의미에서 인공지능은 데이터 사이언스의 일부다 그렇게 생각을 할 수가 있어요. 게다가 그중에 딥러닝으로 들어가면 딥러닝은 신경망의 특수한 유형이죠. 이 중에서 특수한 형태의 문제를 푸는 데 특화된 그런 종류의 신경망이라고 생각할 수 있어요. 그렇게 생각을 하면 인공지능과 데이터사이언스의 관계가 좀 더 명확하게 이해가 될 수 있겠는데 혹시 질문 있으신가요? 그리고 이제 또 다른 관점을 살펴볼 수 있는게 목 보호를 위해서 제가 마이크를 써보겠습니다. 데이터를 이제 준비를 하는 그 과정 그리고 모델을 만드는 과정 그리고 만든 모델을 적용하는 과정 인공지능을 한다는게 보통 이 세가지 단계를 다 거쳐야 되는데 우선 이제 데이터 준비 과정에서는 데이터를 가공하고 어떤 물건을 보통 인공지능 모델이 모든 형태의 데이터를 다 처리할 수 있는 거 아니에요? 그래서 보통 데이터를 학습... 이 얘기는 이따 자세히 하겠지만은 학습을 하기 편한 형태로 데이터를 수정해 줘야 돼요. 그래서 이제 그게 데이터 준비 과정이고 그 다음에 모델을 만든다고 했을 때 모델의 유형을 선택하고 이건 이따 말씀을 자세히 드리겠지만 몇 가지 과정이 있어요. 마지막에는 모델을 적용하는 과정인데 보통 인공지능 모델이 나왔다고 하면 결과가 100%인 경우는 거의 없기 때문에 학습 결과에 대한 평가를 하고 시스템을 적용하고 혹은 의사결정에 활용할 수도 있고요. 이 모든 단계가 인공지능, 좀 넓게 보면 다 인공지능이라고 할 수도 있고 좁게 보면 이 모델을 만드는 쪽을 보통은 인공지능을 한다고 그렇게 얘기를 하는데 사실은 이 가운데 그 모델 관련된 부분은 제 경험으로는 적어도 그렇게 뭐 시간적으로나 복잡도로구나 그렇게 비중이 크지가 않아요. 그러니까 어떤 사람들이 이제 데이터 사이언스에서 20%도 안되는 것 같은데 어쨌든 대부분의 시간은 데이터를 가지고 뭔가 가공을 하거나 이해하거나 그리고 이제 모델이 만든 결과를 가지고 뭔가 이걸 평가해서 실제 현업에 적용할 준비를 하거나 이 두가지 처음과 끝에 보통 사용이 됩니다. 그래서 인공지능이라는 게 이 전체를 의미할 수도 있지만 사실은 대부분의 노력이 전과 이 후, 실제 순수하게 인공지능이라고 부를 수 있는 부분 보다는 그런 데서 사용이 많이 된다는 거, 그거 말씀드리고 그리고 이 부분의 특성이 뭐냐면 데이터가 충분히 있으면 이 부분은 아예 자동화할 수도 있어요. 보통 요새 오토 ML이란 이름으로 머신러닝 자체를 자동화하려는 그런 연구가 굉장히 활발해요. 그래서 조금 있다가 설명을 드리고 어쨌든 아까 처음에 평균님이 머신러닝 엔지니어를 되면 인공지능 시대에 살아남을 수 있지 않을까 그게 사실은 꼭 그렇지가 않아요. 제가 봤을 때는 오히려 인공지능 시대에 가장 먼저 없어질 수 있는 직업이 머신러닝 엔지니어가 아닌가 그래서 지금까지 약간 괴로운 얘기를 해봤구요. 제가 처음에 좀 괴로운 생각에 좀 더 구체적으로 들어가요. 인공지능이 뭔가, 그거를 좀 더 구체적으로 말씀드리면 일단 데이터를 가지고, 보통 인공지능의 유형이 여러가지 있지만, 보통은 뭔가를 예측하는 데 쓰이는 확실한 정답이 있는 경우에 예측하는 데 쓰이는 걸 보통 Supervised Learning이라고도 하고 보통 그렇게 얘기를 하지 지도학습이라고도 하고 이런 데이터를 가지고 인풋으로 해서 어떤 그 결국에는 이제 뭔가 그 프로그램이 어떤 계산 Input과 Output만 얘기를 하면은 어떤 학습 결과로서 내가 원하는 어떤 예를 들어서 이제 뭐 그게 어떤 검색 추천 예제는 뭐 이 사람이 입력한 CD에 가장 적합한 문제가 무엇인가 그런게 될 수도 있고 어쨌든 어떤 뭔가 예측 결과가 나오는 거예요. 근데 이제 그 과정에 어떤 모델을 사용할 것인가 그게 이제 모델의 유형 그리고 이제 모델의 유형 결정을 하고 그 다음에 모델의 굉장히 여러가지가 있어요. 모델은 결국에는 어떤 수식인데 어떤 종류 형태의 수식을 쓸건지 그리고 그 수식의 구조 그리고 그 수식을 실제로 값을 채우는 과정까지 이 모든 과정이 다 인공지능이라고 할 수 있습니다. 그래서 좀 더 구체적인 예제를 드리면 예전에는 예를 들어서 가게 온라인 쇼핑몰에 어떤 사람이 들어와서 내가 추첨자를 내놔야 된다면 그거를 사람들이 프로그램을 짰어요. 어떤 조건을 만족하면 이렇게 가고 저렇게 가고 이런걸 다 사람들이 짰는데 어느 순간에 이렇게 짜는게 너무 어려우니까 입력과 출력만 가지고 가운데 부분을 학습하는 그런 형태로 개발을 하기 시작했어요. 그래서 인공지능은 데이터를 가지고 프로그램을 만들어주는 그런 과정이다. 그렇게 생각하실 수도 있어요. 이제 여기서는 예를 들어서 이제 제가 아까 모델 유형을 결정한다고 했는데 이 모델이 이제 이런 굉장히 단순한 방정식이죠. 1차 방정식. 이것을 선형 모델이라고 하고 좀 더 복잡한 신경망 형태라고 하는데 신경망 형태의 모델이 될 수도 있어요. 이런게 굉장히 여러가지가 있어요. 어쨌든 모델의 유형, 모델의 파라멘터, 모델을 만드는 이 세가지. 이 과정이 인공지능을 실제로 개발하는 과정이다. 그리고 여기 A Few Useful Things to Know about Machine Learning이라는 논문이 굉장히 잘 알려진 논문인데, 여기에 보시면 인공지능을 이 세 가지로 설명을 해요. 그래서 이 모델, 이 레프레젠테이션인 건 모델이고, Evaluation, Optimization, 이제 그 레프레젠테이션을 채우는 최적화를 가리키는데, 굉장히 여러 가지 모델이 있어요. 그래서 여기에 신경망도 들어가 있고, 그 다음에 디시션 트리도 들어가 있고, 근데 이제 굉장히 다양한 용도에 맞는 모델을 사용할 수 있고 그게 이제 보통 얘기하는 인공지능의 실체라는 겁니다. 그래서 이제 예전처럼 프로그램을 일일이 만드는 대신에 데이터를 가지고 프로그램을 실제로 만들어주는. 근데 이제 프로그램의 형태는 수식이에요. 결국은 수식. 수식의 이런 여기 이제 방정식으로 보면 이 방정식이 있는 여러가지 첫번째 단수, 두번째 단수, 엔번째 단수까지 있죠. 그중에 뭐가 얼만큼 중요한지 그런 이 웨이트를 채우는 그런 과정의 인공지능을 개발하는 거다. 그래서 뭐 대단한 건 없어요. 이게 뉴럴래쉬도 해도 이 수식의 형태가 좀 더 복잡하고 중간에 뭐 히든 레이어라고 해서 이런 방정식이 결국에는 여러개가 엮이는거에요. 방정식 하나가 여기 하나하나가 방정식에 해당을 하고 방정식 하나의 결과가 다른 다음 방정식이 들어가고 그게 여러번 반복되는게 뉴럴렛이고 그러니까 결국에는 이런 수학공식을 제가 아까 모델이라고 불렀는데 첫 공식을 형태를 결정하고 그 공식의 실제 내용을 채우는 그 과정의 데이터를 사용해서 채우는 것이 인공지능이다. 그리고 그 실제 구체적인 구현방법에는 굉장히 여러가지가 있고 여기까지가 인공지능이란 무엇인가에 대한 제 답변이라고 할 수 있겠습니다. 질문 있으신가요? 히든 레이어라는게 만약에 모든 예측문제가 이렇게 1차원 방정식으로 풀릴 수 있으면 좋겠죠. 그런데 실제로 현실세계에 많은 문제들이 일차원적이지 않아요. 예를 들어서 보통 신경맘을 많이 사용하는 문제가 이미지에 어떤 물체가 있는지 그런 종류의 예측을 하는 문제인데 그런 예측을 하려면 이미지의 굉장히 일부를 봐야 될 수도 있고 이미지에서 굉장히 큰 부분을 봐야 될 수도 있고요. 그런 굉장히 여러가지 주어진 입력 이미지를 가지고 다각도에서 봐야되는데 그렇게 인폭과 아웃풋의 1차원적인 관계로는 설명이 안되는거죠. 보통 신경망의 사례인데 요 하나하나가 결국에는 입력데이터와 출력데이터 간에 여러개의 계층을 두는거에요. 그래서 그냥 입력 데이터 예를 들어서 첫번째 픽셀의 값이 하얀색이고 두번째 픽셀의 값이 빨간색이면 결과 값의 고향이다 이런게 아니라 중간에 입력 값을 그룹해서 어떤 지식을 만드는 거에요. 그 내부적인 지식을. 그거를 이제...그게 역간에는 각각의 수식이라고 할 수 있는데 그걸 이제 실용망에서는 히든 레이어라고 부르고 있습니다. 지금 이 알고리즘을 수학적 입장을 바꾸는게 지금 이 정도면 복싱 알고리즘을 쓰셨는데 아, 절대 그렇지 않구요. 그게 뭐.. 간단히 말씀을 드리면은 그때 다르구요. 제가 마지막에 어떤 경우에 알고리즘 시간이 남으면 어떤 경우에 머신러닝을 썼는지 설명을 드릴텐데 예를 들어서 데이터가 충분하고 데이터가 충분한 경우에 머신러닝이 더 좋을 확률이 높아요. 그런데 문제가 되는 것은 머신러닝의 결과라는 게 굉장히 복잡한 중간에 데이터에 기반한 학습과정이 들어가기 때문에 항상 자기가 원하는 결과를 내지는 않아요. 예를 들어서 이 신경망을 학습해 보신 분은 아시겠지만, 어떤 식으로 결과를 얻었는지 초기화를 해줘야 돼요. 초기화를 해주고, 일종의 주사를 만지는 거야. 결과가 매번 조금씩 달라져요. 그게 괜찮으면 상관이 없는데, 내가 어떤 경우에도 이 내부를 정확히 알고, 내가 예측하는 결과를 꼭 내야 된다. 그런 경우에는 인간이 알고리즘을 만드는게 나을수도 있어요. 안그러면 이제 이 내부를 볼 수 있는 좀 더 이제 이런 모델같은 경우에도 굉장히 여러가지 모델이 있는데 제가 보여드린 것처럼 어떤 모델은 이 내부가 굉장히 투명해 보여요. 어떤거는 이제 정말 이런 그 플로우 차트같은 어떤 모델이 있어요. 보통 의사결정 틀려고 하는데 그리고 내부가 굉장히 안보이는 모델이 있어요. 동식형만 모델이 그런데, 그런것도 중요한 모델 사항인거에요. 내부가 보이는 모델을 써야하는지 내부가 안보여도 상관없는지. 그래서 이제 내가 알고리즘을 짠것인가 아니면 인공지능을 그러면 이제 문론으로 들어가서 제가 그래서 지금까지 데이터 사이언스가 뭔지 인공지능이 뭔지 간단히 말씀드렸는데 제가 오늘 하고 싶은 얘기는 인공지능의 시대가 됐기 때문에 인공지능이 오히려 덜 중요하다 이런 말씀을 드렸는데 왜 그럴까 사실 인공지능에 대해서 굉장히 많은 예측이 있었어요 일단 자율주행차가 2020년까지 다 된다. 그런 예측이 한 군데가 아니라 여러분이 그런 예측을 하셨는데 지금 한 달 남았죠. 2019년 11월인데 제가 친구들이랑 굉장히 생각해보면 내기를 했어야 했는데 친구들 중에서 이제 이거를 꼭 된다는 친구들이 몇 명 있어가지고 근데 뭐 다들 이제 보면 이제 올해 초, 작년 말까지도 자율주행 차단이 된다 뭐 그런 예측이 꽤 있었어요. 근데 그게 올해 초부터 많이 들어갔어요. 그래서 아마 제가 알기로는 대부분의 그 예측을 했던 사람들이 최신 소식통에 따르면은 예측을 알 수 없다. 그걸로 바꿨다는 그런 얘기를 많이 들었습니다. 혹시 자율주행 관련 일하시는 분 계신가요? 어떻게 될까요? 예측하시는 게 있으세요? 2020년은 안되겠죠? 그리고 이제 또 다른 예측 중에 하나가 헬스케어 쪽에서 의사 역할을 대체한다. 그런 얘기가 보통 아이벤에서 많이 시작을 했어요. 혹시 헬스테어 쪽 일하시는가요? 그러면 아마 저보다 훨씬 더 잘 아실 텐데 지금 상황이 어떤가요? 아이벤 왓슨이 많이 병원에서 역할을 하고 있나요?

저는 ECSF에서 일하고 있어요. 실제로 수건을 못 봤는데 특정한 분위기의 패스아우라지라든지 레디아우라지 이런 데에는 확실히 대체가 될 거라고 생각합니다. 그런 거는 일단 외부 리니징이라든지 아니면 티슈 스트로크같이 어떤 피지컬 컨스트롤도 있어서 그걸 싹 빌려야 되는 거니까. 어떤 피지컬 컨스트링이 있고 거기에 앞있는 패러를 찰라내는 것은 확실하다고 생각합니다. 그런데 이렇게 보면 관장 봤을 때 현재 센터에 대해서 어떤 걸 맞추고 알고리즘 시스템을 다 가르는 것은 시간이 훨씬 더 많은 것 같아요. 그 다음에 라이브레이션스 이슈 때문에 의사의 라이선스,

최근에 딥 메디슨이라는 책을 읽었는데 아마 에릭 토플이라는 미국의 카디올러지스트가 인공지능 공부를 하셔서 쓰신 책인데 그 책에도 보면 대체라는 것은 그게 옳은 건지도 조금 의문이 된 상황인 것 같고요. 대신에 인공지능이랑 협업하는 것은 많이 생각이 예를 들어서 라디올러지스트도 예전에 이미지를 하루에 천장을 봤으면 이제 그 천장을, 같은 천장만 보더라도 어느정도 정제된 이미지를 본다고 인공지능에서 어느정도 결과를 좀, 1차 결과를 알려주면 그걸 가지고 이제 판단을 한다 뭐 그런식으로 좀 그 워플로가 바뀌고 있다고 그런 얘기를 들었구요. 어쨌든 대체한다는 건 조금 과장했었던게 맞는 것 같구요. 그리고 이제 제가 엊그제 신흥 기사를 읽어보니까 한국에는 AI 면접이 대세라는 뭐 그런 그런 얘기를 들었는데 그것도 상당히 AI가 아마 최종 결정을 내리는 그런건 아닐까라고 생각을 하지만 회사들에서 시도를 했다가 실패한 경우도 있고 그 얘기는 조금 있다가 제가 알고 있으면 공정성 얘기를 이따 좀 할건데 다시 말씀드리고요 그리고 마지막으로 중국에서 AI를 사용해서 무단횡단을 하면 자기 걸려가지고 집으로 편지가 날라온다고 하는데 컴퓨터 미션으로 무단횡단한 사람의 신원을 알아가지고 그게 가능하다고 주로 그렇다고 하더라고요. 항상 기술이 모용이 되는 그런 사례가 있는 것 같고요. 그거 말고도 딥페이크, AI 오용사례가 있죠. 이런 일이 왜 생겼나 생각을 해보면 일단 인공지능이 잘 안되는 경우가 많죠. 왜 셀프 드라이빙이 안되는지 생각을 해보면 학습 데이터가 굉장히 중요한데 셀프 드라이빙은 학습 데이터가 많을 것 같지 않습니까? 문제가 되는게 자동차가 운전을 제대로 하려면 주행중에 잘 되는거랑 주행을 잘 한거랑 잘 못해가지고 사고가 난 데이터가 둘 다 필요한데 사고가 난 데이터는 당연히 얻기가 어렵죠 그게 실제로는 사고를 내거나 아니면 그런 사고 하나하나가 굉장히 코스틸리하기 때문에 그런 데이터를 굉장히 녹여 어렵다는 거고 하지만 이제 그중에서 그나마 데이터가 많은 회사들이 그런 의미에서는 조금 더 유리하지 않을까 생각을 해보고요. 그 다음에 이제 공정성 문제가 있는데 인공지능 면접 그거의 문제는 사실은 그게 결국에 데이터를 기반할 수 밖에 없구요. 그 데이터가 대부분은 지저분한 데이터. 예를 들어서 전통적으로 남성이 훨씬 더 많이 일했던 어떤 분야의 채용 데이터다. 그럼 거기에는 편향이 있을 수 밖에 없거든요. 그런 편향이 인공지능 알고리즘을 썼을 때, 그냥 썼을 때는 더 강화가 되요. 그래서 당연히 그렇지만 이제 인공지능을 그냥 기계적으로 적용을 했을 때 그 편견 없이 강화되는 결과가 나올 수 있다는 거. 그건 조금 이따가 더 사례로 말씀을 드릴 거고요. 어쨌든 많은 인공지능에 대한 뉴스를 보면 뉴스라는 게 정말 사실을 보디하는 걸 수도 있겠지만은 실제로는 어떤 특정한 기업들의 마케팅 메시지인 경우도 굉장히 많거든요. 예를 들어서 잘 알려진 게 왓슨, 그리고 사실 알파벳이 약간 비슷한 건데 당장 이런 시스템들이 인간의 문제 해결해줬냐 하면 그게 아니거든요. 왓슨은 정말 제퍼디라는 퀴즈쇼를 잘 푸는 거에 특화해가지고 그 시대에 존재하는 여러 가지 알고리즘을 조합해서 만든 거고 알파고 역시 바둑이라는 문제를 풀기 위해서 굉장히 당연히 되게 impressive한 시스템이죠. 근데 이제 그게 굉장히 거동의 문제를 해결할 수 있는 그런 시스템이냐 하면은 그런 건 아니라는 거죠. 이 회사에서 내가 이걸 보여줬고, 그러면 이제 사람들이 이걸 보여줬으니까 다른 것도 잘하겠거니 하는데, 실제로 왓슨을 뭐 의료 현장에서 돌패했을 때, 제가 이제 이번에 뭐 여러가지 미국 머리학계에서 논문이 나온 걸 읽어보면 잘 된 경우가 없진 않아요. 근데 대부분은 처음에 약속했던 그런 수준의 성능에 매치지 못한다. 항상 조금 과장을 한 경향이 있다는 거. 마지막에 당연히 기술이 강력해지면 오나병 사례가 생긴다는 거죠. 컴퓨터 비전으로 사람 신원을 확인해서 정확도 높게 하는게 최대 가능하게 됐는데 그런게 가능해지니까 바로 오염사리가 생기는거구요 혹시 질문 있으시면 아무 때나 편하게 해주세요 그래서 이런 문제가 있을 때 어떻게 해야 되느냐 제가 아까 3가지 단계를 말씀드렸죠 데이터를 준비하고 모델을 만들고 모델을 적용하는 3가지 말씀드렸는데 처음에 드시는 생각은 당연히 모델 자체를 계산하면 되지 않을까 그래서 지금 현재 인공지능은 굉장히 많은 데이터를 필요로 하고 그 다음에 데이터 편향이 그대로 결과를 반영되는 그런 문제가 있는데 그러면은 적은 양의 데이터로 학습 가능하고 현역에서 자유로운 모델을 만들면 되지 않을까 그렇게 생각하실 수가 있죠. 그리고 실제로 이런 연구를 많이 하고 있고요. 어느정도는 굉장히 중요한 방향이에요. 이것을 해법 1이라고 하죠. 해법 1. 그 다음에 다른 해법은 이 모델을 만들기 전, 그리고 모델을 만든 이후, 이 두 가지 단계에서 문제를 해결하는 방법. 데이터를 준비하는 단계에서 데이터 가공, 오류 수정, 그 다음에 이 학습, 필터 추가, 레이블링, 이 단계에서 데이터의 내재된 문제를 수정할 수 있고요. 그 다음에 모델을 적용하는 단계에서 학습 결과를 보완하고 뭐 그렇게 할 수 있겠죠. 제가 이거는 좀 이따가 사례를 말씀드릴까요? 그러면은 이걸 이제 해법 2라고 하면은 해법 1과 해법 2 그 실제로 뭐 둘 다 중요한 해법이고 근데 이제 해법 2의 장점이라고 할 것 같으면은 해법 1같은 경우에는 모델을 안에서 해결하는 방법이다 보니까 특정한 모델에서만 작동을 할 거에요. 예를 들어 신경망에서 데이터 편향을 줄이는 방법을 개발했다. 그러면 신경망이라는 특정 컨텍스트에서만 모델을 사용할 때만 적용을 할 수 있겠죠. 데이터 준비, 모델 적용하는 과정에서 이제 그 문제를 해결할 수 있다고 하면은 그건 어떤 모델을 사용하는지 적용할 수 있겠죠. 그런 의미에서는 이제 전후에 해결을 하는 것도 굉장히 중요한 방법이고 그 다음에 아까 말씀드렸듯이 이 모델 자체는 점차 데이터가 많아지면서 블랙박스가 되는 경향이 있어요. 그래서 이 부분은 데이터가 많으면 정말 자동화 할 수 있는 부분이기 때문에 모델에 대한 어떤 내가 이런 모델을 꼭 써야 된다? 뭐 그런 컨스트레인트를 덜 가지고 가는게 이제 인공지능을 적용하는 데서는 훨씬 더 유리한 거죠. 그러면은 모델에 내가 특정한 모델 업무인지 아니면은 모델 다 해보고 그 중에 제 선택 성능이 좋은 걸 결정하면 되니까 그런 의미에서 모델 전 후에 모델의 한계를 해결했을 방법이

좋은 말씀이시고요.

좀 구체적으로 어떤 사례를 예를 들면

헬스케계에 있는 MEH 데이터라고 내셔니얼이 콜렉트된 데이터를 쓸 수도 있고요. 캔서 같은 경우에는 만약에 그 다음에 캘리포니아 캔서 레지스트리에서 콜렉트된 데이터를 쓸 수도 있고 아니면 UCSF에서 내재적으로 있는 저희들의 UCSF 데이터를 쓸 수도 있습니다. 그런데 각 데이터의 성질이 다 다르죠. 어떤 부분을 얼마나 정확하게 담고 이 사람들도 그걸 프레젠터하는 파블레이션이 다르니까. 자기가 질문하고 싶은지, 질문에 맞는 데이터가 어떤 거고, 이 데이터를 썼을 때, 내지는 다른 데이터를 썼을 때, 뭐 하는 바이오스라도 있고, 그런 것을 먼저 생각해보시는

게 좋을까요? 네, 여러 가지, 건강 데이터가 여러 가지 종류가 있다고 말씀하셨는데, 네, 되게 좋은 말씀이시고요. 여기는 이제 데이터는 주어진 상태로 과정을 했는데, 실제로 데이터를 먼저 모으거나 아니면 선택할 수 있는 경우도 있겠죠. 그런 경우에 당연히 이런 문제를 다 피할 수 있죠. 좋은 데이터가 있으면 가공도 줄일 수 있고 편향도 좀 적을 거고요. 그렇죠? 그런 의미에서는 당연히 좋은 데이터 선택할 수 있도록 노력하셔야 되는 거고요. 3법 2를 데이터 사이언스로 문제 해결하기라고 가르쳤는데, 그러면 이 3가지 단계 중에 가운데 단계를 하시는 분들이 보통 머신러닝 엔지니어고, 첫번째, 세번째라는 분들을 데이터 사이언스티라고 생각해도 되는 건가요? 그거는 사실 회사마다 달라요. 사실은 머신러닝을 제대로 하는 분들은 보통 머신러닝을 안하시는 분들은 보통 요게 머신러닝이다 생각하시는건데 보통 하시는 분들은 이 전체가 머신러닝이다 그렇게 생각을 하시죠 근데 제가 말씀드린거는 제 처음 요지로 돌아가서 요거를 제대로 하려면 텐서플로그도 안해야 되고 확률을, 수확 확률을 다 알아야 돼요. 근데 이제 요 부분이 점차 자동화되고 그 다음에 블랙박스가 되고 요 부분은 사실 신경을 별로 안 써도 되는 그런 시대가 온다고 믿고 있다. 그렇지만은 요 전후는 이 전후는 사실은 계속 신경을 써야 돼요. 왜냐면은 이거는 이제 아무리 모델이 좋아도 쓰레기를 넣어줘도, 쓰레기 데이터를 넣어도 잘 동작하는 모델이 있을 수 없거든요. 데이터는 항상 최대한 최선을 다해 준비를 해야될 거고, 모델이 적용하는 단계에서는 실제로 인공지능을 정말 직원을 채용하는데 사용하고 환자를 진단하는데 사용한다면 훨씬 무료성이 많아요. 그냥 Accuracy만 보면 되는게 아니에요. 그런 의미에서 이 전 단계, 그 뒤 단계가 기술이 얼마나 발전하는지 계속 중요할 거고 이 가운데 요거는 점차, 마치 다시 운전의 비율로 돌아가서 엔진을 몰라도 되는 것처럼 이 가운데 단계는 보통 95%, 99%의 분들은 지금까지 기술 발전을 빅데이터로 생각해보면 그렇게 되어봤어요. 빅데이터 얘기가 잠깐 나왔으니까 처음에 2000년대 초반에 빅데이터 처음 나왔을 때 사람들이 하드웁, 맵 리뷰스 굉장히 많이 처음 나왔죠. 그때는 그걸 공부해야지 취직도 할 수 있고 빅데이터 엔지니어 굉장히 많이 떴어요. 그때는 실제로 자바로 하드 프로그램을 짜야지 맵리티시 프로그램을 짜야지 대용량 데이터를 다룰 수가 있었어요. 근데 이제 어느 순간에 그런 거를 다 몰라도 대용량 데이터를 다룰 수 있는 그게 이제 컴퓨터 센서의 압스트랙션이라고 하는데 말하자면 엔진의 어떤 메커니즘이 예전엔 그 엔진을 실제로 알아야지 뭔가 차로 움직일 수 있게 됐었는데 차가 앞으로 가도록 됐다. 그게 기술 발전이죠. 기술이 항상 그런 식으로 발전해 왔어요. 그런 의미에서 모델 만드는 것도 점차 그 중요성이 덜해지지 않을까. 제 생각이 그렇다는 거죠. 어쨌든 지금까지 제가 말씀을 드린게 인공지능과 데이터 사이언스 그 다음에 당연히 모델 안에서 해결할 수도 있고 모델 밖에서 해결할 수도 있는데 제 개인적으로 모델 밖에서 해결하는 것이 좀 더 번용성이 높다 그런 말씀을 드렸구요. 이제 좀 더 구체적인 사례로 들어가서 제가 인공지능이 지금까지 말씀드렸던 것을 조금 더 지원을 시켜보도록 하겠습니다. 지금 살펴볼게 구글에 와이프라는 툴이 있어요. 요거는 와이프 툴 검색해보시면 나오는데 웹에서 인공지능 문제를 푸는 것까지는 아니지만 인공지능이 뭔지 경험해볼 수 있는 그런 툴이에요. 저도 이제 그 툴을 뭔가 설명을 하기 위해서 시각화가 많이 나와서 그걸 가져왔고요. 우선은 이제 내가 거기 이제 여러가지 예제가 있는데 그 중에 연수입, 사람, 그 지금 데이터가 이제 이런 데이터가 있어요. 뭐 나이도 있고, education, 그 다음에 occupation, 그 다음에 성별, 인종, 그 다음에 얼마나 그 재산 변화 뭐 여러가지 있는데 요걸 가지고 이 사람의 연수입이 얼마가 될지, 연수입을 5만굴에서 풀었는데, 두가지 바이너리 레이블을 예측을 하는 문제예요. 이게 굳이 멍뭉이 분야를 찾자면, 배출을 잘하거나, 아니면 이 사람한테 내가 마케팅 메일을 보내지 안 보내지, 비싼 차를 팔아야 된다. 이런 데이터셋이 있고요. 인공지능 프로세스로 제가 잠깐 설명을 드렸지만 다시 돌아가면 학습용 데이터라는 레이블이 있어요. 보통은 나이도 있고, 지금 보니까 데이터는 500개가 있고요. 100원은 큰 데이터셋은 아니죠. 그 다음에 over 50k라는 게 레이블이에요. 실제 소득이 50만 불이 넘는지 아니면 안 되는지, 그 다음에 뭐 젠더 레이스, 그 다음에 이제 모델이 보면은 모델이 결국에 그 제가 아까 포뮬러라고 말씀드렸죠. 또 수학공식인데 그게 이제 그 수치를, 수치를 줘요. 그래서 수학공식이니까 이런 거를 다 잘 조합해가지고 내가 뭐 내가 생각할 때는 이 사람이 50, 50k 소득을 넘어갈 확률이 뭐 얼마나 돼. 이런, 이런 종류의 그 결과를 주죠. 모델은 숫자를 주고 그 다음에 이걸 실제로 만약에 파이널의 예측을 해야되면 거기에서 특정 경계를 가지고 모델의 예측값을 짜는거에요. 그래서 모델을 두개를 비교를 할건데 첫번째 모델은 모델 결과가 0.4가 넘으면 이 사람은 50K가 넘을거야 이렇게 얘기를 하는거고 두번째 모델의 0.64가 넘으면은 이 사람은 50K가 넘을거야 이런식으로 예측을 하는거에요 혹시 이걸 이해를 하셔야지 다르게 설명 가능하거든요 여기서는 제가 일부러 모델 두개를 만드는거를 보여드릴거에요 하나는 뭐... 실제로도 모델 두 개를 여러 개를 만들어서 비교를 많이 하거든요. 아, 모델이 어떤 건지는 여기서는 중요한 건 아닌데 하나는 되게 단순한 선형 모델이고 하나는 좀 더 복잡한 신경만 모델이라고 일단은 해도 될 것 같아요. 완전히 다른 포뮬라를 쓴 모델이라고 생각하시면 됩니다. 그래서 이 모델보다도 일단 데이터가 들어오면 데이터를 탐색을 하시는게 도움이 되는데 예를 들어서 이 데이터를 보면 여기 성과 인종이 있죠. 근데 이 두가지를 보시면 굉장히 재미있는 관찰이 여기서 남성이 훨씬 많고 여성보다. 그 다음에 이제 백인, 흑인, 에이션 이렇게 되는데 백인이 거의 전부 다 수여해요. 이런게 사실은 이 데이터시즈가 있는게 아니라 거의 모든 데이터시즈에 이런 편향이 있거든요. 이게 제가 아까 말씀드린 데이터시즈 편향이에요. 이걸 가지고 만약에 예측을 한다. 그러면 어떤 결과가 나올까? 그게 사실은 인공지능 모델이라는 것은 주어진 데이터를 가지고 주어진 데이터를 최대로 만득시키는 어떤 최적화 문제를 푸는 거거든요. 그게 의미하는 것은 남성이 훨씬 많고 백인이 많은 그런 데이터셋이라면 남성과 백인에 맞춰가지고 그 결과를 낼 수 밖에 없어요. 그러니까 예를 들어서 남성의 소득을 예측하는 기준과 여성의 소득을 예측하는 기준이 완전히 다르다고 생각해 보면은 이 데이터세스는 남성을 위주로 생각을 해야지 더 좋은 결과가 나오는 거예요. 효율성이 나오는 거예요. 그렇기 때문에 결과가 남성의 소득을 예측하는데 맞춰질 수 밖에 없어요. 그러니까 사람이 예측을 하는 거랑 똑같아요. 이걸 사람이 예측을 한다고 해도 그 사람이 어떤 사고방식에 내가 이래서 잘하는데 뭐가 좋을까 생각을 할 거 아니에요. 그렇죠? 그런 곡에 제가 아까 말씀드린 데이터의 편향이 모델의 결과에 들어간다는 그런 것의 의미고요. 그러면 어쨌든 데이터를 처음에 안 봤으면 이런 걸 모르고 진행할 수 있잖아요. 그렇죠? 이런 데이터를 보는 게 굉장히 중요한 거고 그 다음에 이런 사실 또 여기서 중요한 관찰은 뭐냐면 이 부분을 어떻게 자동화하면 안 돼요. 왜냐하면 데이터에 굉장히 여러가지 속성이 있는데 성과 인종은 훨씬 굉장히 민감한 문제잖아요. 그렇죠? 남녀를 차별을 하고 그 다음에 인종차별을 하는 것은 굉장히 사회적으로 문제가 되는 일이죠. 그렇지만 실제로 이런 이런 문제를 일으키지 않는 어떤 데이터 속성이 굉장히 많을 거 아니에요. 그런 것을 사실은 기계의 입장에서는 알 수가 없는 거죠. 이거는 데이터를 준비한 사람이 어느정도 인지를 하고 있어야지 해결할 수 있는 문제라는 거. 그런 의미에서 데이터를 보는 게 굉장히 중요한 과정이라고 할 수 있습니다. 그 데이터를 가지고 모델1과 모델2가 있죠. 모델1과 모델2가 모델1과 모델2의 결과를 비교하는 플러시인데 그 다음에 색상이 뭐냐면 실제로 50k 소득이 넘는지, 얘네가 레이블이에요. 사실은 여기서 보시면 모델1과 모델2가 둘 다 어느정도는 50k가 넘는 쪽에 높은 스코어를 주고 그 다음에 반대에 더 낮은 스코어를 줬죠. 이게 만약에 100% 정확한 모델이면, 만약에 모델1이 100% 정확하다면 여기서 딱 잘랐을 때 오른쪽은 다 빨간색이고 왼쪽은 다 파란색이 되어야 되는데 실제로는 이게 섞여있죠. 의미하는 건 모델1이 나름 좀 에러가 있다는 것. 모델2도 마찬가지로 에러가 있죠. 지금 봤을 땐 비슷한 것 같아요. 어쨌든 이것도 일종의 데이터 분석인데 모델을 비교하고 어떤 모델이 잘했는지 못했는지 볼 때도 데이터 분석을 굉장히 많이 해야되요. 그런 의미에서 두가지 모델을 비교하는 한가지 방법이고 그러면은 둘중에 누가 더 잘했을까 그런거를 이제 생각해 볼 수가 있는데 여기 보시면 여러가지 지표가 있어요. 제가 주로 밥먹고 주로 하는게 이쪽이라서 좋은 생각이 할 말이 많은데 우선은 컴퓨전 매트릭스라는 것을 여기 이제 설명을 간단히 드리면은 이게 두가지 중에 하나의 결과가 나오는 거잖아요. 그쵸? 그래서 실제로 이제 Actual이 있고 Predict가 있는데 Actual은 이제 실제로 이 사람의 소득이 50개 넘었는지 그리고 예측은 이 모델이 예측한게 첫번째 테이블은 모델1이고 두번째 테이블은 모델2인데 이 사람이 예측한게 이 모델의 예측한 결과가 yes인지 no인지. 그래서 제일 좋은 모델은 당연히 yes, yes, no, no가 많으면 제일 좋은 모델이죠. 완벽한 모델이죠. 근데 보통은 에러가 있죠. 그래서 이 에러가 두 가지가 있어요. 그거를 보통 타임1 에러, 타임2 에러 이렇게 얘기하기도 하는데 그냥 뭐 간단히 말씀드리면 실제로 소득이 50개가 안넘는데 50개가 넘는다고 하는 경우 그 다음에 소득이 50개가 넘는데 50개가 안된다고 하는 경우 두가지가 있죠 예측 모델 두가지가 둘중에 뭐가 더 좋은지를 얘기를 하려면 여러가지 방법이 있어요 전체는 첫번째 가장 단순한 방법을 액교시라고 하는데 이 전체 데이터 중에서 yes, yes, no, no가 비중이 얼마나 되는지 그게 100%면 완벽한거니까 그걸 보는 방법이 그걸 accuracy라고 하죠 근데 이제 사실은 그거는 그게 설명을 모두 안해주는거 아니에요 왜냐면은 이 에러가 이제 두가지가 있는데 둘중에 어떤 에러가 더 문제가 되는지 생각해보면은 배출을 이게 만약에 대출을 하기 위해서 내가 인컴을 플래스팅 하는 거라고 생각을 하면은 은행 입장에서 대출을 하지 말아야 되는 사람한테 대출을 해주는 거라 대출을 해줘야 되는 사람한테 대출을 안 해주는 거라 둘 중에 뭐가 더 중요할까? 그거는 사실 전 잘 모르겠네요. 은행 다니는 분들이 아니겠죠? 그래서 도메인 전문가가 필요한 거에요. 저는 사실은 둘 다 중요한 것 같은데, 예를 들어서 이게 만약에 질병을 진단하는 거다. 그러면 질병이 없는데 있다고 얘기하는 거랑 질병이 있는데 없다고 얘기하는 거랑 사실은 있는데 없다고 얘기하는 게 더 나쁜 에러죠. 그쵸? 왜냐면 첫번째는 검사를 받아서 그러면 이제 검사가 아니구나 그렇게 하면 되는데 있는데 없다고 넘어가는 거는 훨씬 큰 에러죠. 그러면 이제 이 두 가지의 에러 중에서 뭐가 더 나쁜 건지 그거를 이제 입력, 그런 걸 알아야지 그걸 평가를 제대로 할 수 있는 거예요. 그래서 이 간단한 테이블을 봐도 굉장히 여러 가지 지표를 뽑아낼 수 있다는 거. 그 다음에 이제 마지막으로는 모델이 여러가지가 있을 수 있는데 이건 이제 다음거 보면 더 좋은데 그러니까 예측 결과를 여기 이제 제가 말씀드렸듯이 각 모델이 이제 스코어를 내죠. 그러면 이제 저희가 할 수 있는게 그 그리고 input feature가 있잖아요. 그렇죠? input feature. 인포드 피처가 예를 들어 여기서는 성별도 피처고 인종도 피처고 그 다음에 이제 그 특정한 구간에 돈을 얼마나 벌었는지. 남들끼리 돈을 번게 아니라 이건 약간 이자 소득인 것 같아요. 캐피탈계위니까. 이자 소득이 얼마나 되는지 뭐 그런 피처도 있고. 근데 이제 여기 보시면은 그러면 만약에 이자 소득이 높을수록 어찌보면 이건 당연하죠. 이사도득은 어찌보면 소득의 일부니까 이사도득이 높을수록 만약에 1tk를 넘을 확률도 없다 그러면 여기서 이제 이 그래프가 위로 올라가겠죠? 근데 이제 이 모델 두가지를 비교를 해보죠. 놓고 보시면은 이 파란색 모델 파란색 모델 1인 것 같은데 파란색 모델을 보면은 이 관계가 굉장히 복잡해요. Capital Gain이 조금 올라가면, 스코어 평균이 떨어졌다가, 이게 의미하는 것은, X축은 Input 속성이고, Y축은 모델의 예측값인데, 파란색 모델같은 관계가 굉장히 복잡하죠. 떨어졌다가 올라갔다가 하죠. 그런데 빨간색 모델같은 관계는 선형이에요. 인풋이 capital gain이 높으면 무조건 그 만큼 모델의 예측값이 높아지는 거에요. 그게 의미하는 것은 이 주황색 모델은 훨씬 더 단순해요. 그렇죠? 인풋이 그대로 나오고 나서 나오는 거에요. 그렇죠? 근데 이제 파란색 모델은 그게 내려가기도 하고 올라가기도 하고 굉장히 비서명적인 관계가 있어요. 근데 이제 제가 이 얘기를 왜 하냐면은 이게 사실을 보면은 accuracy가 파란색 모델이 지금 조금 높아요. 86.2 대 85.6인데 그러면 파란색 모델을 당연히 써야 되느냐? 꼭 그런 게 아니라는 거예요. 왜냐하면 예측 정확도가 비슷한데 이 주황색 모델은 훨씬 더 단순하잖아요. 임프실형 아웃풋의 결과가 훨씬 단순한 선형 모델이 비슷한 예측 결과를 나타낸다면 저 같은 경우에는 그냥 주황색 모델을 쓸 것 같아요. 왜냐하면 실제로는 이 모델을 가지고 내가 누구한테 설명을 해줘야 하는 경우가 굉장히 많거든요. 예를 들어서, 만약에 이게 대출 심사를 하는 거다. 이렇게 생각을 해보면은, 왜 내가 대출이 안 됐어요? 이렇게 물어보는데, 이 파란색 모델 같은 경우에는 설명이 훨씬 어려운 거예요. 빨간색 모델은, 유캐피탈 게인이 너무 낮아서 그렇게 됐습니다. 이렇게 설명을 할 수가 있는데, 파란색 모델은 그게 훨씬 어려운 거예요. 그리고 실제 예측 모델을 사용하는 데 있어서는 정확도가 1% 높은 것 보다 설명할 수 있는지 없는지가 훨씬 중요하게 굉장히 종종 있어요. 그거는 운영 분야와는 다른데 어쨌든 설명 가능성은 중요하다는 거고 어쨌든 질문 있으신가요? 엑시클리어로 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,32,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33,33 네, 그거는 일반적으로 맞는 것 같고요. 이거는 제가 꼭 고민했다기 보다는 그냥 모델의 결과가 스코어다, 그걸 말씀드리려고 했던 거고 근데 이제 말씀하신 SBM이랑 랜덤 플레이스 말씀하셨나요? 그 두 가지는 사실은 둘 다 굉장히 복잡한 모델이거든요. 비선형적인 관계가 있고 그런 경우에는 사실은 별로 도움이 안되요. 예를 들어서 그런 경우에는 이런 지금 이 플랫을 파셜 디펜넨스 플랫이라고 얘기하는데 이 플랫이 이렇게 왔다갔다 계속 결과가 바뀔거고 복잡한 모델 두개를 비교하는 것은 별로 인사이트를 얻을 수 없는 경우가 많아요. 그런 경우에 나름의 모델이 복잡한 것을 해석하는 만들어진 기법이 따로 있는데 이런 종류의 어떤 단순한 시각화로는 안되는 경우가 많아요. 그래서 이제 요약을 하면은 이런 종류의 분석이 가능한 것도 모델의 선택에 모델의 특성이 다르다 이렇게 말씀을 드릴 수 있습니다. 그리고 제가 또 말씀을, 이걸 또 보여드리는게 여기서 이제 그 성별과 인종에 따른 예측 스코어 차이가 나죠. 여기 보시면은 파란색은 모델 각각의 결과고, 파란색 모델, 빨간색 모델, 주황색 모델 둘 다 다른 걸 다 무시하고, 여성인 경우에 예측 스코어가 더 떨어져요. 소득이 더 낮다고 예측하는 거예요. 그리고 인조학래의 경우에 보시면 이거는 모델마다 차이가 있는데 주황색 모델 같은 경우에는 흑인이거나 아니면 다른 소수 인종의 경우에 소독이 더 낫다고 예측을 하는 거에요. 그러면 이제 이게 이렇다고 꼭 이건 평균값이기 때문에 얼마나 결과에 영향이 있는지는 따로 봐야되지만 어쨌든 모델에 어느정도 편향이 있다는거 아까 제가 인풋데이터를 이런 편향이 있다는걸 말씀드렸는데 이 편향이 모델 스코어에도 들어갔다는거 그거를 보실수가 있는거고 그러면 공정성 얘기를 좀 더 해볼게요 이거를 제가 방금 플랏을 보면서 보여드렸는데 이걸 각 데이터 포인트를 보면 이게 모델 2개, 아까 보여드린 스코어 플랏이고 그 플랏 하나를 지금 남성과 여성으로 나눈거에요. 지금 원래 데이터가 500개가 있으면 그중에 남성의 예측과 여성의 예측과 이거를 성별 기준으로 나눌 수가 있죠. 보시면 한가지 확실한거는 특히 이 두 모델 다 여성의 예측값이 훨씬 낮은 걸로 나오는 거죠. 물론 낮은 것 중에 아까 말씀드렸듯이 이 색깔이 레이블이거든요. 실제로 소득이 높은지 낮은지인데 맞는 것도 많아요. 근데 틀린 것도 있죠. 여성이 더 낮은 스콜을 받는 그런 결과로 모델이 나온다. 근데 컷아웃을

5개 설정하셨잖아요. 모델 2개 다. 그렇기 때문에 이렇게 보시는 것도 괜찮은데 사실은 에큐리티 테이프를 여성, 남성으로 해가지고 모델 2개로

보시는 거예요. 왜냐하면 앨범과 틀리게 되기 때문에. 네, 지금 보여드릴 거예요. 그렇죠? 여기에 이제 다른 여기 이제 컷오프죠. 컷오프를 다르게 하면 다른 결과를 알 수 있습니다. 어쨌든 스코어 자체는 그렇다는 거고 그럼 이제 그 테이프를 한번 다시 볼까요? 제가 그 Accuracy 테이프를 바꾸진 않았는데 어쨌든 여기 그... 지금 여기서 처음에 보여드린 결과에서는 모델별로 컷오프가 있죠. 그쵸? 근데 이제 사실은 지금 보니까 컷오프가 있긴 하지만 모델별로 컷오프가 성별로 다르진 않아요. 그쵸? 컷오프가 하나에요. 모델이면 컷오프가 하나인거에요. 그게 의미하는거는 만약에 스코어디스트리밍이 이렇게 다르면 당연히 이제 실제 결과의자도 그런 영향이 있을 수 밖에 없다는거죠. 왜냐면 안녀와 디스트리밍이 다르기 때문에 컷오프를 다르게 한다? 그렇게 그런 가정이 여긴 없는거에요 여기는 컬오프가 하나에요

아니 그게 아니고 빨간색 닷이 블루나 블루가 전체적으로 하얘야 되잖아 근데 컬오프가 포인트인걸 말하니까 어차피 콜할때 원과 집어넣을때 빨간색 닷이 위에 있지만 컬오프가 높게하기 때문에

원이라고 콜을

2개 하는게 이를테면 스코어 안에는 전체적으로 블루가 낮게 나왔지만 원이라고 만드는거는 똑같은 애들을 원이라고 할 수 있어요 지금 보면 전체적으로 이게 드러나는데 지금 블루가 조금 더 밑에 있고 레드가 위쪽으로 가 있잖아요. 그런데 레드에 대해서는 마드리 생각하는 게 0.64만 넘어야지만 1위라고 보고 아니면 지구상은 0.4. 그런데 블루는 0.4 이상이래야지 1위라고 봅니다. 그러니까 그런 면에서 보자면 스코어가 레드, 마드리 높게 나왔다가 이상하게 큐리시, 퍼포먼스가

이건 그냥 pure fairness 관점에서 모델별로는 스코어 threshold가 다른데 모델 안에서는 지금 이렇게 남녀의 스코어 평균이 다잖아요. 모델 안에서 이 threshold는 하나라는 거죠. 이게 의미하는 것은 전체적으로 비율을 봤을 때 여성한테 소득이 낮다. 그래서 만약에 대출 강화를 이어준다면 대출 안해도 확률이 높다는거죠. 그걸 말씀드린거에요. 맥케어시랑은 또 다른 개념이죠. 여기서 공정성은 어떻게 정의를 해야되나요? 예를들어서 신세계주구 전체 퍼플레리지션에서 여성의 소득이 50K를 넘는 경우가 더 많은 경우라면 모델도 더 많게 예측을 해야 더 정확한 거잖아요. 그런데 공정하다는 것은 과연 두 강아지 경우를 똑같이 예측을 해야 되는 건지 아니면 전체 퍼포먼스 비율대로 예측을 해야 되는 건지 어떻게 정리를 되세요? 제가 지금 설명을 하려는 부분인데 일단 간단히 말씀드리면 답은 없어요. 정답이 없어요. 사실 그렇잖아요. 대학 입학 사정 같은 경우에도 공정성을 정말 강조해서 모든 학생은 같은 비율로 받는다? 그러면 머즈웨드 쪽이 차별, 역차별 받는다고 생각할 수 있는 거고 여기에도 사실은 답은 없는데, 최근에 연구를 하는 것은 사람들이 이 공정성에 대한, 그리고 사실은 이거는 어찌 보면 도메인에 딱 닿고, 주관이 들어가는 문제예요. 근데 이제 거기서 한 가지 확실한 것은 사람이 고민해야 되는 것. 이거는 기계가 알고리즘이 해줄 수 없고, 사람이 고민해야 되는 부분이고, 따라서 인공지능이 어떻게 보면 좀 더 소프트한, 그런 기계화 될 수 없는, 그런 부분인데 제가 여기서 그냥 그 두가지 사례만 말씀을 드리면은 어 여기서 이제 첫번째는 기계적으로 기계적으로 그냥 이제 자태를 똑같이 한거구요. 이게 처음 보여드린거. .4, .6, .6, .5, .6, .4 해가지고 이제 남녀를 이제 똑같이 그 대하는거고 그 다음에 이제 다른 다른 기준은 이건 Demographic Parity라고 하는데 이건 남녀 잣대를 다르게 하고 결과적으로 계측 값에서 포지티브한 클래스의 비율이 똑같이 나오게 하는 것. 그거를 Parity라고 볼 수 있어요. 어떤 면에서는 그런데 어떤 사람들은 실제로 남자 소득이 높은 경우가 많은데 그게 어떻게 평등이냐 이렇게 말씀하실 수도 있어요. 또 다른 것은 equal opportunity라고 해서 다른 기준이 있어요. 그건 뭐냐면 소득이 실제로 높은 사람들 중에서 예측값이 positive가 되는 비율을 남자 똑같이 하는 거예요. 이 테이프로 다 설명을 할 수가 있는데 어쨌든 이 모든 기준이 뭐가 옳다? 이렇게 절대적으로 말할 수 없는 것 같아요. 근데 이제 중요한 것은 예전에 머신러닝에 이렇게 중요한 결정을 내렸는데 사용되기 전에는 그냥 이렇게 했다는 거죠. 그리고 이제 그게 그냥 그래야 되는 걸로 알았는데 실제 사람들이 머신러닝을 입시 사정한 데 쓰고, 배출 심사한 데 쓰고, 그렇게 하다 보니까 이런 문제가 생기는 거죠. 그래서 이런 관점으로 문제를 바라보기 시작한 게 최근 일이고, 그런 연구나 실제로 제품화되는 머신러닝의 경우에도 이런 고려가 많아질 거다, 그렇게 예측을 해볼 수 있다는 거고요. 자세한 것은 제가 관련 논문 링크를 해놨으니까 나중에 살펴보시면 되구요. 그리고 이제 제가 그래서 소적예측 그 문제를 가지고 설명을 드렸는데 다른 예측 데이터세트가 나이 예측이 있어요. 그래서 여기서는 이제 뭐 역시 그 사람의 어떤 다른 특성을 가지고 이 사람의 나이가 얼마나 되는지 여기서는 이제 예측이 역시 나이의 수치에요. 나이의 수치값, 클래스가 아니라. 그래서 근데 이제 여기서는 이제 좀 다른 종류의 편향이 나타나는데 여기서는 일단은 남자 비율이 훨씬 높아요. 그런데 이제 결과를 보면은 그 예측결과의 정확도가 예측결과값이 수치이기 때문에 이 경우에는 보통 평균 에러를 보는데 평균 에러값이 보시면 피메일이 훨씬 베일보다 높아요 그리고 이제 실제 나이가 예측된 나이를 비교를 해보면 남자는 여기 많이 모여있죠 가운데 예측이 정확하다는 얘기인데 여자는 훨씬 퍼져있어요 예측결과가 그게 의미하는건 여성의 나이 매치하는 데는 이 모델이 잘 동작을 안한다. 남성보다. 이것도 일종의 편향이에요. 이런 종류의 여러가지 문제가 데이터 음포에 따라서 모델의 성능이 편향하는 편향이 좀 다른 유형이고 그런 걸 볼 수가 있고 제가 잠깐 이거 보여드리면 이게 제가 처음 보여드린 인컴 예측문제고 그래서 여기 보시면 일종의 시뮬레이션을 해보실 수가 있어요. 툴을 보시면 Ground Truth는 over 50인지 이걸 예측을 하는건데 Cost Ratio라는건 제가 아까 말씀드린 인컴이 높은데 낮다고 보는거랑 낮은데 높다고 보는 것 둘중에 뭐가 더 나쁜건지 그거를 이렇게 레이셔를 정할 수가 있어요. 그리고 이제 그 결과를 이제 젠더로 나눠볼 수가 있는데 여기서 그 옵티메이징 스트레이저를 볼 수 있어요. 제가 싱글 트레이셜류가 있는게 가장 예전에 쓰던 방법이고 에모그래픽 패러티로 보면은 남녀 이제 그게 달라졌죠. 그쵸? 이것도 재밌는거는 Accuracy도 달라져요. Accuracy가 당연히. 보통 이제 Single Threshold를 했을때가 전체 Accuracy가 제일 좋을거구요. 그쵸? 근데 이거를 Fairness를 강조해서 이제 뭔가 남녀 다른 기준을 적용하기 시작하면 현체적인 액티비티는 좀 떨어질 수가 있어요. 하지만 그게 사실은 더 좋은 결과인 것이죠. 정확도가 다 그렇잖아요. 어떤 의사의 결정에 정확도가 유일한 판단기준은 아니기 때문에 그래서 어쨌든 굉장히 다양한 기준을 적용해서 각 기준별로 어떻게 Threshold가 달라지고 그 다음에 정확도가 달라지는지 보실 수가 있고 어쨌든 이거 한번 꼭 해보시고 그 기준이

따라서 머신을 수정하는 부분에 트레이닝할 때 Objective Function을 다르게 설정해 주나요? 아니면 Objective Function을 안 바꾸고 리딩을? 예를 들면 트레이닝 할 때, 예를 들면 애큐리스를 어떻게 생각하시나요?

제가 아까 말씀드린 것 중에서 해법 1이랑 해법 2 말씀드렸죠? 모델 자체에서, 공정성 문제는 모델 자체를 해결할 수도 있고 사실 둘 다 할 수 있어요. 둘 다 가능한데, 모델 자체가 공정성까지 고려해서 하면은 모델 자체가 복잡해지겠죠. 그게 꼭 옳은건지 생각해보는 문제고, 그리고 또 다른 고려사항은 모델에서 반영을 하더라도 어쨌든 평가는 공정성에 대한 평가를 해야 돼요. 어차피 해야 돼요. 어차피 그 컴플렉시티는 계속 있다는 거죠. 어떤 면에서는 저같은 경우에는 모델을 밖에서 하는게 바람직하지 않나 싶은데 사실은 둘다 열심히 연구가 진행되고 있는 그런 분야로 알고 있습니다. 그래서 사례 좀 살펴봤구요 사례가 좀 도움이 되시나요? 이거 사례 되게 재밌는거 많아요 꼭 아셔가지고 이런것도 있어요 스마일 디텍션 이게 재밌는게 이 사람이 웃고있나 안웃고있나 그걸 디텍트하는건데 여기에 이미지까지 보여주거든요 이거 보시면 되게 재밌어요 여기도 남녀와 편향이 있는거 같은데 보시면 이제 이것도 남자랑 여자랑 나눠서 보는 거거든요. 그래서 이제 뭐 이 사람은 안 웃고 있고, 아니 이게 빨간게 웃고 있는 거구나. 네, 아무튼 나중에 한번 꼭 살펴보시고. 그래서 사례도 좀 살펴봤구요. 지금까지는 이제 모델을 만드는데 굉장히 권력사항이 여러가지가 있고, 그 다음에 이제 뭐 데이터 분석을 많이 하는게 도움이 된다. 그런 요지였고. 그럼 이제 앞으로 어떻게 될까? 사실은 저는 이제 제가 텐서플로우를 필요없다, 확률 필요없다 이렇게 말씀 드렸지만, 시간이 있으면 하세요. 그래도. 무슨 얘기냐면, 인공지능과 데이터사이언스는 사실 지금 시작이에요. 제가 봤을 때는. 이게 사실 기술의 어떤 가치라는게 얼마나 많은 노력으로, 얼마만큼 노력으로 얼마만큼 결과를 잘 딸 수 있느냐, 얼마만큼 폭넓게 적용될 수 있느냐 뭐 그런건데, 그런 의미에서는 정말 데이터는 앞으로 계속 늘어날 거에요. 그렇죠? 모바일 카메라, 당연히 핸드폰, 그 다음에 센서 네트워크, 계속 늘어나고 있구요. 그 다음에 데이터 기술도 증가하고 있고 딥러닝, 클라우딩 등이 좋아지고 있죠. 그 다음에 더 중요한 건 데이터 기술 자체가 더 좋은 게 쉬워지고 있어요. 아까 말씀드린 자동화된 오토웨멘 이런 것도 있고 그 다음에 어떤 데이터든지 다루는 방식 자체가 최근에 공부해보신 분들 아시겠지만 R같은 툴을 사용하시면 일단 프로그램을 좀 하시긴 하셔야 되지만, 10년 전에 엑셀 매크로 배우는 것 보다 훨씬 간단해요. 그래서 그런 측면에서 More Application, Better Result, Less Effort 이 세가지를 결합하면 굉장히 파워풀한 컴플레이션이 아닌가. 그런 의미에서는 공부는 하시고, 단지 그게 지금 칼큘러스를 공부하거나 텐서플로 공부하는 것 말고 최대한 손쉽게 할 수 있는 것. 제가 아까 보여드린 그 What if tool 같은 경우에도 거기에 있는 개념 다 이해하시면은 머신 러닝을 시스템 결과 몇만큼 다 분석할 수가 있어요. 그리고 이제 그 분석 결과를 내는 것 자체는 점점 이제 그것도 점점 쉬워지고 있고 지금 당장 하실게 아니면 기다리셔도 돼요. 일단 그런 말 좀 게으른게 좋아요. 내가 지금 당장 하루에 5시간씩 텐서플로 공부하는 사람과 그 시간에 다른걸 하는 사람이 있으면 그게 전자가 좋지 않을 수도 있어요. 그래서 트렌드를 살펴보면 과거에는 데이터 사이언스라는 용어가 이제 2010년 넘어서 나왔어요. 그래서 과거에는 통계학이었는데, 통계... 그때는 컴퓨터가 없었죠. 그러니까 통계를 가지고 데이터 분석을 하는 거에요. 그러다가 이제 컴퓨터 프로그래밍이 전자나 자동화되고, 빅데이터 나오고, 그러면 이제 프로그래밍이 여기 들어가서 데이터 사이언스. 이 세가지가 다 중요하다. 굉장히 피곤한 시대죠. 데이터 사이언티스트가 굉장히 돈을 많이 받는 직업이네 이런 얘기가 나오고 있는데, 저는 당연히 데이터 사이언티스트로서, 이건 사실 바람직한 경향이긴 한데, 앞으로 어떻게 될 거냐, 제가 봤을 때는 컴퓨터 프로그래밍, 그 다음에 수학통계학, 이런 거는 이제 abstract out 될 것 같아요. 프로그래밍을 알고 통계적 지식이 있어야지 머신러닝을 쓰는 시대는 앞으로 5년? 길어요 5년. 그냥 데이터 잘 정제해서 주고 결과 잘 해석할 수 있으면 머신러닝을 쓸 수 있는 시대가 오지 않을까. 그리고 실제로 많이 지금도 그렇게 되고 있고요. 근데 이제 도메인 지식, 그리고 필요는 하죠. 이걸 아예 몰라도 되는 건 아니에요. 프로그래밍도 알아야 되고, 어느 정도 기본을 알아야 되는데, 우선순위가 문제죠. 이것에 얼만큼 실할 수 있을 것인가. 우선순위는 도메인 지식이 점점 높아지지 않나 생각을 하고 있고, 그 다음에 인간을 대체하기 보다는 인간과 인공지능이 협업을 하는 하고 있습니다. 이게 보시면 첫 컴퓨터, 첫 카메라, 첫 전화기라고 해요. 제가 인터넷 찾아봤는데, 왜 지금 이렇게 되죠? 다 합쳐서 손바닥에 들어가죠. 그렇죠? 인공지능의 미래가 제가 생각할 때는, 다시 아까 데이터 준비하기, 모델 만들기, 적용하기 돌아가면 데이터 준비는 이제 사실은 이것도 잘 설계된 인프라에서 자동으로 나와야 될 거고 모델 역시 더 강력한 도구 모델 자체가 데이터가 충분하면 사실 자동화할 수 있어요. 설치 프로그램이기 때문에 데이터가 많고 컴퓨팅 파워가 많으면 자동화가 가능해요. 대신에 모델을 적용하는 부분에는 계속 도메인 전문가, 데이터 전문가가 협업을 해야 되는 네, 그래서 결론으로는 데이터 사이언스가 현실에 문제를 해결하는데 공헌을 할 수 있게 됐고, 데이터 분석이 인공지능을 하더라도 사실은 90%는 데이터 분석을 하는 거에요. 그래서 이제 그런, 뺄 수 없는 그런 관계고, 약간 이제 머신러닝 모델 돌리는 건 사실 굉장히 쉬운 부분인데, 어쨌든 인공지능의 적용 전 단계를 생각해보면 고민이 굉장히 많고 사실은 꼭 수학적이고 공학적인 고민이 아니라 철학적이고 윤리적인 고민이 점점 더 중요해지고 있고요. 기술 발전에 따라서. 그리고 도메인 전문의