콘텐츠로 이동

카네기 멜런 대학교에서 사회성을 배운 머신러닝

카네기 멜런 대학교의 Articulab에서는 로봇 비서가 단지 인간 비서의 업무를 대체하는 것이 아니라 인간과의 공동작업을 통해 작업을 완수하고 관계를 형성하는 방식을 이해하고자 했습니다. 또한 Google Cloud의 머신러닝 엔진을 사용해 로봇과 인간의 상호작용을 연구하고 로봇의 에이전트에게 사회적 인식을 훈련시켰습니다.

인공지능에 사회적 능력 부여

중국 톈진에서 개최된 2016년 새 챔피언(New Champions 2016)의 연례 회의에서 무엇보다 주목할 만한 점은 사람과 완전히 새로운 방식으로 교류할 수 있는 SARA(Socially Aware Robot Assistant)가 첫선을 보인 것이었습니다. SARA는 단순히 인간 비서의 역할을 대체하거나 기계처럼 정보를 처리하고 전달하는 것이 아니라, 직관적이고 친근하며 적극적이고 인간 사용자와 '공동작업'하며 얼굴 표정을 인식하고 반응하며 선호도를 학습하고 마주한 사용자에 맞게 작업 성과를 향상시키도록 설계되었습니다. 또한 특정 사회적 신호를 배우고 사용자가 말하면 고개를 끄덕이며 다른 억양을 이해하도록 프로그래밍되었습니다.

이 프로젝트는 반년 후인 2017년 1월 스위스 다보스에서 열린 세계 경제 포럼에서 발표되었으며, 이 발표는 다보스 콩그레스 센터에서 제공된 유일한 데모였습니다. 이 자리에서 가상 개인 비서 역할을 담당한 SARA는 참석자에게 발표 중인 세션에 관한 정보를 제공하고 관련된 다른 참석자를 소개하거나 식당 등의 장소를 추천하기도 했습니다.

초창기 SARA는 특정 애플리케이션을 사용해 가상 개인 비서 역할을 수행하여 회의에서 도움을 제공하고 참석자와 상호작용했습니다. 또한 세계 지도자의 관심사와 목표를 학습한 후 도움이 될 만한 세션을 추천할 수 있었습니다. 더 나아가 대화 기능을 통해 자신과 대화한 사람과 관계를 형성하고 그들의 선호도와 목표를 더 습득했으며, 그 결과 훨씬 더 맞춤화된 도움을 제공함으로써 향후 대화에서 작업 수행 능력을 향상시킬 수 있었습니다.

SARA는 카네기 멜런 대학교의 소규모 연구팀인 Articulab에서 만든 프로그램입니다. 이 팀의 임무는 전산 시스템에 입력된 정보를 사용해 사회 문화적인 맥락으로 인간의 상호작용을 연구하고 이를 바탕으로 다시 인간의 상호작용을 이해하는 데 도움을 주는 것입니다. 사람은 어떻게 기술과 커뮤니케이션하고 이러한 커뮤니케이션은 시간이 지남에 따라 어떻게 향상될까요? 사회적 유대감을 쌓는 것은 사람들 사이에서와 마찬가지로 매우 중요합니다. Articulab팀은 SARA에 관해 다음과 같이 언급했습니다. “SARA는 사회 구조를 형성하는 사회 정서적 유대감을 무시하는 것이 아니라, 이러한 유대감을 이용하여 공동작업 기술을 향상시키고 있습니다.”

"Google Cloud 덕분에 AI 학술 연구에 가속도가 붙고 있습니다."

Yoichi Matsuyama, 언어 기술 연구소(Language Technologies Institute)의 박사 과정 후 연구원 겸 SARA 프로젝트 책임자

Google 도구를 사용하여 SARA 구축

카네기 멜런 대학교 컴퓨터 공학 대학의 기술 전략 및 영향 학부 부학장인 저스틴 카셀씨가 주도하는 Articulab에서는 다른 연구 프로젝트에 사용한 도구 및 자금 지원 덕분에 SARA 연구 이전에도 이미 Google Cloud(Google Cloud)에 대해 잘 알고 있었습니다. “다양한 머신러닝 작업에 TensorFlow를 사용해 왔기 때문에 최근 딥 러닝 프로젝트에 Google Cloud를 사용하기 시작한 것은 자연스러운 수순이었죠.” 언어 기술 연구소의 박사 과정 후 연구원 겸 SARA 프로젝트 책임자인 요이치 마츠야마씨는 이렇게 말합니다. “또한 대화 에이전트로 Google Speech API(음성 인식)와 같은 다양한 Google API 및 크라우드소싱 데이터 수집 프레임워크용 Firebase를 사용해 왔습니다.” SARA가 새로운 도메인과 애플리케이션으로 확장됨에 따라 Google Cloud는 계속 사용되고 있습니다. 그는 “Google Cloud 덕분에 AI 학술 연구에 가속도가 붙고 있습니다.”라고 언급하면서 “그래도 아직은 배포 단계 상태지만요.”라고 덧붙입니다.

마츠야마씨는 연구소에서 4개의 Nvidia Tesla K80 및 TensorFlow를 갖춘 GPU 인스턴스를 포함하여 Compute Engine을 '가장 많이 사용'하고 있다고 말합니다. 올해 팀에서는 업무 상황에서 이루어지는 심화 강화 학습 기반 사회 추론 및 사회적 조건 자연 언어 생성과 같은 모델을 연구해 왔습니다.

세계 경제 포럼에서 첫선을 보인 SARA 1.0을 통해 얻은 결과를 분석한 후 마츠야마씨는 이렇게 말합니다. “250명이 넘는 참석자에게 4일에 걸친 회의 기간 동안 SARA를 사용해 보도록 했는데 결과는 대체로 성공적이었습니다. 물론 지금도 계속하여 연구 결과, 장점, 단점을 분석하고 있습니다. 수집한 데이터를 통해 알게 된 중요한 사실 중 하나는 흔히 '친밀감'이라고 하는 사람 간의 관계가 실제로 작업 성과와 관련이 있다는 점이었습니다. 이번에도 참석자가 SARA의 추천을 받아들이는 데 이 친밀감이 영향을 미쳤으니까요. 친밀도가 높을수록 SARA는 사용자와 원만한 관계를 구축했고 사용자가 SARA의 추천 결과를 받아들일 확률도 높아졌습니다. 이것이 지금까지 우리가 파악한 주요 결과이며, 앞으로도 데이터를 계속 분석해 나갈 예정입니다.”

교육을 비롯한 새 영역으로 확장

SARA의 역할은 이제 막 시작된 것으로 보입니다. 지금까지 Articulab에서 개발한 다른 '사회 인식 인공지능' 애플리케이션에는 리소스가 부족한 공립학교 아동에 대한 지원, 학습 개선에 매우 중요한 것으로 판명된 또래 간 공동작업 촉진, 고기능 자폐아 및 아스퍼거 증후군을 겪고 있는 아동이 상호적 사회성 기술을 연습하여 또래 간 관계를 향상하도록 지원하는 등의 교육 내용이 포함되었습니다.

인간-컴퓨터 상호작용 연구소(Human-Computer Interaction Institute)의 박사 과정 학생이며 'Rapport-Aware Peer Tutor'(RAPT) 프로젝트의 책임자인 마이클 마다이오씨는 '인간 대 인간'의 동료 간 과외에서 수집한 데이터에 따르면 "공동작업하는 학생 간의 친밀감은 작업 참여, 문제 해결, 더 나아가 학습과 밀접한 관련이 있다”고 말합니다. 즉 공동작업은 사회적으로 모두에게 도움이 될 수 있습니다.

학습에 있어 친밀감 이해에 대한 연구를 교육용 애플리케이션으로 발전시키면서 학생의 학습을 지원하는 기능 이상의 능력을 가진 도구를 제공하고자 한다고 마다이오씨는 언급합니다. “학습 플랫폼이라면 이미 시중에 나와 있습니다. 하지만 교육 연구 결과에 따르면 학생들은 그저 숫자를 계산하기만 하는 정보 처리 기계가 아닙니다. 학생들에게는 사회적인 부분이 존재하죠. 또한 학습에 있어 다른 학생과 유대 관계를 형성하는 일이 중요합니다. 이러한 관계는 가상 교사가 피드백을 제공할 때 역시 중요합니다. 학생에게 틀렸다고 말해야 하는 상황에서 가상 교사는 어떻게 대처해야 할까요? 아마 처음에는 보다 정중하고 직접적이지 않은 방식으로 접근하며 충격을 완화하려 하겠지만, 시간이 지나 어느 정도 관계가 형성되면 학생에게 실질적으로 도움이 되는 구체적인 피드백을 보다 직접적으로 제공할 수 있게 됩니다."

가상 교사 도입의 결과가 좋으면 “학생이 다시 찾을 가능성”을 높일 수 있으며, 이는 학생들의 참여도 만큼이나 중요하다고 그는 덧붙여 말합니다. “학생이 계속 도움을 청할지 여부뿐만 아니라 가상 교사와 상호작용할 경우 어떻게 행동하는지, 더욱 적극적인지, 학습 목표와 불안감을 나누면서 보다 편안하게 느끼는지 또한 중요한 문제입니다.” 이는 다른 모든 것과 마찬가지로 시간이 흐르면서 쌓여야 하는 유대감과 같은 것입니다. 그러나 놀라운 일은 SARA를 통해 입증된 대로 이러한 유대감이 실제로 구축될 수 있다는 사실입니다.

지금까지 교육 애플리케이션에 대한 반응은 긍정적이었습니다. 그러나 마다이오씨는 이렇게 말합니다. “아직 학교 내 배포가 완료되지 않은 상태입니다. 올해 목표한 과제 중 하나는 대규모 배포의 본질을 파악하는 것입니다.” 연구팀에서는 독해력이 부족한 학생을 위해 숙제 도우미 또는 읽기/쓰기 교사를 제공하는 등 향후 배포를 어떤 방법으로 진행할지 고민 중입니다다.

카네기 멜런 대학교 차원에서는 아직 가상 과외 시스템을 도입할 계획이 없지만, 연구팀에서 학생들이 캠퍼스에서 예정된 모임을 찾도록 도와주거나 이벤트 추천 등을 제공하는 개인 비서를 구현할 수도 있습니다. 아마도 Articulab의 가장 야심 찬 목표는 주중 4일 회의뿐만 아니라 연중 무휴로 여러 도메인에서 작동할 수 있는 SARA 버전을 만드는 것입니다. 무한한 가능성으로 가득 찬 멋진 아이디어를 생각하는 것은 도전적이지만 매우 흥미진진합니다.

"학생이 계속 도움을 청할지 뿐만 아니라 가상 교사와 상호작용할 경우 어떻게 행동하는지, 더욱 적극적인지, 학습 목표와 불안감을 나누면서 보다 편안하게 느끼는지 또한 중요한 문제입니다."

Michael Madaio, 박사 과정 학생, 인간-컴퓨터 상호작용 연구소

여기에서 가입하고 최신 정보, 유용한 정보, 리소스 등을 받아보세요.