På Carnegie Mellon University får maskinlæring sociale færdigheder

På Carnegie Mellons Articulab ville man forstå, hvordan robotassistenter kunne samarbejde med mennesker om at udføre opgaver og opbygge relationer i stedet for blot at erstatte menneskelige assistenters arbejde. De brugte Google Cloud Platforms maskinlæringssoftware til at studere robotters interaktion med mennesker og træne deres agenter med social bevidsthed.

Kunstig intelligens får sociale færdigheder

New Champions' årlige møde i 2016 i den kinesiske by Tianjin dannede blandt andet ramme om en bemærkelsesværdig debut for den socialt bevidste robotassistent SARA (Socially Aware Robot Assistant), der kunne interagere med mennesker på en helt ny måde. I stedet for blot at erstatte en menneskelig assistents rolle eller behandle og udlevere oplysninger på en upersonlig måde var SARA anderledes: Intuitiv, venlig, engagerende og udviklet til at "samarbejde" med menneskelige brugere, genkende og reagere på deres ansigtsudtryk, tilegne sig viden om deres præferencer og blive bedre til at udføre opgaverne ud fra de brugere, hun mødte. Hun var også programmeret til at lære visse sociale signaler, nikkede med hovedet, når brugeren talte, og til at forstå variationer i toneleje.

Et halvt år senere i januar 2017 blev projektet præsenteret i Schweiz ved World Economic Forum i Davos, hvor det var den eneste demonstration, der blev vist i Davos Congress Center. SARA fungerede som virtuel personlig assistent og tilbød deltagerne oplysninger om de sessioner, der blev præsenteret, introducerede dem for relevante meddeltagere, anbefalede madsteder og meget mere.

Til at begynde med fungerede SARA som en virtuel personlig assistent med ét bestemt formål: At tilbyde hjælp ved konferencen og interagere med gæsterne. Hun kunne få oplysninger om globale lederes interesser og målsætninger og derefter give nyttige anbefalinger til sessioner, som de kunne være interesserede i at deltage i. SARA kunne oven i købet bruge samtalerne til at opbygge relationer til de enkeltpersoner, der talte med hende, og få flere oplysninger om deres præferencer og mål – og blev dermed bedre til at udføre opgaverne på en effektiv måde ved fremtidige samtaler, fordi hun kunne tilbyde hjælp, der var tilpasset den pågældende person.

Hun blev udviklet af Articulab, et mindre team fra Carnegie Mellon University, hvis mission omfatter studier af menneskelig interaktion i sociale og kulturelle sammenhænge som input til computertekniske systemer, der til gengæld hjælper os med bedre at forstå menneskelig interaktion. Hvordan kommunikerer mennesker med teknologi, og hvordan kan denne kommunikation forbedres med tiden? Det er vigtigt at dyrke sociale bånd, lige som disse bånd er afgørende mellem mennesker. Som folkene bag Articulab har sagt om SARA: "I stedet for at ignorere de socio-emotionelle bånd, der udgør samfundets struktur, er SARA afhængig af disse bånd for at kunne forbedre sine samarbejdsevner".

"Google Cloud Platform sætter fart på forskningen i kunstig intelligens."

Yoichi Matsuyama, ph.d.-stipendiat ved Language Technologies Institute og projektleder for SARA

Brug af Google-værktøjer til udvikling af SARA

Justine Cassell, der er Associate Dean for Technology Strategy and Impact på School of Computer Science under Carnegie Mellon University, står i spidsen for Articulab og var bekendt med Google Cloud Platform (GCP) inden udviklingen af SARA takket være værktøjer og finansiering til andre forskningsprojekter. "Vi havde brugt TensorFlow til en række maskinlæringsopgaver, og det var derfor en naturlig overgang at begynde at bruge GCP til vores seneste projekter om dyb læring", siger Yoichi Matsuyama, der er ph.d.-stipendiat ved Language Technologies Institute og projektleder for SARA. "Vi har også benyttet en række Google-API'er såsom Google Speech API (talegenkendelse) til vores samtaleagenter og dataindsamlingsmodeller med crowdsourcing. "Vi bliver ved med at bruge GCP, efterhånden som SARA udvides til nye domæner og anvendelsesformål. "Vi er stadig i implementeringsfasen", siger han og bemærker, at "GCP accelererer akademisk forskning i kunstig intelligens".

Matsuyama siger, at laboratoriet "i høj grad" bruger Compute Engine, herunder GPU-forekomster med 4 x Nvidia Tesla K80 og TensorFlow. I år har teamet arbejdet med modeller som f.eks. "socialt ræsonnement i opgavesammenhæng baseret på læring med dyb forstærkning" og "socialt betinget udvikling af naturligt sprog".

Som en vurdering af præsentationen ved World Economic Forum, der kan beskrives som SARA 1.0, siger Matsuyama: "Over 250 deltagere fik mulighed for at prøve at bruge SARA i løbet af de fire dage, konferencen varede. Så overordnet set var det en succes. Vi forsøger dog stadig at analysere resultaterne for at se, hvad der var godt og skidt". Og han tilføjer: "En af de primære konklusioner ud fra dataene var, at personlige relationer faktisk har betydning for, hvor effektivt en opgave udføres, og i dette tilfælde påvirkede det, hvordan anbefalingerne blev modtaget. Når der var god kontakt, og SARA etablerede en relation til brugeren, var brugeren mere villig til at acceptere hendes anbefalingsresultater. Det er vores hidtil vigtigste konklusion, men vi er stadig i gang med at analysere dataene".

Udvidelse til nye domæner – herunder undervisning

Det lader til, at SARA's arbejde kun lige er begyndt. Indtil videre er Articulabs "socialt bevidste kunstige intelligens" blevet anvendt i undervisning. Blandt andet er SARA blevet brugt til at støtte børn på offentlige skoler med få ressourcer, til at motivere til samarbejde blandt elever (hvilket har vist sig at være afgørende for bedre læring). Programmet hjælper højtfungerende autistiske børn og børn med Aspergers tilegne sig interaktive sociale færdigheder, hvilket er med til at styrke deres forhold til andre børn.

Michael Madaio, som er ph.d.-studerende ved Human-Computer Interaction Institute og projektleder for projektet "Rapport-Aware Peer Tutor" (RAPT), siger om de data, de har indsamlet fra undervisning mellem mennesker, at "relationen mellem eleverne, der samarbejdede, er stærkt knyttet til deres engagement i opgaven, til problemløsning og i sidste ende til deres læring". Med andre ord kommer det alle til gavn at samarbejde socialt.

Madaio siger, at de vil levere værktøjer, der kan mere end bare at hjælpe elever med at lære, efterhånden som arbejdet med at forstå relationer inden for læring udvikles til brug i undervisningen. "Der findes allerede flere læringsplatforme", siger han, "men forskning i uddannelse viser, at eleverne ikke blot er maskiner, der behandler information og beregner tal. Der er et vist socialt element i læring, der gør, at det er vigtigt at skabe bånd med andre elever. Det sociale element er også værdifuldt, når en virtuel underviser skal give feedback. Hvordan siger underviseren til barnet, at det har begået en fejl? Måske er man mere høflig og indirekte i starten for ikke at virke for hård, men med tiden kan man opbygge et forhold og være lidt mere direkte – og faktisk give dem specifik feedback, der virkelig vil gøre en forskel".

Hvis en virtuel underviser gør det godt, er det "mere sandsynligt, at de vil vende tilbage", tilføjer han, og det er lige så vigtigt som elevernes engagement. "Det handler ikke kun om, hvorvidt eleverne vender tilbage for at få hjælp, men om deres adfærd, når de interagerer med den virtuelle underviser. Er de mere åbne? Føler de sig trygge ved at dele flere af deres læringsmål og bekymringer?". Det er et bånd, der som alle andre skal opbygges over tid. Det ekstraordinære er, at et sådant bånd kan opstå, hvilket SARA har bevist.

Reaktionerne på brugen i undervisningen har hidtil været positive. Men som Madaio siger, "har vi endnu ikke implementeret det på en skole. En del af vores designudfordring i år går ud på at identificere, hvordan en implementering på stor skala skal foregå". De forsøger at forestille sig, hvordan fremtidige implementeringer kan se ud – f.eks. lektiemakkere eller læseundervisere til elever, der har det svært med læsningen.

Selvom der ikke er planer om et virtuelt undervisningssystem på Carnegie Mellon, kan teamet muligvis implementere en personlig assistent, der kan hjælpe eleverne med at få oplysninger om kommende forelæsninger på campus, tilbyde anbefalinger af events og meget mere. Articulabs måske mest ambitiøse mål er at skabe en version af SARA, der ikke kun fungerer ved en firedageskonference, men syv dage om ugen, 24 timer i døgnet og på flere domæner. Det er en udfordrende, men spændende tanke, der byder på grænseløse muligheder.

"Det handler ikke kun om, hvorvidt eleverne vender tilbage for at få hjælp, men om deres adfærd, når de interagerer med den virtuelle underviser. Er de mere åbne? Føler de sig trygge ved at dele flere af deres læringsmål og bekymringer?"

Michael Madaio, ph.d.-studerende, Human-Computer Interaction Institute

Organisationsprofil

Skolen blev grundlagt af Andrew Carnegie i år 1900 under navnet Carnegie Technical Schools og skiftede navn til Carnegie Institute of Technology i 1912, hvor den begyndte at tilbyde fireårige uddannelser. Over halvtreds år senere fusionerede den med Mellon Institute of Industrial Research for at danne det globale forskningsuniversitet Carnegie Mellon University i Pittsburgh, Pennsylvania, der er kendt for sine tværfaglige programmer inden for blandt andet kunst, erhverv, databehandling, teknik, humaniora, politik og videnskab. Institutionen har næsten 14.000 elever fra mere end 100 lande.

Anvendte produkter

Tak for din tilmelding

Fortæl os mere om dine interesser.