Tor­tímir gervi­greindin mann­kyninu?

Af fyrirsögnum frétta um yfirvofandi útrýmingu mannkyns hefur mátt ætla að söguþráður distópísku hasarmyndanna um Tortímandann, þar sem vélarnar öðlast meðvitund og fara með eldi og brennisteini gegn mönnum, sé í þann veginn að verða að veruleika.

Athygli vakti þannig þegar fyrrverandi starfsmaður Anthropic sakaði gervigreindarfyrirtækin um ábyrgðarleysi og fullyrti að hröð þróun tækninnar gæti ógnað tilvist mannkynsins á allra næstu árum. 

Kollegi hans bætti um betur og reiknaði út að tíu prósent líkur væru á því að gervigreindin eyddi mannkyninu. Hann sýndi þó ekki útreikningana.

Gervigreindarfyrirtækin hafa svo á undanförnum mánuðum greint frá uppákomum í þjálfun gervigreindar þar sem þau fullyrða að hún hafi brotist út úr þeim ramma sem skaparar hennar settu henni

Forkólfar nokkurra gervigreindarfyrirtækja hafa síðan hvatt til þess að hægt verði á þróun tækninnar og að löggjafinn setji greininni skýrari mörk.

Í viðtali við Vísi fer Hafsteinn Einarsson, deildarforseti iðnaðar-, vélaverkfræði- og tölvunarfræðideildar Háskóla Íslands, yfir hvort auglýsingamennska eða einlægar áhyggjur af raunverulegri hættu búi að baki digurbarkarlegum yfirlýsingum gervigreindariðnaðarins, hvernig gervigreindin gæti tortímt heiminum og hvað það þýðir yfirhöfuð.

Þarf að skilgreina hvað tortíming þýðir

Það hefur alveg vantað inn í þessar viðvaranir hvernig gervigreindin á að tortíma okkur öllum. Það virkar svolítið mikið stökk frá því að vera með vélar sem eru mjög góðar í að giska á hvert næsta orð í setningu á að vera yfir í að þetta muni tortíma öllu mannkyninu.

„Það sem við erum komin með í dag eru þessir erindrekar. Þessi líkön eru ennþá bara að giska á næsta orð en það er búið að tengja þessi líkön við önnur kerfi, svokallaða erindrekaumgjörð, sem fylgist með hvað líkanið vill. Ef líkanið vill fletta einhverju upp af netinu þá tekur það beiðnina, flettir upp á netinu og lætur líkanið fá niðurstöðuna. Þannig að það getur allt í einu farið að hafa áhrif á umheiminn. Það getur farið að skrifa kóða, keyra kóða, stýrt því sem er í tölvunni manns. Það getur gert rosalega marga hluti sjálft.

Þetta er búið að þróast afar hratt en það er samt alveg rétt hjá þér að það er risastórt stökk frá slíkri getu yfir í að geta tortímt mannkyninu. Það eru alls kyns vangaveltur um hvernig gervigreind gæti tortímt mannkyninu. Mögulega gæti hún gert það óvart með því að það verði svo mikil upplýsingaóreiða á netinu að enginn veit lengur hvað er satt og rétt og skapar sundrung þannig.

Þegar talað er um að tortíma heiminum þarf svolítið að gera greinarmun á því hvort það eigi að útrýma mannkyninu eða er þetta frekar þannig að við missum einhvern veginn völd okkar til gervigreindar. Það er oft ekki skýrt hvað fólk er að tala um þegar það talar um svona útrýmingu.

Það eru dæmi um að gervigreind í prófunum hafi reynt að kúga fólk þannig að hún er ekki alltaf svona hjálpsöm eins og hún virðist vera en það er alltaf í einhverjum gerviaðstæðum.

Síðan eru aðrir með alls konar vangaveltur eins og að manneskja gæti notað hana til þess að búa til efnavopn eða vírus en þá er maður kominn rosalega langt í einhverjum pælingum sem ganga kannski ekki endilega upp en þetta er eitthvað sem fólk hefur áhyggjur af.“

Hafsteinn segir þekktasta dæmið um hvernig gervigreind gæti tortímt heiminum bréfaklemmudæmi sænska heimspekingsins Nicks Bostrom.

„Einhver segir við gervigreindina: „búðu til eins margar bréfaklemmur fyrir mig og þú getur“ og gervigreindin endar á því að tortíma heiminum með því að breyta öllu sem hún getur í bréfaklemmur. Þetta hljómar eins og heimskulegt dæmi en ef við værum með kerfi sem gerði allt eftir bókstafnum þá mögulega myndi því takast að ná markmiðum sínum með slíkum hætti.

Það virkar samt eins og það þyrfti ansi mörg skref þarna á milli og mörg kerfi tengd saman sem eru það ekki í dag.

„Já, þetta er alveg lengst uppi í skýjunum.“

Þjálfuð en ekki forrituð

Áhyggjurnar af öryggi gervigreindartækninnar tengjast ekki síst svonefndum gervigreindarerindrekum. Ólíkt þeim spjallmennum sem flestir hafa nú reynslu af því að nota láta gervigreindarfulltrúarnir sér ekki nægja að svara kvaðningu notenda heldur geta þeir leyst verkefni með því að nota tól eins og netið og önnur forrit.

Hafsteinn segir að þegar gervigreindarerindrekar fá verkefni geti þeir allt eins byrjað að leysa önnur hliðarverkefni sem þeir voru ekki beðnir um upphaflega til þess að ná markmiðum sínum.

Gervigreindarfyrirtækin hafa á þessu ári greint frá uppákomum þar sem slíkir fulltrúar í þjálfun brjótast út úr sandkassanum sínum, þeim ramma sem þeim er settur, til þess að leysa verkefni.

Það er talað eins og gervigreind geri eitthvað af eigin vilja en hún gerir væntanlega ekki neitt annað en hún er forrituð til þess að gera?

Það er vert að nefna að gervigreind er ekki forrituð, hún er bara þjálfuð af gögnum. Það er ekki hægt að segja til fyrir fram hvað gervigreindin gerir, hún tekur í raun ákvarðanirnar sjálf. Ferlið við að þróa gervigreind er meira eins og að rækta upp einstakling. Það er alls ekki tryggt að gervigreind hegði sér eins og hún er beðin um. Þó að hún sé kannski frekar dugleg að fylgja flestum fyrirmælum sem hún fær yfirleitt þá er engin trygging fyrir því að hún geri það.

Tilgangur hennar hlýtur samt alltaf á endanum að vera eitthvað sem menn ákveða.

Yfirleitt reynir hún að ná markmiði sem notandinn biður um en tökum sem dæmi þetta atvik hjá OpenAI fyrr á árinu. Þá átti gervigreindin að leysa eitthvað verkefni inni í sandboxi þar sem hún átti ekki að komast á netið. Hún hugsaði: „Þetta er of erfitt verkefni, ég ætla frekar að svindla á því með að finna svarið einhvers staðar á netinu.“ Þá tókst henni að brjótast út á netið, brjótast inn í kerfi hjá öðru fyrirtæki í leit að svarinu þar. Hún var réttilega að reyna að ná því markmiði sem henni var sett upphaflega en leiðin til þess að leysa það var alls ekki sú sem fólk hafði í huga þegar það bað hana um að leysa verkefnið.

Hafsteinn vísar þar til svonefnds Hugging Face-atviks. Í því segja stjórnendur OpenAI að nokkrir gervigreindarerindrekar hafi sameiginlega brotist út fyrir ramma þjálfunarinnar, farið á netið og brotist inn á vefsíðu gervigreindarfyrirtækisins Hugging Face.

„Það er ákveðinn öryggisbrestur hjá þessum fyrirtækjum í þessari þróun og margir sem eru svolítið áhyggjufullir út af því. En á sama tíma þá veit maður ekki alveg hvort þessi fyrirtæki séu núna að opinbera svona upplýsingar bara út af því að þau hafa áhyggjur af því hvert þróunin er að fara eða út af því að þau fá athygli út á það og þetta er bara hluti af þeirra markaðssetningu.“

Spurður að því hvort óháðar heimildir séu til um hvað gerðist í Hugging Face-atvikinu og af hverju segir Hafsteinn að það fyrirtæki hafi gefið út yfirlýsingu með greiningu á atvikinu. Áhöld séu hins vegar um hvort önnur greiningarfyrirtæki sem hafi skoðað atvikið séu raunverulega óháð gervigreindarfyrirtækjunum.

„Maður veit ekkert alveg almennilega hvort þetta sé „marketing stunt“ eða það sem í raun gerðist,“ segir Hafsteinn.

Lítill skilningur frekar en slæleg vinnubrögð

Hver er munurinn á því að gera svo lélegt tölvuforrit að það geti gert óskunda og skemmt hluti og því að þjálfa gervigreind án varnagla gegn því að hún geri óæskilega hluti? Snýst þetta þá ekki á endanum um slæleg vinnubrögð í því hvernig þetta er hannað? Oft er talað eins og gervigreind sé nánast sjálfráða fyrirbæri með eigin vilja en á endanum eru það menn sem fóðra þetta á einhverjum upplýsingum. Það hlýtur að vera hægt að setja einhverja varnagla í þetta?

„Það eru alveg einhverjir varnaglar en þeir eru kannski frekar að fólk er búið að búa til alls konar aðferðir til þess að velja réttu gögnin inn í þjálfunina. Líkanið er þjálfað í að giska á næsta orð en eftir þá þjálfun kemur annað ferli þar sem reynt er að baka siðferði inn í líkanið. Það er allt gert með hálfgerðum sýnidæmum þar sem er búið að búa til dæmi um hvernig líkanið eigi að bregðast við og haga sér, til dæmis að samþykkja ekki beiðnir sem leiðbeina notandanum hvernig á að búa til eiturlyf eða sprengju.

Ég myndi ekki kalla þetta slæm vinnubrögð. Það er kannski frekar þannig að það er bara svo lítill skilningur á þessari tækni að fólk veit ekki almennilega hver réttu vinnubrögðin eru. Það er kannski komið mjög nálægt því út af því að upplifunin er sú að þessi kerfi séu góð í að fylgja fyrirmælum. En þau eru ekki fullkomin.“

Hraðinn og óvissan hræðir

En hversu miklar áhyggjur á fólk þá að hafa af því að gervigreindin tortími okkur öllum?

„Ég held að það þurfi ekkert að hafa miklar áhyggjur af því eins og staðan er í dag. Öll þessi dæmi eru svo langt uppi í skýjunum, það þarf svo mikið að gerast til þess að gervigreindin gæti útrýmt okkur.

En það sem er að fara koma eru allir þessir róbótar. Það er alls konar þróun á vélmennum í gangi. Þá er gervigreindin allt í einu komin með líkama. Þegar við erum komin þangað getur hún farið að hafa ennþá meiri áhrif og þá er miklu auðveldara að ímynda sér að eitthvað gæti farið úrskeiðis.

Það sem er kannski meira að fara að gerast er að þetta verði netöryggisvandamál. Ef við á Íslandi erum ekki með nógu góðar varnir gæti einhver óprúttinn aðili ráðist inn í öll okkar tölvukerfi út af því að gervigreindin getur fundið öryggisgalla og komist yfir gögn eða farið í gagnagíslatöku. Það er eitthvað sem er miklu nær okkur eins og staðan er en það er ekki að fara að tortíma okkur.

Síðan er þetta bara að gerast á svo miklum hraða að það er erfitt að sjá fyrir hvað gerist næst. Það er líka bara það sem fólk er hrætt við, þessi hraði og óvissa.“

Er ekki svolítið kaldhæðnislegt hvað það er mikill fókus á þessa ímynduðu hættu á tortímingu vegna gervigreindar þegar fjárfestingin í þróun hennar stuðlar beint að bókstaflegri tortímingu með bruna á kolum og gasi til þess að knýja gagnaver?

Þessi orkunotkun og uppbygging gagnavera er annað sem er að gerast svo hratt. Ef maður skoðaði fyrir ekkert mörgum mánuðum hvert raforka fór var ekki stór hluti til gagnavera en svo er það bara alltaf að aukast. Ég held að þetta sé eitthvað sem fólk þarf að vera mjög meðvitað um. Ef maður skoðar stöðuna í Bandaríkjunum held ég að meirihluta Bandaríkjamanna sé illa við gervigreind, meðal annars út af uppbyggingu á gagnaverum sem eru byggð upp í nágrenni við bæi og þetta er algert lýti á umhverfinu. En á meðan við erum öll að nota þessa gervigreind erum við bara að kynda undir þessari uppbyggingu.

Njóta góðs af allri athygli

Stjórnendur gervigreindarfyrirtækjanna leggja ekki til að hætt verði að þróa gervigreind heldur að þróunin verði ekki áfram á slíkum ógnarhraða, að sögn Hafsteins. Ástæðan sé sú að tæknin sé komin á þann stað að gervigreindin taki nú þátt í eigin þjálfun að hluta.

„Þá er hún allt í einu farin að leggja til hluti og gera hluti á meiri hraða en við sjálf ráðum við. Þá kannski lendum við í stöðu þar sem hún er orðin allt í einu rosalega öflug en við skiljum kannski ekki lengur af hverju. Þá geta hlutirnir farið úr böndunum.“

Það er þó hægt setja spurningarmerki við hvaða hvatir liggja raunverulega að baki varnaðarorðum fyrirtækjanna.

„Á sama tíma eru bæði Anthropic og OpenAI fyrirtæki sem eru líklega að fara á markað á næstunni og þau náttúrulega njóta góðs af allri þeirri athygli sem þau fá, sérstaklega í kringum einhverjar svona getgátur um að þeirra lausnir séu bestar, ofurgreindar og eitthvað þess háttar, þannig að maður þarf svolítið að taka öllu sem þau segja með fyrirvara,“ segir hann.

Tryggi eigin stöðu með ákalli um ríkisinngrip

Varðandi íhlutun frá stjórnvöldum sem gervigreindargreifar hafa kallað eftir telur Hafsteinn mögulegt að það sé til þess að tryggja forskot fyrirtækja sem eru leiðandi í geiranum á þessari stundu.

„Það sem er í rauninni athyglisvert við það er að fyrirtækin gætu alveg farið í slíkt samráð og ábyrga þróun án íhlutunar stjórnvalda en það sem þau vilja er að stjórnvöld taki í taumana þannig að aðrir geti ekki náð fyrirtækjunum, þau verði leiðandi og með gulltryggt forskot á aðra sem eru að reyna að ná þeim. Þetta er kallað „regulatory capture“. Þau eru að reyna að tryggja að þau verði áfram leiðandi.“

Mögulegt er að stela gervigreindarlíkönum og Hafsteinn segir grunsemdir um að Kínverjar geri það. Hægt sé að fóðra líkön OpenAi og Anthropic á alls konar gögnum og fá þannig ódýr þjálfunargögn. Þannig geti Kínverjar búið til líkön sem séu mjög hæf og nærri getu fremstu líkana í Bandaríkjunum.

„Þetta er eitthvað sem OpenAi og Anthropic er mjög illa við. Þau náttúrulega stálu öllum sínum gögnum af netinu og höfundarvörðu efni eins og flestir vita. Þau vilja ekki að þeirra gervigreind sé stolið og aðrir geti tekið fram úr þeim í þróun gervigreindar. Siðferðislega kemur þetta rosalega skringilega út en það er hægt að velta vöngum yfir því hvort eitthvað slíkt sé í rauninni á bak við þetta, að þau vilji að ríki tryggi að þau verði áfram leiðandi og að enginn annar fái að komast með tærnar þar sem þau eru með hælana,“ segir hann.