Tálsýn um hugsun Þorsteinn Siglaugsson skrifar 15. júní 2025 15:32 Snemma í júní birti Apple Machine Learning Research nýja rannsókn á stórum mállíkönum (Large Language Models), sem vakið hefur verðskuldaða athygli og bendir til að rökleg geta mállíkana sé takmarkaðri en margir hafa talið. Mállíkön og rökleg líkön Rannsakendur bera saman getu „venjulegra“ mállíkana og þróaðri líkana sem markaðssett hafa verið undir heitinu Large Reasoning Models, sem þýða mætti sem stór rökleg mállíkön. Til skýringar falla líkön á borð við ChatGPT 3.5 og 4 í fyrri flokkinn, en líkön á borð við ChatGPT o1 í þann síðari. Titill rannsóknarinnar er „The Illusion of Thinking – Understanding the Strengths and Weaknesses of Reasoning Models via the Lens of Problem Complexity“. Þetta mætti þýða þannig: „Tálsýn um hugsun: Styrkleikar og veikleikar röklegra mállíkana skoðaðir í ljósi flækjustigs úrlausnarefna.“ Báðar gerðir mállíkana byggjast á sömu grunnvirkninni; að spá fyrir um næsta orð í setningu á grundvelli líkinda sem byggjast á þjálfunargrunni líkansins. Það sem hin svonefndu röklegu líkön hafa umfram þau upprunalegu er að þau eru þjálfuð til að beita ytri aðferðum, t.d. keðju hugsana (Chain-of-Thought), til að gera niðurstöður þeirra traustari. Niðurstöður Apple benda til að aukin stærð mállíkana muni ekki geta leitt til þess að þau öðlist raunverulega rökhugsun og jafnframt að það að tala um rökleg mállíkön sé í besta falli ónákvæm orðanotkun. Þótt þau kunni að virðast hugsa séu þau í raun ófær um að beita óhlutbundinni hugsun heldur takmarkist geta þeirra við flækjustig þeirra dæma sem er að finna í þjálfunargrunninum. Hæfni til að leysa rökfræðileg vandamál prófuð Til að bera saman getu líkananna notuðust höfundarnir við fjórar röklegar gátur sem sjá má á skýringarmynd sem fengin er úr ritgerðinni. Allar gáturnar snúast um að prófa óhlutbundna rökhugsun. Fyrsta gátan, „Tower of Hanoi“, snýst til dæmis um að færa hringina til, einn í einu, þannig að aldrei sé stærri hringur ofan á smærri, þar til þeir raðast eins upp á þriðja pinnanum og þeir gera í upphafi á þeim fyrsta. Verkefnið er að gera þetta með eins fáum tilfærslum og mögulegt er. Þriðja gátan, „River Crossing“ samsvarar þekktri íslenskri vísnagátu: Hvernig flutt skal yfir á úlfur lamb og heypokinn? Ekkert granda öðru má, eitt og mann tók báturinn. Gáturnar fjórar sem vísindamenn Apple notuðu til að prófa röklega getu líkananna. Efsta línan sýnir upphaflega stöðu, neðst er lokastaðan þegar þrautin er leyst og í miðjunni dæmi um milliskref. Myndin er úr greininni sem vitnað er til. Í tilrauninni voru gáturnar gerðar flóknari og flóknari og geta líkananna til að leysa þær borin saman. Þau réðu jafn vel við gáturnar í sinni einföldustu mynd og almennu líkönin voru raunar fljótari að leysa þær. Við aukið flækjustig kom fram munur á getunni, röklegu mállíkönunum í vil. En þegar gáturnar voru orðnar mjög flóknar hættu báðar gerðir líkananna alfarið að ráða við þær, þar var enginn munur. Þessar niðurstöður eru talsvert ólíkar niðurstöðum prófana með stærðfræðiþrautum sem gjarna hafa sýnt gríðarmikinn mun á getu þessara tveggja gerða mállíkana og jafnvel að röklegu líkönin standi sig umtalsvert betur en doktorsnemar. En niðurstöður Apple benda til mun meiri takmarkana þegar kemur að óhlutbundinni rökhugsun. Veigamiklar takmarkanir Höfundar varpa fram þeirri tilgátu að takmarkandi þátturinn hér sé fjöldi dæma um úrlausnir á sambærilegum gátum í þjálfunargrunni líkananna, þ.e. að þótt líkönin virðist beita rökhugsun séu þau í raun bara að spá fyrir um úrlausnir út frá fyrri úrlausnum sem þau hafa þegar vitneskju um. Þegar er vitað að mállíkön geta lært og jafnvel myndað með sér nýja hæfni, einfaldlega vegna aukinnar stærðar og flækjustigs. Ritgerð Michals Kosinski við Stanford háskóla, „Theory of Mind Might Have Spontaneously Emerged in Large Language Models“ (2023) fjallar um hvernig ChatGPT líkönin öðluðust hæfni til að setja sig inn í hugarheim annarra - beita svonefndri hugarkenningu (Theory of Mind) - án þess að neitt breyttist nema umfang þjálfunargrunnsins og breytufjöldi í líkönunum. En rannsókn Apple gefur til kynna að ólíklegt sé að líkönin geti öðlast raunverulega rökhugsun með aukinni stærð. Þar sem rökhugsun er forsenda sjálfstæðrar ákvarðanatöku og gagnrýnins mats á eigin ályktunum vekur þetta þá spurningu hvort almenn gervigreind (General Artificial Intelligence), líkön sem ráða við allt sem maðurinn ræður við og jafnvel betur, sé mun fjær því að vera handan við hornið en margir hafa talið. Hagfræðingur og sérfræðingur í hagnýtingu gervigreindar. Viltu birta grein á Vísi? Sendu okkur póst. Senda grein Þorsteinn Siglaugsson Gervigreind Mest lesið Heiðursgestur Viðreisnar vill heimsveldi Hjörtur J. Guðmundsson Skoðun Skapandi menntun skilar raunverulegum árangri Bryngeir Valdimarsson Skoðun Sex ára sáttmáli Davíð Þorláksson Skoðun Styrkjum stöðu leigjenda Kristján Þórður Snæbjarnarson Skoðun Framtíðarskipulag Keldnalands er ekki útópía – og þaðan af síður dystópía Birkir Ingibjartsson Skoðun Af hverju kynjafræði? Og hvaða greinar hafa fengið svipaðar mótbárur í gegnum tíðina? Guðrún Elísa Friðbjargardóttir Sævarsdóttir Skoðun Áskorun til ríkisstjórnarinnar: Innleiðum birgðaskyldu á eldsneyti Halla Hrund Logadóttir Skoðun Háskólasamfélagið geri skyldu sína strax, stjórnvöld hafa brugðist Auður Magndís Auðardóttir,Elí Hörpu og Önundar,Eyrún Ólöf Sigurðardóttir,Helga Ögmundardóttir,Íris Ellenberger,Inga Björk Margrétar Bjarnadóttir,Katrín Pálmad. Þorgerðardóttir Skoðun Stjórnendur sem mega ekki stjórna Stefán Vagn Stefánsson Skoðun Þúsundir kusu Sönnu Anna Bentína Hermansen Einarsdóttir,Ármann Hákon Gunnarsson,Baldvin Björgvinsson,Brynja Guðnadóttir,Haraldur Ingi Haraldsson,Jón Hallur Haraldsson,Kolbrún Erna Pétursdóttir,Ólafur H. Ólafsson,Rakel Hildardóttir,Sigrún Jónsdóttir Skoðun Skoðun Skoðun Skapandi menntun skilar raunverulegum árangri Bryngeir Valdimarsson skrifar Skoðun Sex ára sáttmáli Davíð Þorláksson skrifar Skoðun Af hverju kynjafræði? Og hvaða greinar hafa fengið svipaðar mótbárur í gegnum tíðina? Guðrún Elísa Friðbjargardóttir Sævarsdóttir skrifar Skoðun Stjórnendur sem mega ekki stjórna Stefán Vagn Stefánsson skrifar Skoðun Stokkhólmseinkenni sem við ættum að forðast Aðalsteinn Júlíus Magnússon skrifar Skoðun Eflum iðnlöggjöfina og stöðvum brotin Hilmar Harðarson skrifar Skoðun Pjattkratar taka til Þorsteinn Sæmundsson skrifar Skoðun Sumt er bara ekki hægt að rökræða Ása Lind Finnbogadóttir skrifar Skoðun Vaxtamunarviðskipti láta aftur á sér kræla Jökull Sólberg Auðunsson skrifar Skoðun Áskorun til ríkisstjórnarinnar: Innleiðum birgðaskyldu á eldsneyti Halla Hrund Logadóttir skrifar Skoðun Rétt skal vera rétt um gatnamót við Höfðabakka og Bæjarháls Dóra Björt Guðjónsdóttir skrifar Skoðun Háskólasamfélagið geri skyldu sína strax, stjórnvöld hafa brugðist Auður Magndís Auðardóttir,Elí Hörpu og Önundar,Eyrún Ólöf Sigurðardóttir,Helga Ögmundardóttir,Íris Ellenberger,Inga Björk Margrétar Bjarnadóttir,Katrín Pálmad. Þorgerðardóttir skrifar Skoðun Þúsundir kusu Sönnu Anna Bentína Hermansen Einarsdóttir,Ármann Hákon Gunnarsson,Baldvin Björgvinsson,Brynja Guðnadóttir,Haraldur Ingi Haraldsson,Jón Hallur Haraldsson,Kolbrún Erna Pétursdóttir,Ólafur H. Ólafsson,Rakel Hildardóttir,Sigrún Jónsdóttir skrifar Skoðun NATO riðar til falls en hvað þýðir það fyrir skilnaðarbarnið Ísland? Steinunn Ólína Þorsteinsdóttir skrifar Skoðun Græðgin í forgrunni Kolbrún Áslaugar Baldursdóttir skrifar Skoðun Greiningar eða lausnir – hvort vegur þyngra? Sigurður Árni Reynisson skrifar Skoðun Sterk staða Hafnarfjarðar Orri Björnsson skrifar Skoðun Bless bless jafnlaunavottun Sigríður Margrét Oddsdóttir skrifar Skoðun Miðstýrt skólakerfi eða fjölbreytni með samræmdu gæðamati? Bogi Ragnarsson skrifar Skoðun Heiðursgestur Viðreisnar vill heimsveldi Hjörtur J. Guðmundsson skrifar Skoðun Veðmál barna – hættulegur leikur sem hægt er að stöðva Jóhann Steinar Ingimundarson skrifar Skoðun Allt leikur í umburðarlyndi – eða hvað? Sigurður Eyjólfur Sigurjónsson skrifar Skoðun Lyfjafræðingar - traustur stuðningur í flóknum heimi Sigurbjörg Sæunn Guðmundsdóttir skrifar Skoðun Þvílíkt „plan“ fyrir íslensk heimili Magnea Gná Jóhannsdóttir skrifar Skoðun Ísland og móðurplanta með erindi Steinunn Ólína Þorsteinsdóttir skrifar Skoðun Háttvirta nýja þingkonan, María Rut Kristinsdóttir Ólafur Grétar Gunnarsson skrifar Skoðun Alþjóðadagur krabbameinsrannsókna – eitthvað sem mig varðar? Halla Þorvaldsdóttir skrifar Skoðun Af hverju ættum við að stunda geðrækt, rétt eins og líkamsrækt? Sigrún Þóra Sveinsdóttir skrifar Skoðun Villa um fyrir bæjarbúum Vilhjálmur Árnason skrifar Skoðun Olíufyrirtækin vissu Guðni Freyr Öfjörð skrifar Sjá meira
Snemma í júní birti Apple Machine Learning Research nýja rannsókn á stórum mállíkönum (Large Language Models), sem vakið hefur verðskuldaða athygli og bendir til að rökleg geta mállíkana sé takmarkaðri en margir hafa talið. Mállíkön og rökleg líkön Rannsakendur bera saman getu „venjulegra“ mállíkana og þróaðri líkana sem markaðssett hafa verið undir heitinu Large Reasoning Models, sem þýða mætti sem stór rökleg mállíkön. Til skýringar falla líkön á borð við ChatGPT 3.5 og 4 í fyrri flokkinn, en líkön á borð við ChatGPT o1 í þann síðari. Titill rannsóknarinnar er „The Illusion of Thinking – Understanding the Strengths and Weaknesses of Reasoning Models via the Lens of Problem Complexity“. Þetta mætti þýða þannig: „Tálsýn um hugsun: Styrkleikar og veikleikar röklegra mállíkana skoðaðir í ljósi flækjustigs úrlausnarefna.“ Báðar gerðir mállíkana byggjast á sömu grunnvirkninni; að spá fyrir um næsta orð í setningu á grundvelli líkinda sem byggjast á þjálfunargrunni líkansins. Það sem hin svonefndu röklegu líkön hafa umfram þau upprunalegu er að þau eru þjálfuð til að beita ytri aðferðum, t.d. keðju hugsana (Chain-of-Thought), til að gera niðurstöður þeirra traustari. Niðurstöður Apple benda til að aukin stærð mállíkana muni ekki geta leitt til þess að þau öðlist raunverulega rökhugsun og jafnframt að það að tala um rökleg mállíkön sé í besta falli ónákvæm orðanotkun. Þótt þau kunni að virðast hugsa séu þau í raun ófær um að beita óhlutbundinni hugsun heldur takmarkist geta þeirra við flækjustig þeirra dæma sem er að finna í þjálfunargrunninum. Hæfni til að leysa rökfræðileg vandamál prófuð Til að bera saman getu líkananna notuðust höfundarnir við fjórar röklegar gátur sem sjá má á skýringarmynd sem fengin er úr ritgerðinni. Allar gáturnar snúast um að prófa óhlutbundna rökhugsun. Fyrsta gátan, „Tower of Hanoi“, snýst til dæmis um að færa hringina til, einn í einu, þannig að aldrei sé stærri hringur ofan á smærri, þar til þeir raðast eins upp á þriðja pinnanum og þeir gera í upphafi á þeim fyrsta. Verkefnið er að gera þetta með eins fáum tilfærslum og mögulegt er. Þriðja gátan, „River Crossing“ samsvarar þekktri íslenskri vísnagátu: Hvernig flutt skal yfir á úlfur lamb og heypokinn? Ekkert granda öðru má, eitt og mann tók báturinn. Gáturnar fjórar sem vísindamenn Apple notuðu til að prófa röklega getu líkananna. Efsta línan sýnir upphaflega stöðu, neðst er lokastaðan þegar þrautin er leyst og í miðjunni dæmi um milliskref. Myndin er úr greininni sem vitnað er til. Í tilrauninni voru gáturnar gerðar flóknari og flóknari og geta líkananna til að leysa þær borin saman. Þau réðu jafn vel við gáturnar í sinni einföldustu mynd og almennu líkönin voru raunar fljótari að leysa þær. Við aukið flækjustig kom fram munur á getunni, röklegu mállíkönunum í vil. En þegar gáturnar voru orðnar mjög flóknar hættu báðar gerðir líkananna alfarið að ráða við þær, þar var enginn munur. Þessar niðurstöður eru talsvert ólíkar niðurstöðum prófana með stærðfræðiþrautum sem gjarna hafa sýnt gríðarmikinn mun á getu þessara tveggja gerða mállíkana og jafnvel að röklegu líkönin standi sig umtalsvert betur en doktorsnemar. En niðurstöður Apple benda til mun meiri takmarkana þegar kemur að óhlutbundinni rökhugsun. Veigamiklar takmarkanir Höfundar varpa fram þeirri tilgátu að takmarkandi þátturinn hér sé fjöldi dæma um úrlausnir á sambærilegum gátum í þjálfunargrunni líkananna, þ.e. að þótt líkönin virðist beita rökhugsun séu þau í raun bara að spá fyrir um úrlausnir út frá fyrri úrlausnum sem þau hafa þegar vitneskju um. Þegar er vitað að mállíkön geta lært og jafnvel myndað með sér nýja hæfni, einfaldlega vegna aukinnar stærðar og flækjustigs. Ritgerð Michals Kosinski við Stanford háskóla, „Theory of Mind Might Have Spontaneously Emerged in Large Language Models“ (2023) fjallar um hvernig ChatGPT líkönin öðluðust hæfni til að setja sig inn í hugarheim annarra - beita svonefndri hugarkenningu (Theory of Mind) - án þess að neitt breyttist nema umfang þjálfunargrunnsins og breytufjöldi í líkönunum. En rannsókn Apple gefur til kynna að ólíklegt sé að líkönin geti öðlast raunverulega rökhugsun með aukinni stærð. Þar sem rökhugsun er forsenda sjálfstæðrar ákvarðanatöku og gagnrýnins mats á eigin ályktunum vekur þetta þá spurningu hvort almenn gervigreind (General Artificial Intelligence), líkön sem ráða við allt sem maðurinn ræður við og jafnvel betur, sé mun fjær því að vera handan við hornið en margir hafa talið. Hagfræðingur og sérfræðingur í hagnýtingu gervigreindar.
Framtíðarskipulag Keldnalands er ekki útópía – og þaðan af síður dystópía Birkir Ingibjartsson Skoðun
Af hverju kynjafræði? Og hvaða greinar hafa fengið svipaðar mótbárur í gegnum tíðina? Guðrún Elísa Friðbjargardóttir Sævarsdóttir Skoðun
Háskólasamfélagið geri skyldu sína strax, stjórnvöld hafa brugðist Auður Magndís Auðardóttir,Elí Hörpu og Önundar,Eyrún Ólöf Sigurðardóttir,Helga Ögmundardóttir,Íris Ellenberger,Inga Björk Margrétar Bjarnadóttir,Katrín Pálmad. Þorgerðardóttir Skoðun
Þúsundir kusu Sönnu Anna Bentína Hermansen Einarsdóttir,Ármann Hákon Gunnarsson,Baldvin Björgvinsson,Brynja Guðnadóttir,Haraldur Ingi Haraldsson,Jón Hallur Haraldsson,Kolbrún Erna Pétursdóttir,Ólafur H. Ólafsson,Rakel Hildardóttir,Sigrún Jónsdóttir Skoðun
Skoðun Af hverju kynjafræði? Og hvaða greinar hafa fengið svipaðar mótbárur í gegnum tíðina? Guðrún Elísa Friðbjargardóttir Sævarsdóttir skrifar
Skoðun Áskorun til ríkisstjórnarinnar: Innleiðum birgðaskyldu á eldsneyti Halla Hrund Logadóttir skrifar
Skoðun Rétt skal vera rétt um gatnamót við Höfðabakka og Bæjarháls Dóra Björt Guðjónsdóttir skrifar
Skoðun Háskólasamfélagið geri skyldu sína strax, stjórnvöld hafa brugðist Auður Magndís Auðardóttir,Elí Hörpu og Önundar,Eyrún Ólöf Sigurðardóttir,Helga Ögmundardóttir,Íris Ellenberger,Inga Björk Margrétar Bjarnadóttir,Katrín Pálmad. Þorgerðardóttir skrifar
Skoðun Þúsundir kusu Sönnu Anna Bentína Hermansen Einarsdóttir,Ármann Hákon Gunnarsson,Baldvin Björgvinsson,Brynja Guðnadóttir,Haraldur Ingi Haraldsson,Jón Hallur Haraldsson,Kolbrún Erna Pétursdóttir,Ólafur H. Ólafsson,Rakel Hildardóttir,Sigrún Jónsdóttir skrifar
Skoðun NATO riðar til falls en hvað þýðir það fyrir skilnaðarbarnið Ísland? Steinunn Ólína Þorsteinsdóttir skrifar
Skoðun Af hverju ættum við að stunda geðrækt, rétt eins og líkamsrækt? Sigrún Þóra Sveinsdóttir skrifar
Framtíðarskipulag Keldnalands er ekki útópía – og þaðan af síður dystópía Birkir Ingibjartsson Skoðun
Af hverju kynjafræði? Og hvaða greinar hafa fengið svipaðar mótbárur í gegnum tíðina? Guðrún Elísa Friðbjargardóttir Sævarsdóttir Skoðun
Háskólasamfélagið geri skyldu sína strax, stjórnvöld hafa brugðist Auður Magndís Auðardóttir,Elí Hörpu og Önundar,Eyrún Ólöf Sigurðardóttir,Helga Ögmundardóttir,Íris Ellenberger,Inga Björk Margrétar Bjarnadóttir,Katrín Pálmad. Þorgerðardóttir Skoðun
Þúsundir kusu Sönnu Anna Bentína Hermansen Einarsdóttir,Ármann Hákon Gunnarsson,Baldvin Björgvinsson,Brynja Guðnadóttir,Haraldur Ingi Haraldsson,Jón Hallur Haraldsson,Kolbrún Erna Pétursdóttir,Ólafur H. Ólafsson,Rakel Hildardóttir,Sigrún Jónsdóttir Skoðun