loading . . . Sterri vs. StrĂŒmke I fredagens Morgenbladet skriver Aksel Braanen Sterri en litt hĂ„rsĂ„r respons pĂ„ Inga StrĂŒmkes kritikk av tankesmia der han er fagsjef, og deres finansieringskilder. Her er noen av mine tanker, avsnitt for avsnitt.
> ** _âI_**** _forrige ukes Morgenbladet_**** _trekker Inga StrĂŒmke opp en klar demarkasjonslinje mellom vitenskap og tomme spekulasjoner. Langsikts advarsler om at vi innen det neste tiĂ„ret vil kunne fĂ„ svĂŠrt kapable og_**** _farlige KI-systemer_**** _, avfeier hun som uvitenskapelig futurisme. Det hĂžres ut som StrĂŒmke oppfordrer til faglig ydmykhet, men det Ă„ blankt avfeie alvorlig risiko fra avanserte KI-systemer, er et uttrykk for hybris, ikke ydmykhet.â_**
Det er en tvetydighet her jeg syns gjennomsyrer mange av Sterris tekster om KI, i alle fall som jeg har vĂŠrt borti. Han skriver om â _svĂŠrt kapable_ â KI-systemer. Det adjektivet kan forstĂ„s pĂ„ ulike mĂ„ter, og Sterri gjĂžr det ikke alltid sĂ„ klart hva han legger i det. Det gjĂžr det vanskelig Ă„ fĂ„ helt tak pĂ„ hva han egentlig sier, og dermed ettergĂ„ det.
Ă
si at systemene er â _svĂŠrt kapable_ â kan bety (1) at systemene er sĂ„ avanserte at mennesker kan bruke dem til veldig mange ting. Eller det kan bety (2) at systemene utvikler nye evner som systemene selv kan begynne Ă„ bruke pĂ„ egen hĂ„nd, uten menneskelig innblanding. (1) er ukontroversielt. Alle er enige om at dagens KI-systemer er svĂŠrt avanserte og at mennesker (stater, organisasjoner, enkeltpersoner) allerede bruker dem til mye forskjellig, pĂ„ godt og vondt. (2) er kontroversielt. Det forutsetter _ikke_ , som man lett kan fĂ„ inntrykk av, at systemene har fĂ„tt âbevissthetâ. Men det forutsetter at de, hvis de utvikles videre i den retningen de er allerede er pĂ„ vei, kan fĂ„ evnen til Ă„ gjĂžre visse operasjoner som man ellers ikke forventer fra datamaskiner.
Jeg kommer tilbake til hvorfor (2) er mer kontroversielt enn det kan se ut til ved fÞrste Þyekast. Poenget her og nÄ er inntrykket mitt av at Sterris tekster om KI er konsekvent uklare pÄ om han egentlig snakker om (1) eller (2). Jeg ville bare nevne det, for det gjÞr noe med hvordan man kan mÞte det han pÄstÄr. Man fÄr fÞlelsen av at han nÄr som helst kan vri seg unna og si han mente noe annet.
> **_âSynet stĂ„r nemlig i klar motsetning til noen av verdens aller fremste KI-eksperter. Nobelprisvinner Geoffrey Hinton og Yoshua Bengio advarer begge mot katastrofale konsekvenser fra avansert KI.â_**
Dette er en sĂ„kalt appell til autoritet, som egentlig er litt overraskende i denne sammenhengen, i og med at det er StrĂŒmke som i utgangspunktet kommer fra samme fagfelt som Hinton og Bengio, mens det samme ikke gjelder filosofen Sterri. Likevel henviser han ofte til Hinton og Bengio, og omtaler dem omtrent som om de var Paulus og Peter, mens StrĂŒmke ser ut til Ă„ mĂ„tte legitimere sin egen deltakelse i samtalen. Tankevekkende.
Jeg for min del kan godt forstĂ„ hun ikke nevner Hinton. Jeg tenker en ganske enkel kritikk av ham er at han forutsetter at sĂ„kalte ânevrale nettverkâ i komputerende maskiner er lĂžst basert pĂ„ hvordan biologiske nevrale nettverk fungerer. Derfor, tror han, er det en viss mulighet for at de maskinelle nettverkene, nĂ„r de blir mer _avanserte_ og _kapable_ , vil utvikle det samme og kanskje hĂžyere nivĂ„ intelligens som de tilsvarende biologiske nettverkene i hjernene vĂ„re. Dette er i sĂ„ fall noe vi mĂ„ fokusere pĂ„, for det kan bli farlig.
Det er mange mĂ„ter Ă„ kritisere dette pĂ„, ikke minst ved Ă„ bestride premisset om at biologiske og maskinelle ânevrale nettverkâ er like, og derfor kan gjĂžre det samme. Biologiske nevroner kan nemlig gjĂžre flere typer operasjoner enn de elektriske transistorene i datamaskinenes nettverk.
I en tidligere bloggpost har jeg prĂžvd Ă„ beskrive hvordan nevroner gjĂžr to forskjellige typer operasjoner. Den ene typen, som vi kan kalle _narrative operasjoner_gjĂžr at vi kan forestille oss andres perspektiver og motivasjoner, spekulere om Ă„rsaksrekker, og gjette kontrafaktisk hva som _kunne_ ha skjedd dersom noe i verden var annerledes. Den andre typen, som vi kan kalle _komputerende operasjoner_ , gjĂžr at vi kan gjenkjenne mĂžnstre, lagre informasjon fra omgivelsene via sansene, og beregne sannsynligvis korrekte lĂžsninger ved hjelp av logiske utregninger.
Datamaskiner, og de sprĂ„kmodellene vi i dag kaller KI, kan utfĂžre Ă©n av disse typene â _komputerende operasjoner_ â og de kan gjĂžre det mye bedre enn hjernen. De kan lagre flere og mer komplekse data, med mye hĂžyere presisjon, prosessere dem med logiske regneregler, og gjenkjenne mer avanserte mĂžnstre enn vĂ„r hjerne kan. Hjernen er egentlig dĂ„rlig til Ă„ utfĂžre komputerende operasjoner; den er ikke primĂŠrt utviklet for det. Men at maskiner kan gjĂžre _en_ av typene operasjoner som nevroner kan gjĂžre, betyr ikke at de kan gjĂžre _alt_ nevroner kan. Komputerende maskiner kan kun komputere; de kan ikke gjĂžre narrative operasjoner.
Grunnen til dette er at nevroner og transistorer er laget av forskjellig materiale og har ulike energikilder. Komputerende maskiner har transistorer som sender elektroniske signaler pĂ„ felles strĂžmkrets. Nevroner er til sammenligning selvdrevne, hver enkelt med sin mitokondriske energigenerator, og fri til Ă„ lage spontane nye koblinger med hverandre hvor og nĂ„r som helst. Koblingene mellom dem â synapsene â er ikke elektroniske, men fysiske, og har en bestemt retning. Dette er det biologiske grunnlaget for at vi kan forestille oss lange Ă„rsaksrekker, serier med handlinger og hendelser, planlegge og spontant endre planer. Alt dette bunner i fysiske mekanismer, og utgjĂžr forskjellen mellom transistorer og biologiske nevroner.
Disse fysiske forskjellene setter en absolutt ramme for mulighetene for komputerende KI i all fremtid. Kanskje vi vil klare Ă„ utvikle en annen form for KI, en som ikke er komputerende, men som er i stand til Ă„ tenke kontrafaktisk eller spekulere i Ă„rsakssammenhenger, initiere spontane handlinger, eller generere originale planer i ambivalente omgivelser med lite informasjon, osv. Det er ikke umulig at det kan skje. Men ingen investerer penger i det per i dag. Og inntil det skjer er det absolutt ingen fysisk mulighet for at maskiner som komputerer skal kunne gjĂžre alle de tilsvarende operasjonene som biologiske nevroner gjĂžr.
Dette er ikke noe StrĂŒmke har snakket om, sĂ„ vidt meg bekjent, men det forteller litt om hvor Hinton stĂ„r. Selv om han har vĂŠrt viktig for den teknologiske nyvinningen maskinelle ânevrale nettverkâ en gang var, har han ogsĂ„ vĂŠrt med Ă„ grunnlegge paradigmet som ser statistiske sprĂ„kmodeller som en vei til Ă„ gjenskape en menneskelignende âintelligensâ. Og der sier biologien ganske enkelt nei.
Da blir det ogsÄ nÊrliggende Ä kritisere Hinton rent forskningsetisk, siden han vier sÄ mye tid til Ä spekulere om fysisk umulige fremtidsscenarioer, heller enn Ä reflektere kritisk om sitt eget ansvar og sin egen rolle i den rÄdende KI-diskursen.
Slik jeg leser det er det altsĂ„ ikke at StrĂŒmke ikke vil forholde seg til Hinton som ekspert. Det er mer at Hinton ikke har vist noen nevneverdig interesse for de problemstillingene StrĂŒmke, jeg vil si med rette, mener er viktigere enn sci-fi. Ved Ă„ ignorere problemene KI skaper og forsterker her og nĂ„ â for klimaet, for mennesker, for demokratier, og sĂ„ videre â og heller fokusere pĂ„ imaginĂŠre problemer i en imaginĂŠr fremtid, har Hinton meldt seg ut av de etiske diskusjonene StrĂŒmke og mange andre forsĂžker Ă„ lĂžfte frem.
> ** _âBengio er verdens mest siterte forsker og forfatter av_**** _International AI Safety Report_**** _. Rapporten gir et betydelig empirisk og vitenskapelig grunnlag for hypotesen om at vi raskt kan fĂ„ ekstremt kapable og farlige KI-systemer.â_**
Bare for Ă„ ha sagt det: Det Ă„ vĂŠre blant verdens mest siterte forskere trenger ikke bety annet enn at mange har mĂ„ttet forholde seg til noe man har skrevet. Ă
vÊre mye sitert trenger ikke nÞdvendigvis bety at man har mer rett, det kan like gjerne bety at man har mange kritikere. OgsÄ arge motstanderes siteringer teller nemlig med i statistikken. Det indikerer relativ posisjon i et slags marked, ikke sannhetsgehalt.
Men rapporten Bengio har skrevet er et godt eksempel pÄ hvordan det rÄdende paradigmet han har vÊrt med Ä etablere slÄr sammen de to vidt forskjellige nevrale operasjonene jeg nevnte ovenfor, uten Ä ta hensyn til forskjellen mellom nevroner og transistorer.
I seksjonen som omhandler sĂ„kalte âloss of controlâ-scenarier (katastrofer som kan inntreffe i en fremtid der KI lĂžper ustoppelig lĂžpsk), lister rapporten opp flere egenskaper KI-systemer mĂ„ utvikle for at slik scenarier skal kunne inntreffe. Blant disse er Ă„ âutvikle og gjennomfĂžre planerâ, en âevne til Ă„ forestille seg folks overbevisninger, motiver og tankesettâ, Ă„ kunne âbli klar over at den testesâ, eller at sprĂ„kmodellen kan tilpasse seg uventede hindringer underveis i en prosess uten Ă„ miste av syne sine egne langsiktige mĂ„l. I biologien er dette, som vi har sett, evner og ferdigheter som bunner i de nevrale mekanismene vi kan kalle ânarrative operasjonerâ.
Men nĂ„r den samme rapporten senere lister opp tre âdrivereâ for potensiell fremgang og utvikling innen KI som skal fĂžre til at maskinene utvikler disse evnene, er det nettopp infrastruktur for komputering, effektivisering av prosessering, og Ăžkende kapasitet for datamengde og -kvalitet som nevnes. Kort sagt: mer av det samme, mer komputasjon, mer algoritmer, mer data. Men fordi mer komputerende operasjoner ikke kan fĂžre til mer narrative operasjoner, er dette en feil antakelse. Og denne antakelsen ligger til grunn for mye av rapporten. Den ligger skjult under det tvetydige begrepet âkapabilitetâ pĂ„ en mĂ„te Sterri og Langsikt viderefĂžrer i sine offentlige notater og anbefalinger.
> ** _âĂ
kreve at beslutningstagere skal stole mer pĂ„ hennes vurdering enn ekspertene som grunnla forskningsparadigmet som moderne KI utvikles innenfor, faller pĂ„ sin egen urimelighet.â_**
NĂ„ har strengt tatt ikke StrĂŒmke noen gang vĂŠrt i posisjon til Ă„ âkreveâ at noen skal stole mer pĂ„ henne enn pĂ„ andre eksperter pĂ„ samme fagfelt, sĂ„ det er et underlig ordvalg.
Uansett, det interessante her er den ubevisste innrĂžmmelsen av at StrĂŒmke faktisk har et poeng: KI defineres og utvikles i dag innenfor et gitt paradigme som ble etablert ganske langt tilbake i tid, og som er sentrert om sprĂ„kmodeller. Man kan lese StrĂŒmkes tekst som en kritikk av dette paradigmet. Det Ă„ pĂ„peke at paradigmet kan vĂŠre begrensende og kanskje feilslĂ„tt, og Ă„ gi eksempler pĂ„ hvorfor man mener det, er ikke noe som âfaller pĂ„ sin egen urimelighetâ. Det er faglig velfundert uenighet fremfĂžrt av en fagperson pĂ„ feltet.
I motsetning til StrĂŒmke, som, igjen, altsĂ„ er forsker pĂ„ feltet, har Sterri bundet seg til masten i det etablerte paradigmet, og satser pĂ„ at sprĂ„kmodeller snart vil gi datamaskiner ikke-komputerende evner. Han hĂ„per det kanskje ikke, men analysene hans forutsetter at det kan skje med en viss sannsynlighet. For meg virker det som StrĂŒmke klarer Ă„ se det etablerte paradigmets iboende begrensninger tydeligere, og at det er helt legitimt at hun ber de ivrigste entusiastene roe seg litt ned.
> ** _âStrĂŒmke er heller ingen troverdig kilde pĂ„ hvordan de ledende KI-modellene vil utvikle seg. SĂ„ sent som i fjor skrev hun i Aftenposten at_**** _sprĂ„kmodeller er en hype_**** _som bare fremstĂ„r som lovende fordi vi tilskriver bevissthet til systemer som kan kommunisere med oss.â_**
Her skal Sterri prÞve Ä sette inn stÞtet mot en KI-forsker som har pÄpekt hvordan KI, slik det fremstilles i det rÄdende sprÄkmodell-paradigmet, tillegges en haug med egenskaper sprÄkmodeller ikke faktisk har. Og grunnen til at hun ikke bÞr lyttes til er at utviklingen allerede har gÄtt lenger enn hun spÄdde.
OK, da gleder vi oss til Ä se eksempler pÄ hvor feil hun har tatt. Fyr lÞs!
> **_âEtt Ă„r etter ser vi at de samme modellene_**** _lĂžser ulĂžste matematiske problemer_**** _âŠâ_**
Sterri lenker til en populĂŠrvitenskapelig artikkel i _Scientific American_ som beskriver hvordan matematikere har brukt sprĂ„kmodeller i utvidede litteratursĂžk, og slik klart Ă„ samle flere allerede eksisterende lĂžsninger pĂ„ ErdĆs liste over matematiske problemer fortere enn de ellers ville klart. Det er _ikke_ at sprĂ„kmodellene âlĂžserâ disse problemene. Det er hovedsakelig at man ved hjelp av dem kan saumfare nettet for Ă„ oppdage lĂžsninger folk allerede har utarbeidet, men som er bortglemt eller ikke publisert i tidsskrifter. Av og til _kan_ det skje at modellen frembringer en eller annen kombinasjon matematikeren ikke har tenkt pĂ„ eller vĂŠrt klar over. Men, pĂ„peker noen som er intervjuet i artikkelen, de aller fleste âlĂžsningeneâ folk finner ved hjelp av sprĂ„kmodellene, er nonsens, og egentlig mest i veien for seriĂžst arbeid.
Ă
henvise til denne artikkelen, og prosjektet den beskriver, for Ă„ underbygge en pĂ„stand om at â _de samme modellene lĂžser ulĂžste matematiske problemer_ â er veldig frimodig bruk av kildematerialet.
De fleste KI-eksperter er uansett enige om at generelle KI-modeller (eller âde samme modelleneâ, som Sterri kaller dem) ikke kan lĂžse matematiske problemer som krever ny innsikt. Dette kan man lese om i Yoshua Bengios _International AI Safety Report_ fra 2025 (se tabell 1.4 i rapporten), som Sterri nettopp henviste til, og ellers lener seg sĂ„ tungt pĂ„.
> **_ââŠog skriver_**** _nĂŠr 100 prosent av koden_**** _i de ledende KI-selskapeneâŠâ_**
I Sterris eksempel nummer to pĂ„ at StrĂŒmke er upĂ„litelig nĂ„r det gjelder hva sprĂ„kmodeller kan fĂ„ til, viser han til en Fortune-artikkel som sammenfatter pĂ„stander som har kommet fra ganske ulike hold. NĂ„r jeg prĂžver Ă„ ettergĂ„ disse pĂ„standene er det mye i den artikkelen som mĂ„ modereres.
Ăn av personene som siteres er Microsofts CEO Satya Nadella, som i fĂžlge artikkelen Sterri lenker til har sagt at omtrent 30% av koden i selskapet nĂ„ skrives av KI. I fĂžlge Fortune-artikkelen, altsĂ„. Men etter en dobbeltsjekk viser det seg at det ikke helt var det Nadella faktisk sa i den opprinnelige konteksten (se det pĂ„ YouTube, ca. 45:00-45:08). Der sa han at _âkanskje 20-30% av koden i noen av vĂ„re prosjekter er, sannsynligvis, skrevet av softwareâ._
Kanskje. 20-30%. I noen prosjekter. Sannsynligvis.
Ganske langt unna Sterris pĂ„stand om ânĂŠr 100%â.
Da er CEO i Anthropic, Dario Adomei, mye mer fremoverlent pĂ„ sine ansattes vegne. Artikkelen siterer ham pĂ„ pĂ„standen _âJeg har ingeniĂžrer ved Anthropic som sier âjeg skriver ikke kode lengre, jeg bare lar modellen skrive koden, og jeg redigerer denâ._ Denne pĂ„standen fremfĂžrte han opprinnelig foran en forsamling i Davos, fĂžr han erklĂŠrte: _âVi er kanskje 12 mĂ„neder unna at modellen gjĂžr det meste, kanskje alt, som dataingeniĂžrer gjĂžr.â_ Dette var i januar i Ă„r.
Artikkelen forteller at denne vidlĂžftige pĂ„standen fra en CEO som altsĂ„ snakket om sitt eget selskaps fortreffelighet foran verdens rikeste potensielle investorer, understĂžttes av en X-post fra en av hans egne ansatte, Boris Cherny. Ăn ansatt, altsĂ„, ikke flere ansatte. Cherny pĂ„sto her at han personlig ikke lengre koder selv â ja, at han til og med ikke trenger redigere det modellen koder for ham. Han legger imidlertid til et litt selvmotsigende forbehold om at modellen fremdeles gjĂžr mange feil og skriver mye overflĂždig kode, men han bekjenner stor tro pĂ„ at dette vil bedre seg over tid.
Artikkelen nevner i tillegg en annen anonym X-bruker som visstnok jobber i et stort tek-selskap og lar en sprÄkmodell gjÞre det meste av kodingen for seg. Dette er litt vanskelig Ä fÄ bekreftet sÄ lenge vedkommende er anonym.
En CEO som presenterer selskapet sitt for potensielle investorer basert pĂ„ en SoMe-post fra sin ansatte sjefsingeniĂžr, og en anonym X-bruker, som alle legger inn flere forbehold enn det som blir gjengitt i Fortune-artiklene Sterri lenker til, som igjen legger inn flere forbehold enn Sterri til slutt gjĂžr. Mer grunnlag gir han oss ikke for sin pĂ„stand om at KI âskriver nĂŠr 100% av koden i de ledende KI-selskapeneâ. For meg blir det litt tynt.
> **_âModellene er allerede pĂ„ full fart inn i forskningen, som Tore Wig_**** _har beskrevet godt_**** _i denne avisen.â_**
Tredje eksempel Sterri presenterer pĂ„ at StrĂŒmke tar feil nĂ„r hun setter begrensninger for hva sprĂ„kmodeller kan brukes til, er en overraskende begeistret tekst Tore Wig skrev i Morgenbladet om hvordan han âbruker KIâ i forskningen sin, at han syns den produserer like godt arbeid som stipendiatene han veileder, og hvordan han tror alt vil se annerledes ut i fremtiden. Wig fikk et nĂžkternt og subtilt irettesettende svar fra sjefsforsker Thomas M. Surowiec og postdoktor Adrian Kirkeby ved Simula Research Laboratory, som hĂžflig minnet bĂ„de Wig og andre lesere om at man lett kan bli imponert over ting man ikke har greie pĂ„, pĂ„ samme mĂ„te som man ikke blir like lett imponert nĂ„r man er pĂ„ eget ekspertiseomrĂ„de.
NĂ„ kan Sterri godt ha lest dette svaret, og fremdeles pĂ„stĂ„ at KI er pĂ„ âfull fart inn i forskningenâ uten at det egentlig sier noe om hvor nyttige sprĂ„kmodeller egentlig er til noe som helst, for det er i seg selv en ganske innholdslĂžs pĂ„stand.
Men han gir det altsĂ„ som et eksempel pĂ„ at Inga StrĂŒmke er upĂ„litelig nĂ„r hun advarer mot overdreven tro pĂ„ KI-bransjens mantra om at sprĂ„kmodeller snart kan lĂžse enhver oppgave. Og er det noe man merker i forskningssektoren der KI altsĂ„ âer pĂ„ full fart innâ, sĂ„ er det, som forskerne fra Simula Research Laboratory vennlig pĂ„peker, hvor mye ressurser som kreves bare for Ă„ finne ut hva disse modellene egentlig skal kunne brukes til. For dĂ©t er ikke sĂŠrlig Ă„penbart.
Jeg mĂ„ innrĂžmme at de tre eksemplene Sterri gir sĂ„ langt ikke har overbevist meg om at utviklingen gĂ„r sĂŠrlig annerledes enn StrĂŒmke har skissert. Men han har mer pĂ„ lager.
> ** _âEn mer subtil form for hybris kommer til uttrykk i viljen til Ă„ avfeie fremtidsscenarioer som usannsynlige. Det er uklokt gitt hvor mye som har skjedd pĂ„ fĂ„ Ă„r. Filmen_ Her _fra 2013 viser en hypotetisk fremtid der mennesker snakker med og blir forelsket i sjarmerende og intelligente KI-systemer. I dag lever vi i den virkeligheten. Det bĂžr mane til ydmykhet over hvor radikalt annerledes verden kan se ut om ti Ă„r.â_**
Filmen _Her_ fra 2013 forteller historien om en middelaldrende mann som er emosjonelt ute av stand til Ă„ prosessere et krevende samlivsbrudd. Han skaffer seg et avansert dataoperativsystem for Ă„ fĂ„ en âvirtuell assistentâ, og overbeviser gradvis seg selv om at dette systemet utvikler noe som ligner menneskelig bevissthet og emosjon.
Det er godt mulig noen av oss lever i en slik virkelighet, der vÄr interaksjon med teknologi kommer i veien for ekte mellommenneskelige relasjoner. Akkurat dét var nok heller ikke sÄ ukjent da filmen kom ut i 2013, da sosiale medier som Facebook virkelig hadde begynt Ä ta plass i folks liv. Men det er litt spesielt Ä tolke _Her_ som en spÄdom om at datamaskiner skal kunne bli intelligente en dag, heller enn en kritisk og dypt humanistisk samtidskommentar.
Det Sterri egentlig gjÞr her, er Ä snike inn en pÄstand om at datamaskiner i dag faktisk _er_ intelligente og emosjonelle, _fordi_ noen gjennom projisering (som for all del oppleves virkelig for dem det gjelder) _lar seg overbevise om_ at programvaren er intelligent og emosjonell. Det er Ä snu bÄde film og virkelighet pÄ hodet.
Man kunne like gjerne manet til ydmykhet overfor at mange â de siste tiĂ„rene spesielt mange fra teknologifeltene â har kommet med feilslĂ„tte spĂ„dommer om radikalt annerledes verdener like rundt hjĂžrnet. Hybrisen er ikke nĂždvendigvis hos StrĂŒmke her.
Men jeg vil ikke vĂŠre urettferdig. Ă
bruke den filmen som eksempel er kanskje et bomskudd, og ikke selve poenget Sterri ville ha frem. Han vil si noe om at vi ikke kan vite hva fremtiden vil bringe, men at vi mÄ forberede oss pÄ flere tenkelige scenarier. Det er mye som er mulig, og som _kan_ skje, ogsÄ ting som aldri har skjedd tidligere. Det er jo greit nok.
> **_âVitenskapshistorien er full av tilbakeviste pĂ„stander om hendelser som forskere mente var umulig eller futurisme. I 1933 kalte Ernest Rutherford, mannen som selv hadde splittet atomet, ideen om Ă„ utvinne energi fra atomkjerner for «moonshine». Dagen etter leste Leo Szilard om uttalelsen i avisen og fikk ideen om en kjernefysisk kjedereaksjon mens han ventet pĂ„ grĂžnt lys i et London-veikryss. Tolv Ă„r senere falt atombomben over Hiroshima. I mĂžte med en ukjent fremtid bĂžr en ikke vĂŠre skrĂ„sikker pĂ„ hverken det en tror vil skje, eller det en tror ikke vil skje.â_**
Det _er_ sant at vitenskapshistorien er full av slike tilbakeviste pÄstander. Min favoritt er alle de hÞye herrer som rundt 1903 erklÊrte at flymaskiner var en logisk og matematisk umulighet, kun fÄ uker fÞr Wright-brÞdrene lyktes med Ä fly. SÄ hva er forskjellen mellom dette og det Sterri sier?
Jo, forskjellen ligger i hvilke rammer som ligger fast. Vitenskapelig og teknologisk innovasjon, det Ä lykkes med Ä gjÞre noe som aldri fÞr har blitt gjort, skjer fremdeles innenfor en ramme av de eksisterende naturlovene. Dette er forskjellen pÄ kreativitet og magisk tenkning. Magisk tenkning er Ä fantasere om Ä endre rammene for hva som er mulig i den virkelige verden; kreativitet er evnen til Ä oppdage ikke ennÄ realiserte muligheter innenfor de rammene virkeligheten setter.
Vi kommer ikke til Ä vÄkne en dag og oppdage at naturlovene har endret seg radikalt. Komputering kommer ikke til Ä bli noe mer enn komputering, og maskiner som kun kan komputere kommer ikke til Ä kunne gjÞre noe mer enn Ä komputere. Det betyr ikke at vi aldri vil kunne lage maskiner som faktisk replikerer det biologiske nevroner gjÞr. Det kan godt skje. Men Ä tro at det kan skje gjennom dagens komputerende maskiner og sprÄkmodell-paradigmet, er litt som Ä tro at man gjennom alkymi kan lage gull av grÄstein: en besnÊrende fortelling for alkymientusiaster, men i strid med naturlovene.
Sterris dramatiske avslutning pÄ anekdoten om atombomben i Hiroshima gjorde meg fÞrst usikker pÄ hva han mener er lÊrdommen her. Tenker Sterri at man kunne stoppet utviklingen av atombomben, om man bare hadde sett for seg en fremtid der den var en realitet? Hvilken forskjell gjÞr det for befolkningen i Hiroshima?
Men sĂ„ tenkte jeg at Sterri kanskje forestiller seg Langsikt som noen som makter Ă„ se for seg et slags fremtidig KI-Hiroshima, og som Ăžnsker Ă„ forberede beslutningstakere pĂ„ at katastrofen kanskje kommer âmed mindre vi investerer mer politisk, Ăžkonomisk og juridisk i nettopp teknologien som kommer til Ă„ skape katastrofen. KI â Ă„rsaken til og lĂžsningen pĂ„ alle fremtidens problemer.
Jeg ville for min del tro atombomben og den kollektive historiske erfaringen fra de pÄfÞlgende Ärene med opp- og nedrustning like gjerne kunne vÊre en pÄminnelse om at det er _mulig_ Ä endre en teknologisk utvikling som ser determinert ut, og at etikerens rolle ogsÄ bÞr vÊre Ä bidra til Ä _snu_ en farlig utvikling, ikke Ä forberede seg pÄ naturstridige problemer i imaginÊre fremtidige verdener.
For Þvrig er vitenskapshistorien ogsÄ full av tilbakeviste pÄstander om mystiske intelligente egenskaper i maskiner, som til nÄ alltid har vist seg Ä vÊre narrespill og salgstriks.
> ** _âBetyr det at vi famler i blinde? Nei. Om vi benytter oss av ulike kunnskapskilder og anvender beslutningsrammeverk ment for Ă„ hĂ„ndtere usikkerhet, kan vi bli mer beredt pĂ„ det som kommer. En slik triangulering har gjort det mulig for oss Ă„ forutse flere av utviklingstrekkene de siste Ă„rene. For eksempel har vi, siden vi etablerte Langsikt i 2023, advart beslutningstagere om_**** _den agentiske revolusjonen_**** _som nĂ„ er pĂ„ trappene.â_**
FÞrst mÄ jeg si at nÄr jeg leser Bendigos rapport og de av Langsikts notater som Sterri lenker til ved siden av hverandre, sÄ er det ikke fÞrst og fremst Langsikts evne til Ä triangulere ulike kunnskapskilder og analysemetoder som slÄr meg, men snarere en helt framifrÄ evne til Ä sammenfatte og oversette deler av engelsksprÄklige rapporter til relativt lettlest norsk.
Sterri gir ett eksempel pĂ„ at Langsikt har klart Ă„ âforutse flere av utviklingstrekkene de siste Ă„reneâ: En powerpoint-presentasjon (lenket) som kolleger fra Langsikt har gitt til ikke navngitte âbeslutningstagereâ. Selve presentasjonen forutser ikke sĂ„ mye, annet enn at den projiserer en like rask og uforstyrret utvikling pĂ„ alle punkter de neste ti Ă„r som vi har sett de ti foregĂ„ende. Hvor realistisk den analysen er, er det vanskelig Ă„ mene noe om. De fleste kildehenvisninger i presentasjonen er til allerede nevnte Hinton, Bengio og diverse CEOâer i KI-selskaper.
Mer interessant er det at âbeslutningstagerneâ Langsikts utsendte presenterte dette til, viser seg Ă„ vĂŠre HĂžyres ekspertutvalg for kunstig intelligens, nedsatt i 2023. Og kan du gjette hvem som satt i det utvalget? Jo, der satt KI-forsker Inga StrĂŒmke.
SĂ„ nĂ„r Sterri skal gi et eksempel pĂ„ hvor mye bedre enn Inga StrĂŒmke han og Langsikt er til Ă„ forutse utviklingen av KI og sprĂ„kmodeller, sĂ„ henviser han til at kollegene hans har presentert et sammendrag av tek-selskapenes egne prediksjoner til viktige personer som⊠Inga StrĂŒmke.
> **_âEt stridsspĂžrsmĂ„l er om en skal lytte til KI-selskapene nĂ„r en forsĂžker Ă„ forstĂ„ teknologiutviklingen. StrĂŒmke advarer mot Ă„ lĂ„ne retorikken fra selskapene som tjener penger pĂ„ oppblĂ„ste forventninger om teknologiens fremtid. Jeg er langt pĂ„ vei enig med StrĂŒmke at vi mĂ„ ta utsagn fra selskapene med en klype salt. Open AI-sjef Sam Altman er Ă„penbart ingen uavhengig eller etterrettelig kilde. Skal du forstĂ„ hvor teknologien er pĂ„ vei, kan du likevel ikke ignorere all informasjon som kommer fra dem som er de fremste driverne av utviklingen.â_**
En av metodene som har gitt Langsikt denne evnen til Ă„ spĂ„ sĂ„ treff-(eventuelt selv-)sikkert om utviklingen av KI-produkter, er altsĂ„ Ă„ ta for god fisk det meste produsentene selv sier om produktet sitt. Ikke kjempegod fisk, riktignok, men god nok for Langsikt, som lojalt svelger unna âmed en klype saltâ.
Tenk sÄ fint det hadde vÊrt om det faktisk kom pÄlitelig og etterprÞvbar informasjon fra selskapene som er de fremste driverne av KI-utviklingen! Tenk om de for eksempel ville dele noe av denne pÄstÄtte imponerende KI-kodingen Äpent med oss. Tenk om de ville dele informasjon om hvor vann- og energikrevende datasentrene deres er. Tenk om de hadde vist oss hvilke data modellene er trent pÄ. Det kunne virkelig hjulpet oss Ä forstÄ hva denne teknologien er, og hvilket potensiale den har, pÄ godt og vondt.
Men det gjĂžr de ikke. De vil ikke. De villeder, skjuler og lyver.
Den lille informasjonen som kommer fra disse selskapene, og som fagsjef Sterri ikke helt vil ignorere som faktagrunnlag for sine analyser, er informasjon vi mÄ anta er skreddersydd av kommunikasjonsavdelinger for Ä generere interesse fra potensielle kunder og investorer.
Det er derfor vi, som StrĂŒmke understreker, rett og slett mĂ„ vente pĂ„ hva den uavhengige forskningen sier om de teknologiske produktene disse selskapene selger. Selskapene selv tilbyr ingen troverdige eller etterprĂžvbare data eller analyser av produktene de selger. Det kunne de gjort. I stedet overlater de det til eksterne forskere, som mĂ„ kave seg gjennom en jungel av desinformasjon og salgspitcher fĂžr de kan komme til en slags substans de kan forske pĂ„.
For Sterri er selskapenes pÄstander om produktene sine et slags halvveis faktagrunnlag. For andre av oss er de samme pÄstandene mest interessante som informasjon om selskapenes salgsstrategier og syn pÄ egen rolle i verden.
> ** _âJobben til den som prĂžver Ă„ danne seg en best mulig forstĂ„else av utviklingen og dens faremomenter, mĂ„ innebĂŠre Ă„ vekte innsideinformasjonen fra selskapenes ansatte med utenforblikket til uavhengige eksperter. I denne krevende, men nĂždvendige, Ăžvelsen hjelper det Ă„ ha teknisk kompetanse, men slik kompetanse mĂ„ suppleres med innsikter fra andre fagfelt, som Ăžkonomi, statsvitenskap og filosofi, for Ă„ nevne noen.â_**
Ă
slÄ ulike perspektiver sammen for Ä oppnÄ bedre forstÄelse hÞres klokt ut. Fin oppfordring.
> **_âĂ
uttale seg om teknologiutviklingen som ikke-teknolog diskvalifiserer en ikke fra Ă„ komme med gode analyser. Det burde StrĂŒmke vĂŠre enig i, hun som uttaler seg hyppig om hva som er fornuftige forretningsstrategier, god lovgivning og hvilke samfunnskonsekvenser KI vil fĂ„, med sin bakgrunn i fysikk og maskinlĂŠring.â_**
Sterri selv har, i det siste som utdannet filosof med ekspertise pÄ etikk, gjort seg bemerket med kontroversielle meninger om langt flere temaer enn dette (jeg nevner etter hukommelsen): formueskattens fortreffeligheter, abort av fostre med Downs syndrom, strÞmstÞtteordningen, rasebegrepet, religion, finansiering av doktorgrader, det teologiske fakultets eksistensberettigelse, surrogati, aktiv dÞdshjelp, sosialdemokratiet, flyktningpolitikk og skoleverk. Og sikkert mye mer, og ikke noe galt i det.
Det er bare litt pÄfallende at noen med et slikt resumé kommer med smÄ sarkastiske stikk til en annen forsker som de siste par Ärene har vÊrt villig til Ä svare pÄ ting hun blir spurt om i kraft av sin KI-ekspertise i en tid der KI har fÄtt en tendens til Ä bli omtalt som relevant i enhver sammenheng - en tendens Sterri ikke akkurat har lagt seg i selen for Ä dempe. Mitt inntrykk av Sterri de siste 15 Är, fÞr han ble fagsjef, er at han har kommet med mange av sine offentlige ytringer uten at noen spurte ham fÞrst.
> ** _âJeg vil advare norske beslutningstagere mot Ă„ fĂžlge StrĂŒmke i Ă„ forkaste seriĂžse framtidsscenarier som useriĂžs futurisme. De har et ansvar for Ă„ sikre den norske befolkningen mot alle store trusler â selv de truslene frittalende norske KI-forskere ikke forstĂ„r seg pĂ„.â_**
Det fĂ„r man si. En direkte advarsel til norske beslutningstakere om Ă„ ikke lytte til KI-forsker Inga StrĂŒmke. Det var ikke smĂ„tteri, sĂŠrlig etter den opplĂžftende appellen om hvor viktig det er Ă„ lytte til ekspertise fra flere fagfelt. Alle fagpersoner, fra alle fagfelt, har noe Ă„ bidra med i diskusjoner om KI, bare ikke den frittalende Inga StrĂŒmke fra fagfeltet KI.
Det er notert.
Jeg lurer pĂ„ om disse âbeslutningstagerneâ Sterri henvender seg til inkluderer den forrige âbeslutningstagerenâ han henviste til for et par avsnitt siden, ekspertutvalgets medlem Inga StrĂŒmke. Hun fĂ„r i sĂ„ fall en vanskelig oppgave med Ă„ ansvarsfullt se bort fra sine egne upĂ„litelige anbefalinger.
For Ă„ rekapitulere litt her: Det grunnleggende men underkommuniserte premisset i Sterris analyser og anbefalinger er at datamaskiner muligens kan begynne Ă„ utfĂžre operasjoner som krever noe annet enn komputering, som Ă„ manipulere oss eller planlegge hendelser og handlinger. Slike operasjoner kan utfĂžres av biologiske nevroner, men at transistorer skulle gjĂžre det ville vĂŠre i strid med naturlovene slik vi kjenner dem. Mye av analysen hans hviler tungt pĂ„ dette lite troverdige premisset, skjult under en tĂ„ke av tvetydighet skapt ved Ă„ kalle systemene âsvĂŠrt kapableâ.
Et lite tankeeksperiment for Ä illustrere: Hvis noen, i en hypotetisk fremtid, skulle klare Ä fremstille gull av grÄstein, ville det utvilsomt fÄ store konsekvenser for verdensÞkonomien, i alle fall pÄ kort sikt. Men det betyr ikke at vi skal ta det alvorlig som et mulig eller sannsynlig scenario, og investere masse penger i grÄsteinforskning, fordi alkymi-entusiaster sier vi mÄ skynde oss Ä gi dem penger. GrÄstein kan ikke bli gull, derfor er ikke alkymi en trussel for verdensÞkonomien i noen potensiell fremtid overhodet, uansett.
PÄ samme mÄte kan man vite at maskiner som kun komputerer aldri vil kunne utfÞre ikke-komputerende operasjoner, og at sprÄkmodellene disse maskinene kjÞrer derfor aldri pÄ egen hÄnd vil kunne generere autonome spontane handlinger, velge Ä manipulere oss, eller pÄ noen mÄte planlegge Ä ta over verden.
For meg virker det fornuftig Ă„ ikke blande slike fantasi-scenarier med det som finnes av reelle trusler fra KI-utviklingen. Og jeg syns det er helt i orden at StrĂŒmke, eller andre frittalende âbeslutningstagereâ, insisterer pĂ„ at tvetydig spekulasjon om trusler i en imaginĂŠr verden der naturlovene ikke gjelder, aldri bĂžr prioriteres over reelle trusler i virkeligheten her og nĂ„. https://www.stefanfisherhoyrem.com/blogg/sterri-vs-strumke
