Han började berätta om hur han nyligen förlorat sin far sin mor och sin bror och att det nu är han som står på tur i sin familj. Men å andra sidan har han blivit alltmer övertygad om att han kommer att dö samtidigt som alla andra, när oansvarigt skapad artificiell superintelligens löper amok.
Hotbilden om människans kommande status som grönsak handlar inte om att vi skulle sluta tänka när AI tar över och gör tänkandet åt oss. Hotet är mycket värre än så. Den handlar istället om Max Tegmarks beskrivning om hur en superintelligent AI skulle uppleva oss. Den skulle inte se oss som osmarta grodor eller myror. I jämförelse med en superintelligent AI är vi så långsamma att den snarare skulle uppleva oss som växter. Kapabla att reagera, förmögna att anpassa oss efter förändring. Men oerhört långsamt. Så långsamt att vi nästan står still.
Utvecklingen av AI går snabbt. För fem år sedan trodde forskarna att det skulle ta 30 år för AI-utvecklingen att gå så långt som den nu har kommit. Den oro jag känt inför detta har hittills varit vag, både beträffande förlopp för och resultat av en eventuell katastrof. Hur skulle det kunna gå till och vad skulle konsekvenserna kunna bli? Max Tegmarks sommarprogram har gjort hotbilden mycket tydligare för mig. Och det framstår som skräckinjagande troligt att någon av hans alternativa hotbilder realiseras, med tanke på hur långsam (eller snarare obefintlig) reaktionen har varit på de varningar som inte bara kommit från kritiska forskare utan även från ledningarna för de ledande företag som håller på att utveckla AI i konkurrens med varandra. Vad AI-reglering beträffar tycks mänsklighetens ledare redan reducerade till grönsaksstatus.
Max Tegmark listar tre olika sorters hot från AI. Ett av dessa hot handlar om illivillig användning av en lydig AI, som skulle användas för att utradera hela eller delar av mänskligheten. Tegmark berättade om en forskare han träffat som börjat använda AI för att utveckla mediciner som svårligen skulle kunna ha skapats utan AI. Men under arbetet slog det honom att han utvecklat ett tveeggat svärd. Genom små förändringar av ingångsvärdena skulle samma AI kunna användas för att leta efter kemiska eller biologiska substanser som är motsatsen till mediciner. Så kan man exempelvis utveckla nya virus som är dödligare än några vi känner till. Covid dödade bara en liten bråkdel av dem som smittades, långt under en procent. Smittkoppor dödade kring 30 procent av de smittade, när de härjade. En AI-utvecklad farsot skulle kunna vara dödligare än så.
Ett annat hot Tegmark tog upp handlade om hur människan helt enkelt skulle kunna konkurreras ut av AI när de företag som använder AI, som ersätter både anställda och ledning konkurrerar u t de företag som inte gör det. Till slut får vi en värld som inte är vår. Vi reduceras till "de långsamma korkade köttklumpar" vars väl och ve kanske bryr sig om. Eller finner irrelevant.
Slutligen finns risken med missriktad AI som har andra mål än vi har och är bättre på att nå dem. Och än så länge är problemet med att säkerställa att vi behåller kontrollen över en artificiell superintelligens olöst. Och en superintelligent AI kommer att vara suveränt fokuserad på sina mål, oavsett konsekvenserna exempelvis för oss. Tegmark uttryckte det som att:
"AI är en extrem psykopat."
I jämförelse med dessa hot så framstår ju ofta aktualiserade problem med AI, exempelvis som ett redskap för fuskande studenter, som tämligen oförargliga. AI som vi verkligen har kontroll över skulle kunna skapa en fantastisk utveckling för mänskligheten. Men då är det ju inte viktigt att vi inte fastnar i en mardröm innan dess.