Het algoritme bestond al
We zijn bang dat kunstmatige intelligentie straks de samenleving in een algoritme verandert. Daar zijn we te laat mee.
Het algoritme bestond al. Het zat alleen verdeeld over mensen, regels, documenten, contracten, modellen, gewoonten en instituties. Niemand kende de volledige code en toch produceerde het systeem steeds opnieuw bepaald gedrag. Dat klinkt abstracter dan het is. Een ambtenaar volgt een procedure, een manager haalt zijn targets, een aannemer verdedigt zijn belang, een politicus kijkt naar de volgende verkiezingen en een kiezer naar zijn portemonnee. Geen van hen hoeft het eindresultaat te hebben gewild. Toch ontstaat er uit al die afzonderlijke beslissingen een patroon dat hardnekkiger kan zijn dan de mensen die eraan deelnemen.
Daarom helpt het ook zo weinig om alleen het poppetje te vervangen. Je kunt een bestuurder een klootzak vinden, en vaak niet onterecht, maar als de positie, de prikkels en de machtsverhoudingen hetzelfde blijven, komt hetzelfde gedrag vaak in een andere gedaante terug. Daron Acemoglu stelt dat je de dictator kan wegjagen, verkiezingen invoeren en vervolgens kan ontdekken dat de nieuwe machthebber opvallend veel van hetzelfde gaat doen. Niet omdat hij toevallig ook slecht is, maar omdat hij in een systeem terechtkomt waarin dezelfde buit nog steeds te verdelen valt en dezelfde machtsmiddelen nog steeds lonen. Als je alleen het poppetje vervangt, kan het oude gedrag gewoon opnieuw ontstaan.

Wat mij daaraan steeds meer fascineert, is dat zo’n systeem helemaal geen centrale regisseur nodig heeft. Niemand hoeft het geheel te hebben ontworpen en niemand hoeft precies te weten welk patroon hij meehelpt voortbrengen. Dat klinkt al snel abstract, maar ons eigen brein werkt eigenlijk ook zo. In Het slimme onbewuste beschrijft Ap Dijksterhuis hoeveel waarnemen, selecteren en beslissen plaatsvindt voordat het bewuste ‘ik’ zich ermee bemoeit. Er zit niet één klein directeurtje in ons hoofd dat eerst alle informatie ontvangt en daarna opdrachten uitdeelt. Allerlei processen doen hun werk tegelijk en het geheel blijft meestal verrassend goed functioneren.
Grote organisaties werken op vergelijkbare wijze: kennis en beslissingen zijn verdeeld over talloze mensen en systemen, terwijl niemand het geheel overziet. Alleen is hun zenuwstelsel veel slechter. Als ik mijn hand op een hete kookplaat leg, hoeft mijn wijsvinger geen memo op te stellen waarin staat dat mogelijk sprake is van een verhoogde thermische belasting. Het signaal gaat naar mijn ruggenmerg en hersenen en ik trek mijn hand terug. Dat klinkt vanzelfsprekend, maar grote organisaties zijn verrassend slecht in precies dit kunstje.
Bij Rijkswaterstaat kunnen medewerkers bijvoorbeeld heel goed weten dat er met een brug iets niet in orde is, terwijl Rijkswaterstaat dat formeel nog niet weet. Daarvoor moet hun kennis eerst door een hele bestuurlijke omzettingsmachine. Er moet tijd zijn om een document te schrijven, het moet de juiste status krijgen en uiteindelijk moet iemand met voldoende bevoegdheid het ondertekenen. Ook de formulering doet ertoe. Als degene die zijn handtekening moet zetten het woord ‘risico’ te zwaar vindt, kan dat worden afgezwakt tot een aandachtspunt. Buiten is aan de brug niets veranderd, maar binnen de organisatie bestaat ineens een andere werkelijkheid.
Dat wordt nog gekker wanneer de mensen die het probleem kennen geen tijd hebben om zo’n document te maken, omdat ze hun handen vol hebben aan een andere brug waar de schade inmiddels zichtbaar is geworden en de media bovenop zitten. Het eerste risico is dan urgenter geworden omdat het al misgaat, en juist daardoor is er minder tijd om het tweede risico bestuurlijk te laten bestaan. Een organisatie weet dus niet wat haar medewerkers weten. Zij weet wat haar procedures in staat zijn geweest om als kennis te erkennen.
Dat verschil kan behoorlijk lang onzichtbaar blijven, omdat een organisatie anders dan een organisme niet onmiddellijk doodgaat wanneer haar zenuwstelsel slecht werkt. Een lichaam waarin pijnsignalen structureel worden weggefilterd heeft snel een groot probleem. Een ministerie, bedrijf of uitvoeringsorganisatie kan daar tientallen jaren mee doorgaan. Er wordt gereorganiseerd, er komen nieuwe managers en dashboards, de begroting sluit en ondertussen blijft een deel van het lichaam roepen dat de hand nog steeds op de kookplaat ligt.
Daarmee wordt ook duidelijk waarom het zo verleidelijk is om naar de poppetjes te kijken. Iemand moet toch hebben besloten die inspecties weg te bezuinigen, die waarschuwing af te zwakken of dat onderhoud uit te stellen? Natuurlijk. Beslissingen verdwijnen niet zodra je het woord systeem gebruikt. Alleen verklaart de slechtheid of domheid van één beslisser nog niet waarom vergelijkbare beslissingen steeds opnieuw ontstaan.
Neem onderhoud. Vandaag een inspectie schrappen levert vandaag geld op. Vandaag een renovatie uitstellen scheelt vandaag een enorme uitgave. De brug stuurt geen rekening voor het jaar waarin je haar een stukje verder laat verslechteren. De echte rekening komt later, verspreid over noodreparaties, afsluitingen, omrijdend verkeer, vertraging bij bedrijven en een ingreep die inmiddels veel duurder is geworden. We noemen het eerste bedrag een bezuiniging omdat we precies op het goede moment stoppen met tellen.
Daarmee ontstaat een merkwaardig politiek voordeel. Degene die vandaag bespaart kan daar vandaag resultaat mee laten zien, terwijl degene die tien of vijftien jaar later met de schade zit een ander kan zijn. Je hoeft het probleem dus helemaal niet te begrijpen om het toch door te schuiven. Soms is dat juist volkomen rationeel gedrag binnen de positie waarin iemand zit. Dat is ook waarom het onderscheid tussen goede en slechte mensen me niet ver genoeg brengt. Ik kan een bestuurder nog steeds een klootzak vinden. Alleen wil ik daarna weten waarom het systeem zo vaak een aantrekkelijke plek voor precies dat gedrag blijkt te zijn.
Bij Spiral Dynamics denk ik dan aan blauwe Kees en oranje Pim. Kees weet waarom regels ooit zijn ingevoerd en herinnert zich wat er de vorige keer misging. Pim wil vooruit, sneller, goedkoper, efficiënter. Soms heeft Pim gelijk en is Kees gewoon nostalgisch. Maar als een organisatie jarenlang vooral Pim beloont, wordt voorzichtigheid weerstand, redundantie verspilling en ervaring gezeur. Zo kun je institutioneel geheugen wegbezuinigen en het efficiëntie noemen.
Ook contracten hebben zo’n formele en feitelijke werkelijkheid. Op papier wordt slecht presteren bestraft. In de praktijk kan een aannemer ontdekken dat lang genoeg tegenstribbelen loont zodra het conflict bestuurlijk pijnlijk genoeg wordt. Dan zijn de echte regels niet wat in het contract staat, maar wat het systeem uiteindelijk beloont.
Daarom vind ik Pieter Omtzigt zo’n interessant geval. Na het lezen van zijn werk over macht en tegenmacht dacht ik oprecht: wauw, wat een vent. Iemand die zich jarenlang vastbijt in dossiers waar anderen allang zijn afgehaakt. Maar één uitzonderlijk mens is nog geen institutie. Hij kan een systeemfout zichtbaar maken of een beweging in gang zetten; daarna heb je mensen, routines, organisaties en opvolging nodig die ook zonder hem blijven bestaan. Zelfs de Kerk had na Jezus nog wel wat werk te doen.
Dat vind ik eigenlijk een mooie relativering van het genie. Niet omdat uitzonderlijke mensen niet bestaan of niets kunnen veranderen, maar omdat zelfs een uitzonderlijk mens pas werkelijk historische invloed krijgt wanneer zijn ideeën buiten zijn eigen hoofd kunnen voortbestaan. Er zijn leerlingen nodig, teksten, organisaties, rituelen, geld, gebouwen en mensen die het doorgeven aan anderen die de oorspronkelijke bedenker nooit hebben ontmoet. Een idee moet een lichaam krijgen, in de werkelijkheid worden opgenomen.
En daarmee kom ik op iets waar ik los hiervan al langer over nadenk: waar houdt een brein eigenlijk op?
We doen alsof denken iets is wat achter onze schedel plaatsvindt, maar een groot deel van mijn denken komt uit taal die ik niet zelf heb bedacht, boeken van mensen die soms al eeuwen dood zijn, gesprekken met anderen en dingen die ik eerder heb opgeschreven omdat ik ze anders zou vergeten. Taal koppelt breinen aan elkaar; schrift maakt dat geheugen vervolgens los van lichamen. Een bibliotheek bewaart veel meer dan welk individueel brein ooit kan bevatten en een wetenschappelijke discipline kan kennis bezitten die geen enkele levende wetenschapper volledig overziet.
Een organisatie doet hetzelfde. Ze bewaart informatie in mensen, documenten, software, routines en zelfs in gewoonten waarvan niemand meer precies weet waarom ze ooit zijn ontstaan. Soms vergeet zij iets doordat een document wordt weggegooid. Soms doordat een medewerker met pensioen gaat. Soms vergeet zij iets terwijl degene die het weet nog gewoon op kantoor zit.
Daar begint de vergelijking met een organisme interessanter te worden. Niet omdat ‘de mensheid één groot lichaam is’ zo’n diepe constatering is, maar juist omdat onze samenleving zo’n gammel lichaam zou zijn. Haar geheugen is verspreid, haar zenuwen zijn slecht aangesloten en haar organen kunnen jarenlang hun eigen doel optimaliseren terwijl elders schade ontstaat.
Armoede is daar een mooi voorbeeld van. Stel dat een beleidsmaatregel een groep mensen minder besteedbaar inkomen geeft. Het directe effect kan keurig in een koopkrachtplaatje worden gezet. Daarna houdt de berekening op, maar het leven niet. Mensen stellen zorg uit, slapen slechter van geldstress, kopen andere voeding, onderhouden hun spullen later, bouwen schulden op, functioneren minder goed op hun werk of hebben vaker ruzie thuis. Kinderen groeien daarin mee. Een deel van die gevolgen verschijnt jaren later bij een huisarts, school, werkgever, gemeente, politie of verzekeraar.
Ik kan niet zeggen dat één euro minder besteedbaar inkomen precies zoveel verkeersongelukken, ziektes of geweld oplevert. Zo netjes zijn mensen gelukkig niet. Maar het zou merkwaardig zijn om te doen alsof al die gevolgen niets met de eerste verandering te maken hebben omdat ze in een andere administratie terechtkomen. Onze samenleving voelt haar pijn verspreid.
Dat geldt waarschijnlijk ook voor veranderingen die we vervolgens behandelen als cultuurtrends. Ik erger me bijvoorbeeld aan het idee dat jongeren tegenwoordig een soort bejaarden zijn geworden omdat ze minder uitgaan, ongezonder leven of op sommige punten conservatiever en religieuzer worden. Alsof een generatie collectief besloten heeft dat feestjes vermoeiend zijn en duidelijke normen eigenlijk wel gezellig.
Vanuit Spiral Dynamics ligt een andere vraag voor de hand. Een groen waardesysteem vraagt behoorlijk veel van de omstandigheden eronder. Het is makkelijker om autonomie, zelfexpressie, emancipatie en pluralisme centraal te zetten wanneer de oranje belofte redelijk functioneert: als je studeert en hard werkt kom je vooruit, een baan maakt je zelfstandiger, een woning is uiteindelijk bereikbaar en de toekomst voelt niet structureel slechter dan het heden.
Wanneer jongeren zich nog steeds oranje moeten gedragen, ontwikkel jezelf, wees flexibel, presteer, maar vervolgens ontdekken dat bezit steeds sterker samenhangt met het vermogen van hun ouders, begint er iets te knarsen. Dan is een hernieuwde behoefte aan zekerheid, familie, groep, geloof of duidelijke normen niet zomaar een individuele lifestylekeuze. Het kan ook informatie zijn, zoals een pijnsignaal. Alleen zijn we opnieuw niet zo goed in het herkennen.
En toen moest ik ineens weer aan AI denken. Niet aan het gebruikelijke verhaal waarin een superintelligente machine ons komt vertellen wat we moeten doen. Daarin zit nog steeds hetzelfde oude verlangen naar het genie: vroeger hoopten we op de grote leider, ondernemer of wetenschapper, en nu zetten we hem blijkbaar in een serverpark. Dat vind ik niet zo interessant.
Interessanter is dat AI voor het eerst grote hoeveelheden van ons verspreide geheugen tegelijkertijd kan lezen. Een mens ziet één dossier. Een afdeling ziet een paar honderd dossiers. Een ministerie ziet zijn begroting. Een arts ziet de patiënten die bij hem binnenkomen. Een rechter ziet de zaken die uiteindelijk voor hem verschijnen. Een ingenieur ziet de brug. AI kan in beginsel verbanden leggen tussen bronnen die wij organisatorisch allang van elkaar hebben gescheiden.
Dan kun je bijvoorbeeld ontdekken dat een technisch risico twaalf keer informeel of in vroege stukken is genoemd, maar in het uiteindelijke managementrapport nog maar twee keer en in veel mildere taal. Of dat een maatregel op de begroting van het ene ministerie winst oplevert en vijf jaar later bij drie andere publieke systemen kosten veroorzaakt. Of dat een organisatie iedere tien jaar ongeveer dezelfde reorganisatie uitvoert, kennis verliest, vervolgens constateert dat kennis ontbreekt en externe deskundigen inhuurt om haar terug te krijgen.
Dan schrijft AI nog geen beleid. Ze laat eerst zien wat het systeem zelf doet. Dat is een veel vreemdere mogelijkheid dan een chatbot die een beleidsnota maakt, omdat het systeem waarin wij leven zichzelf nu maar zeer gedeeltelijk kan waarnemen.
Daarom moest ik aan Foundation denken. Asimovs psychohistorie is indrukwekkende sciencefiction: het idee dat je niet het individu kunt voorspellen maar wel de beweging van enorme groepen mensen. Vervolgens kijk je naar de werkelijkheid en blijkt het mechanisme helemaal niet zo exotisch. Grote groepen mensen produceren nu ook al patronen die geen individu heeft bedacht. Alleen ziet onze versie van Hari Seldon er vooralsnog vooral uit als een heleboel ambtenaren met Excelbestanden.
Dune stelt daarna een enger probleem. Wanneer je het systeem niet alleen kunt lezen maar ook voldoende goed kunt modelleren, kun je gaan zoeken naar lange paden naar een doel. Niet: verhoog belasting en er is minder ongelijkheid, maar: verandering A maakt B politiek mogelijk, B verandert de prikkels voor C en daardoor ontstaat jaren later ruimte voor D. De tussenstappen hoeven op zichzelf niet eens op het uiteindelijke doel te lijken.
En dan loop je vanzelf tegen The Matrix aan, want wat is het doel eigenlijk? De machines zouden eerst een perfecte wereld voor mensen hebben gebouwd en wij wilden er niet in leven. Dat is natuurlijk sciencefiction, maar het probleem is heel werkelijk. Mensen willen niet één ding. We willen autonomie én verbondenheid, rust én avontuur, gelijkheid én erkenning, veiligheid én vrijheid. We willen een promotie en ontdekken achteraf dat we onze oude baan fijner vonden.
Ook politiek doen we vaak alsof uitgesproken voorkeuren het einde van de analyse zijn. Iemand wil lagere belasting, minder migratie of minder regels. Dat kan allemaal werkelijk zijn wat iemand wil, maar het blijft interessant welke wereld diegene verwacht dat daarachter ligt. En wanneer die wereld na de gekozen maatregel niet verschijnt, was de wens dan onzin of zat er alleen een verkeerde theorie tussen wens en middel?
Daarmee wordt AI ook geen objectieve scheidsrechter die eindelijk ontdekt wat goed voor ons is. Dat is weer het oude verhaal van één centraal brein dat weet wat alle delen nodig hebben. Veel interessanter is het als zij onderdeel wordt van een langer proces waarin de mensheid steeds betere manieren bouwt om informatie buiten individuele hoofden op te slaan en verbanden te leggen tussen delen die elkaar nu nauwelijks kunnen voelen.
Eerst taal. Toen schrift. Boeken, archieven, statistiek, wetenschap en computers. En nu iets dat al dat externe geheugen niet alleen kan bewaren, maar er ook dwarsverbindingen doorheen kan leggen.
Dat klinkt bijna mystiek, en dat vind ik er eerlijk gezegd juist leuk aan. Mensen proberen al duizenden jaren de verborgen orde achter hun wereld te ontdekken. Eerst in sterren, goden en voortekenen, later in geschiedenis, economie, evolutie, psychologie en instituties. Steeds bouwen we nieuwe manieren om patronen te zien die voor één mens te groot zijn.
Het Griekse apokalypsis betekent onthulling: iets wat al bestond wordt zichtbaar doordat de sluier ervoor weggaat. Dat lijkt me een interessanter beeld voor AI dan de zoveelste digitale verlosser uit Silicon Valley. Niet de machine die het algoritme schrijft. Niet het genie dat eindelijk alle sukkels vervangt. Wel een nieuwe manier waarop een verspreid systeem naar zichzelf kan kijken.
En dan kan blijken dat de klootzak inderdaad een klootzak was, maar dat zijn opvolger om dezelfde redenen op dezelfde plek ongeveer hetzelfde ging doen. Dat Kees niet alleen nostalgisch zat te zeuren, maar een stuk geheugen vormde dat nergens anders meer was opgeslagen. Dat een bezuiniging alleen geld bespaarde omdat de rest van de rekening buiten beeld bleef. Dat een risico al jaren bestond voordat de juiste manager bereid was het juiste woord in het juiste document te ondertekenen.
We zijn bang dat kunstmatige intelligentie de samenleving in een algoritme verandert. Het algoritme bestond al. Het zat verdeeld over onze breinen, regels, ideeën, belangen en instituties. Het nieuwe is dat we voor het eerst iets bouwen dat misschien genoeg van die losse delen tegelijk kan lezen om het patroon te zien.
In Zon als maker kijk ik naar de wisselwerking vanuit creatief werk en het dagelijks leven.
..

.
Afbeeldingen:
De afbeeldingen zijn verkregen door ruzie te maken met ChatGPT.
