Wat te doen als een ingevroren, ouderwetse schurk wordt ontdooid en dood en verderf zaait in een toekomst die daar helemaal niet mee om kan gaan? Dat gebeurt in de strak aangeharkte megastad San Angeles in 2032, een steriele maatschappij waar alles wat niet binnen de moraal past of ook maar een beetje ongezond/leuk kan zijn, is uitgebannen. Boetes voor schelden, seks met de broek aan, geen zout meer in het eten, de billen vegen met schelpjes. Dan wordt de extreem gewelddadige crimineel Simon Phoenix uit cryostase gehaald, en daar zijn de brave dienders van de toekomst niet tegen opgewassen. De enige oplossing tegen het oldschool geweld van Phoenix, is om de ingevroren oldschool politieagent John Spartan dan ook maar weer op te warmen. Vuur met vuur bestrijden, it takes one to know one, dat werk.
Dit is natuurlijk Demolition Man, de film uit 1993 met Wesley Snipes en Sylvester Stallone. Gek genoeg deed het nieuws de afgelopen weken soms denken aan die film. Natuurlijk vanwege de homogene aan technofascisme onderworpen samenleving vol zelfrijdende auto’s, slechts zes jaar van ons af. Maar dat is het niet. Het komt door hoe AI-detector Pangram wordt onthaald als superheld om de uitwassen van de vloedgolf aan AI-gegenereerde teksten tegen te gaan. Een AI als laatste strohalm om iets tegen AI te kunnen doen. Pangram rolt misdadigers op waar onze brave maatschappij niet tegen opgewassen leek. De Haïtiaans-Canadese hitromanschrijver, een vijfde van de masterscripties, genomineerden voor een essayprijs, opiniestukken in sommige kranten, Kamerleden en Rob Jetten zelf. Allemaal ingerekend door agent P. Blijkbaar hebben we met z’n allen afgesproken dat die betrouwbaar genoeg is voor dat werk. Maar net als John Spartan die best wel wat gedragsprobleempjes met zich meenam, kun je ook kanttekeningen bij Pangram plaatsen.
Want hoeveel hebben al die tekstcriminelen nu werkelijk van AI, en wat van zichzelf? De uitgeverij van die Haïtiaans-Canadese schrijver, Thélyson Orélien, heeft hem laten vallen en naar de Prix Goncourt waar hij voor was genomineerd kan hij fluiten. Maar zelf houdt hij vol dat hij geen AI heeft gebruikt. En een van de ex-genomineerden van de Joost Zwagerman Essayprijs had AI gebruikt voor het opzoeken van informatie, en daarbij te veel tekst overgenomen.
Dat zijn geen zwart-witgevallen, zou je zeggen, maar ze worden wel zo behandeld. Telkens wordt geschermd met onafhankelijk wetenschappelijk onderzoek dat onderstreept hoe goed Pangram is. Maar dat onderzoek van de Vrije Universiteit Brussel keek naar slechts veertig menselijke, veertig AI en veertig gemixte teksten. En Pangram kwam daar als beste uit de bus, vergeleken met andere sléchtere AI-detectors. Dat maakt het niet de rechter die we er soms van maken. Het doet denken aan de Heksenwaag, schreef opinieredacteur Barend Last onlangs in NRC. „De weegschaal was destijds een vrij betrouwbaar meetinstrument: stapte je er tien keer op, dan woog je tien keer hetzelfde. Maar ja, dat zegt natuurlijk nog niets over hekserij.”
De kans op ‘false positives’, de onterechte beschuldigingen, is niet nul. Wat je wel zou willen als je op basis daarvan mensen aan de schandpaal wilt nagelen. En hoewel Pangram zelf zegt dat slechts 1 op de 24.000 vals positief is (je zal het maar net zijn), maakt het nogal uit in welke taal je schrijft, blijkt uit het technisch rapport van het bedrijf zelf. In eigen tests werden in het Arabisch, Chinees en Urdu helemaal geen valse positieven gevonden. Dat is wel erg weinig. In het Nederlands, Frans, Spaans en Duits blijkt 1 op de 3.800 vals positief, da’s al een stuk risicovoller. Bij de valse negatieven, AI-werk dat Pangram niet als zodanig herkent, zijn de verschillen nog groter. Zelf zeggen ze dat het 1 op 300 is, maar in het Nederlands ziet Pangram 1 op de 119 AI-stukken niet, en in het Urdu – 70 miljoen sprekers – heeft Pangram 1 op de 19 fout. Tja, als je zoveel door de vingers ziet, heb je ongetwijfeld ook weinig valse beschuldigingen.
Maar goed, stel dat we die cijfers goed genoeg vinden om Pangram te vertrouwen. Dan ben je er natuurlijk nog niet. Hoogleraar computerwetenschappen Felienne Hermans van de VU, die deze week het boek Vierkante Ogen uitbracht over de invloed van software op ons dagelijks leven, zei onlangs in een gesprek in haar kantoor: „Ik kan met vijf regels code een agent programmeren die een AI-tekst eerst naar Pangram stuurt, het bij een te hoog percentage naar ChatGPT stuurt om te herschrijven en dat net zo lang heen en weer stuurt tot Pangram het niet meer als AI herkent. Kost twee minuten werk.”
Je kunt Pangram bovendien zien als moraalloze inquisiteur, die een kil oordeel geeft waar je als mens, zonder dat je precies weet hoe dat oordeel tot stand kwam, vervolgens iets mee moet. Als je het slim speelt, kan je als – ik zeg maar wat – autoritair regime AI-detectie inzetten om onwelgevallige meningen monddood te maken. Voetnoten ingericht met AI? Spellingscheck of grammatica met AI gefixt? Een stuk met AI vertaald omdat je de taal niet machtig bent? De schandpaal staat klaar. Neem een autoritair regime dat heel warme banden heeft met de eigenaren van al die AI-programma’s, en het eind is zoek.
„Ik denk dat ik de toekomst wel leuk vind”, zegt John Spartan aan het eind van Demolition Man. Zijn collega Lenina Huxley (die hij net uitvoerig gezoend heeft) voegt daaraan toe: „Ja, nadat je er alles hebt verwoest.”
Maak NRC jouw voorkeursbron op Google
Bij Google kan je nu zelf aangeven welke nieuwsbronnen jij vaker wil zien in je zoekresultaten.
Meer informatie
Kies NRC als voorkeursbron
