Jarenlang kon AI-troep welig tieren, maar nu is er eindelijk een goed uitgeruste vijand

Als invasieve exoten doken teksten en video’s van machinale makelij de afgelopen jaren op in tal van domeinen van de samenleving. Moderne taalmodellen maakten massaproductie van tekst, ontwerp en computercode mogelijk. Soms was dat handig, en zo nu en dan zelfs emancipatoir omdat het mensen kon helpen zich te uiten. Maar veel mensen hielden er toch ook een wrang gevoel aan over. Want wat is nog de waarde van content, als het in een handomdraai door een machine gegenereerd kan zijn?

Overal waren de gevolgen zichtbaar. Diploma’s leken aan inflatie onderhevig, door de immer onbeantwoorde vraag in hoeverre AI verantwoordelijk was geweest voor de papers die studenten hadden moeten inleveren. Door AI vormgegeven posters en logo’s rukten op in het straatbeeld. Wetenschappers betogen zelfs dat laagwaardige, met kunstmatige intelligentie gemaakte content (inmiddels bekend onder de term AI-slop) leidt tot „epistemische vervuiling” die onze kennisstructuren ondermijnt. Als AI-slop welig blijft tieren, waarschuwen ze, kan het menselijke creativiteit verdrukken en het maatschappelijk debat beïnvloeden.

Niet gek dus dat AI-slop een gehaat symbool is van deze tijd, waarin kunstmatige intelligentie rap gemeengoed is geworden.

Gek is het evenmin, dat er een tegenbeweging is ontstaan die eropuit is de machine achter de content bloot te leggen. Sterker: de tijd dat mensen generatieve AI stiekem en ongemerkt voor hun karretje konden spannen, lijkt goeddeels voorbij. AI-slop heeft namelijk voor het eerst in zijn prille bestaan een serieuze ‘natuurlijke’ vijand te duchten. Detectieprogramma’s bestaan al jaren, maar hadden door hun onbetrouwbaarheid een slecht imago. De afgelopen maanden zijn ze zoveel beter geworden dat steeds meer mensen op de conclusies – AI of mens? – durven te vertrouwen.

AI-detectie is dus in de mode. De breed gedeelde behoefte aan transparantie kreeg vorige maand officiële bekrachtiging toen de transparantieverplichtingen van de Europese AI-verordening ingingen. Onder die wet moeten AI-ontwikkelaars machinale output nu als zodanig herkenbaar maken: met AI-gegenereerde tekst, beeld en geluid moeten ‘machineleesbare’ watermerken en metadata krijgen, zodat ze niet langer ongemerkt kunnen doorgaan voor menselijk werk. Zo wil de Europese Commissie „vertrouwen en integriteit” cultiveren in het informatie-ecosysteem. Mensen moeten weten dat ze met AI te maken hebben, zodat ze geïnformeerd kunnen kiezen waar ze hun tijd en geld in steken, en welke geluiden ze versterken.

Ook de grote socialemediaplatforms zijn AI-slop zat. Na er een tijdje collectief om te hebben gelachen, lijkt de magie van filmpjes waarin Cristiano Ronaldo de haren van Lionel Messi afscheert wel uitgewerkt. Dat is niet in de laatste plaats omdat het er zoveel zijn. Op LinkedIn waren van april tot en met juni vier op de tien posts langer dan 250 woorden volledig door chatbots als ChatGPT, Grok en Gemini gegenereerd. Dat blijkt uit onderzoek van AI-detectiebedrijf Pangram naar meer dan een miljoen berichten op diverse platforms. Uit ander onderzoek bleek vorig jaar dat YouTube-feeds van nieuwe gebruikers voor minstens 21 procent uit laagwaardige AI-content bestonden.

Inmiddels is de grote schoonmaak — noem het een detox — begonnen. LinkedIn noemde AI-slop een „topprioriteit” en introduceerde een knop om ogenschijnlijk AI-gegenereerde posts te ‘verklikken’. Instagram kondigde deze week labels aan om AI-gegenereerde profielen als zodanig herkenbaar te maken: „We hebben gehoord dat mensen het niet leuk vinden om erachter te komen dat een profiel dat aanvankelijk menselijk leek, AI-gegenereerd blijkt te zijn.” Ook Snapchat nam maatregelen: het stopte met aanbevelen van „volledig door AI-gegenereerde content”, zodat de machine niet langer de plek zou innemen van „authentieke, menselijke content”.

Pangram

Voor wie niet blind op AI-labels durft te vertrouwen, biedt Pangram inmiddels soelaas. In 9.999 van de 10.000 gevallen herkent het AI-gegenereerde tekst, zegt de New Yorkse start-up. Gebruikers kunnen tekst kopiëren en plakken en Pangram geeft dan aan of de maker mens of machine moet zijn geweest, of een product van beide. Onafhankelijke onderzoekers van de Vrije Universiteit Brussel deden recent onderzoek naar AI-detectieprogramma’s, waar Pangram als beste uit kwam. De belangrijkste bevinding was misschien wel dat de onderzoekers geen valse beschuldigingen ontdekten. Dat was bij detectietools doorgaans een terugkerend probleem, zegt Marijke van Vlasselaer, die het onderzoek mede uitvoerde, tegen NRC.

AI-tekst heeft zo z’n trekjes. Bekende voorbeelden zijn de lange gedachtestreepjes — zoals deze. Het is niet zomaar een trucje — het is een patroon, een handtekening, een tell die zich telkens weer laat zien, zoals deze zin die door Anthropics chatbot Claude is gegenereerd. AI-tekst bevat stilistische en semantische patronen die detectiesoftware kan herkennen. Pangram is getraind op grote hoeveelheden menselijke en machinale tekst om die patronen nauwkeurig te kunnen herkennen. Het doel, zegt medeoprichter Max Spero, die zichzelf de „slopschoonmaker” noemt, is authenticiteit terug te brengen op het internet en daarbuiten.

Door die goede reputatie is Pangram een geliefd gereedschap geworden in de strijd tegen stiekem AI-gebruik. Substack heeft Pangram in juli officieel geïntegreerd. Elke stuk op dit Amerikaanse blogplatform kan nu worden gecontroleerd op AI-gebruik. Topman Chris Best schreef dat hij daarmee de vertrouwensrelatie tussen auteurs en hun publiek wil herstellen. „Platforms die nepheid belonen, dragen bij aan een race to the bottom.”

Ook opiniemakers worden in toenemende mate door wantrouwige lezers gecheckt op stiekem AI-gebruik. Na een reeks buitenlandse gevallen van AI-gegenereerde opiniestukken in toonaangevende media, namen deze week de makers van AI-nieuwsbrief AI Report de proef op de som. Ze haalden de opiniestukken die vijf Nederlandse kranten, waaronder NRC, afgelopen maand publiceerden door Pangram. Een vijfde van de dataset bleek door AI gegenereerd. „Dat is zes keer meer dan in Amerikaanse kranten”, schreef AI Report. „Wanneer vind jij AI-teksten acceptabel?”

Grondwet verduidelijken

De vraag blijft of blind vertrouwen op de Pangram-score verstandig is. Ondanks de hoge gemeten nauwkeurigheid, barst het online van de voorbeelden van valse positieven. In een veelzeggend experiment liet een Amerikaanse docent de Amerikaanse grondwet (1787, vóór ChatGPT) door Pangram controleren. Het origineel was volledig door de mens geschreven, stelde het detectieprogramma vast. De docent vroeg vervolgens aan Claude spelling en grammatica naar hedendaagse standaarden te actualiseren, en Pangram mat één procent AI. Toen Claude ten slotte de gehele grondwet „verduidelijkte”, stelde Pangram vast dat-ie nog maar voor 24 procent door een mens was geschreven.

Het voorbeeld laat zien dat Pangram, ondanks die belofte authenticiteit te bevorderen, niet altijd meet wat het zegt te meten. Aan de Amerikaanse grondwet schreven 55 mannen mee. Ze vergaderden er zes dagen per week over, en na vier maanden lag er een conceptversie. De grootst mogelijke menselijke inspanning ging eraan vooraf, maar zodra taalmodel Claude de tekst herschrijft zodat die beter leesbaar is, wordt de menselijke inbreng bijna volledig tenietgedaan. Er zijn scenario’s denkbaar waarin dat mechanisme nadelig uitpakt voor, bijvoorbeeld, mensen die niet in hun moedertaal schrijven en daarom de hulp van taalmodellen inschakelen.

Daarom mag de Pangram-score in het onderwijs nooit als eindoordeel fungeren, betoogt de Brusselse onderwijsfilosoof Van Vlasselaer. „We kunnen niet toestaan dat een taalmodel beslist of een student een diploma verdient. Dat is niet eerlijk.” Wel vindt ze dat de technologie nu goed genoeg is om beleid mee te voeren. „Maar daar moet dan altijd een mens bij betrokken zijn, die de tekst kritisch bekijkt en met de auteur in gesprek gaat. Stiekem gedrag is nooit goed. Ik hoop dat dat nu wegvalt.”

Geef cadeau





Deel





Mail de redactie