Hoe voelt het om het middelpunt van een opera te zijn? In de nieuwe VR-opera ‘From Dust’ krijgt iedere bezoeker een persoonlijke AI-wereld voorgeschoteld

De VR-bril is technisch geen nieuwigheid en Van der Aa heeft hem ook al eerder in de zijne gebruikt Acht in 2019. Maar Van stof is groter qua verhaal en qua oppervlakte (je loopt onbewust zo’n zes bij zes meter), en kent nog enkele technische nieuwigheden. NRC kon het werk medio oktober ‘uitproberen’ in een zogenaamde bètatest in een grote zaal op het Westergasterrein in Amsterdam, waar Van der Aa en zijn team de opera testen op een testpubliek en zoeken naar mogelijke definitieve verbeteringen . Vanaf 3 december is de opera bijna twee weken lang te beleven in De Doelen in Rotterdam. Je koopt een kaartje voor een tijdslot, want je beleeft een VR-opera niet samen, maar één voor één.

Wereld voor jou gemaakt

Allereerst wilde Van der Aa geen uniform, lineair verhaal in zijn nieuwe VR-opera. De wereld die je betreedt moet jouw wereld zijn. Daarom is het niet toegestaan ​​om bij binnenkomst de VR-bril direct op te zetten. Eerst krijg je er een onboardingeen vraag: ‘Hoe comfortabel voelt u zich met de mensen om u heen?’ ‘Sluit je ogen en stel je een ruimte voor waar je je niet op je gemak voelt; wat zie je?’ ‘En hoe ziet de plek die jij leuk vindt eruit?’ De medewerker die de vragen stelt, typt uw ​​antwoorden in een computer. Daar zit de echte innovatie: AI verwerkt de antwoorden vervolgens tot beelden en stuurt deze naar de VR-bril die klaar op tafel staat. Als het AI-model het goed heeft gedaan (in de bètatest van NRC je moet de onboarding twee keer opnieuw doen omdat het AI-model de antwoorden verkeerd heeft begrepen), stap je in Van stof langs je eigen werelden, is de bedoeling van Van der Aa. Ook het traject in de virtuele wereld zal voor iedereen anders zijn: het verhaal is niet lineair, maar vertakt zich in keuzes die van invloed zijn op het vervolg van het vierentwintig minuten durende VR-verhaal, zowel in beeld als in muziek.

Een ander verschil met zijn eerdere VR-brilwerk heeft te maken met de zangers die je tegenkomt op je reis door de virtuele wereld. Want, zegt Van der Aa na de test: “Het belangrijkste aan deze opera is dat je je gezien voelt door de zangers. Je moet het gevoel hebben dat er mensen bij je in de kamer zijn.” Hij vroeg de zangers van vocaal ensemble Sjaella om zijn nieuwe muziek te zingen, maar niet alleen voor een microfoon; camera’s en sensoren legden hun gezichten en scriptbewegingen vast. In Van stof de zingende hoofden zijn op een digitaal lichaam geplakt; langdurig millimeterwerk om dat realistisch te maken, zegt Van der Aa.

‘Nog niet alles is mogelijk’

De zangers in de bètatest zijn inderdaad al gemakkelijk herkenbaar. Ze begeleiden je op je pad en staan ​​meerdere keren in een cirkel om je heen. Terwijl je kijkt en rondloopt, verandert het geluid in je hoofdtelefoon realistisch. De onboardingvraag ‘Hoe comfortabel voel je je met de mensen om je heen’ lijkt te bepalen hoe dichtbij ze zijn. Als u aangeeft dat u zich maximaal op uw gemak voelt, komen zij binnen een armlengte naar u toe. Van der Aa: “Bij eerdere tests bleek dat de ervaring voor sommigen zo realistisch was, dat een zanger die je recht aankijkt voor je neus te intens is.” Daarom hebben Van der Aa en zijn team de zangers zo geprogrammeerd dat ze op die momenten langs je heen kijken.

De vierentwintig minuten vliegen voorbij in de test en het is lastig om de ervaring te beschrijven zonder al te veel weg te geven. Daarnaast is één run eigenlijk te overweldigend Van stof in één keer te bevatten: beelden, muziek, Engelse zang, je weg vinden door de virtuele wereld, alles vraagt ​​je aandacht. Maar alleen al het eerste beeld is bijzonder: als je de bril opzet, zie je in je hand een bolletje pixels (je kunt door de bril je handen zien). Die sfeer barst open en vormt de zangers die je bijna de hele ervaring blijven toezingen: soms eentje bijna fluisterend dichtbij, soms zes tegelijk, symfonisch meeslepend, maar op een bepaalde manier toch vluchtig en mysterieus. Onderweg kom je langs de beelden die je tijdens de onboarding hebt aangeleverd: in deze test een concertzaal en een duinlandschap met zeevogels.

Van der Aa heeft er met een team twee jaar aan gewerkt. En op de bètatest ziet hij nog van alles wat hij wil verbeteren: belichting, stereo-effecten, hij wil zelfs dat het zwaaien van de haren van de zangers nog realistischer wordt. “Niet alles is mogelijk, zeker niet grafisch. Wij werken met de best beschikbare computers, maar vooral door al die vertakkingen is de wereld zo groot dat de computers nog niet alles realistisch aankunnen. Dat heeft ook met timing te maken. Een lineair verhaal is makkelijk te timen met beeld en geluid, maar deze wereld biedt allerlei keuzes. De computer moet op elk scenario een antwoord hebben.”

Is zo’n VR-opera maar een grapje, of denkt Van der Aa dat hier een serieuze toekomst in zit? Dit laatste. “Je kunt verhalen vertellen die je voorheen niet kon vertellen. Publiek als protagonist, in een persoonlijke setting, dat is nieuw. Maar ik zou VR niet alleen meer willen laten werken. VR vervangt niet het mooie ritueel van samen in een kamer zitten en luisteren naar een nieuwe opera.”

Om te delen





E-mail de redacteur