Kabinet van verschrikkingen

De opkomst van de machines en de machtsgreep door kunstmatige intelligentie. Een wereld van volledige surveillance en sociale controle. Nucleaire oorlog en de degeneratie van de beschaving. Veel duistere toekomstvisies, vele jaren geleden geschilderd, stonden vandaag op het punt te gebeuren. Ondertussen kijken we terug en het lijkt erop dat ze nooit hebben bestaan. Weet je het zeker?

Er is een tamelijk stereotiep repertoire van populair dystopische profetieën (over de zwarte visie op de toekomst). Naast de meest voorkomende die verband houden met de vernietiging van de natuurlijke omgeving en hulpbronnen, wordt algemeen aangenomen dat opkomende technologieën schadelijk zijn voor interpersoonlijke communicatie, relaties en de samenleving.

Virtuele ruimte zal op bedrieglijke wijze echte deelname aan de wereld vervangen. Andere dystopische opvattingen beschouwen technologische ontwikkeling als een manier om de sociale ongelijkheid te vergroten, waarbij macht en rijkdom in de handen van kleine groepen worden geconcentreerd. De hoge eisen van de moderne technologie concentreren kennis en vaardigheden in kleine kringen van bevoorrechte individuen, vergroten het toezicht op mensen en vernietigen de privacy.

Volgens veel futuristen kunnen een hogere productiviteit en een grotere zichtbare keuze de kwaliteit van leven van een persoon schaden, stress veroorzaken en banen bedreigen, waardoor we steeds materialistischer over de wereld kijken.

Een van de beroemde technologische ‘dystopiërs’, James Gleick, geeft het ogenschijnlijk triviale voorbeeld van een afstandsbediening voor een tv als een klassieke uitvinding die geen enkel belangrijk probleem oplost en aanleiding geeft tot veel nieuwe problemen. Gleick, die een technologiehistoricus citeert Edward Tenner, schrijft dat de mogelijkheid en het gemak van het wisselen van kanaal met behulp van de afstandsbediening er vooral voor zorgt dat de kijker steeds meer wordt afgeleid.

In plaats van tevredenheid zijn mensen steeds ontevredener over de zenders waar ze naar kijken. In plaats van behoeften te bevredigen, is er een gevoel van eindeloze teleurstelling.

Zullen machines ons op reservering houden?

Zullen we in staat zijn dit ding dat onvermijdelijk is en waarschijnlijk binnenkort zal verschijnen, onder controle te houden? Meer dan kunstmatige intelligentie? Als dit het geval moet zijn, zoals veel dystopische visioenen beweren, dan niet. (1).

Het is moeilijk om iets onder controle te houden dat vele malen sterker is dan wij. naarmate het aantal taken toeneemt. Twintig jaar geleden had niemand geloofd dat ze emoties in iemands stem en gezicht veel nauwkeuriger zouden kunnen lezen dan wij zelf kunnen. Ondertussen zijn de momenteel getrainde algoritmen hier al toe in staat, waarbij ze gezichtsuitdrukkingen, timbre en de manier waarop we spreken analyseren.

Computers maken tekeningen, componeren muziek en één van hen heeft zelfs een poëziewedstrijd in Japan gewonnen. Ze verslaan al heel lang mensen met schaken en hebben het spel helemaal opnieuw geleerd. Hetzelfde geldt voor het veel complexere spel Go.

het gehoorzaamt aan de wetten van steeds snellere acceleratie. Wat AI de afgelopen decennia – met menselijke hulp – heeft bereikt, zal de komende jaren, misschien slechts enkele maanden, verdubbelen, en dan zal het nog maar weken, dagen, seconden duren...

Zoals onlangs bleek, zijn de algoritmen die in smartphones of op luchthavens worden gebruikt om foto's van alomtegenwoordige camera's te analyseren, niet alleen in staat iemand in verschillende frames te herkennen, maar ook uiterst intieme psychologische kenmerken te identificeren. Zeggen dat dit een enorm privacyrisico is, is een understatement. Dit gaat niet over eenvoudig toezicht, het monitoren van elke stap, maar over informatie die ontstaat als gevolg van het uiterlijk van een persoon, over zijn verborgen verlangens en persoonlijke voorkeuren. 

Algoritmen kunnen dit relatief snel leren door honderdduizenden gevallen te analyseren, wat veel meer is dan zelfs de meest scherpzinnige persoon in zijn leven kan zien. Gewapend met zo'n schat aan ervaring zijn ze in staat een persoon nauwkeuriger te scannen dan zelfs de meest ervaren psycholoog, lichaamstaal- en gebarenanalist.

De echte huiveringwekkende dystopie is dus niet dat computers schaken of tegen ons in gaan, maar dat ze onze ziel dieper kunnen zien dan wie dan ook dan wijzelf, vol verboden en blokkades bij het herkennen van die of andere neigingen.

он аск is van mening dat naarmate AI-systemen op steeds grotere schaal beginnen te leren en te redeneren, de ‘intelligentie’ zich ergens kan ontwikkelen diep in weblagen, onopgemerkt door ons.

Volgens een in 2016 gepubliceerd Amerikaans onderzoek heeft kunstmatige intelligentie een kans van 45 procent om de mens binnen de komende 50 jaar in alle taken te overtreffen. Voorspellers zeggen dat AI inderdaad het probleem van kanker zal oplossen, de economie zal verbeteren en versnellen, entertainment zal bieden, de kwaliteit en de lengte van het leven zal verbeteren, ons zal opleiden zodat we niet zonder kunnen leven, maar het is mogelijk dat op een dag, zonder haat, alleen gebaseerd op logische berekeningen, verwijdert ons eenvoudigweg. Het is misschien fysiek niet mogelijk, omdat het in elk systeem de moeite waard is om bronnen te verzamelen, te archiveren en op te slaan die ‘op een dag van pas kunnen komen’. Ja, dit is de hulpbron die we kunnen worden voor AI. Beschermde menselijke reserves?

Optimisten troosten zich met het feit dat er altijd de mogelijkheid is om de stekker uit het stopcontact te trekken. Alles is echter niet zo eenvoudig. Het menselijk leven is nu al zo afhankelijk geworden van computers dat een radicale stap daartegen catastrofaal voor ons zou zijn.

We creëren immers steeds meer besluitvormingssystemen op basis van AI, waardoor ze het recht krijgen om vliegtuigen te besturen, rentetarieven vast te stellen en energiecentrales te beheren – we weten dat algoritmen dit veel beter zullen doen dan wij. Tegelijkertijd begrijpen we niet helemaal hoe deze digitale beslissingen worden genomen.

Er bestaat de vrees dat superintelligente commandosystemen zoals Reduce Congestion hen tot de conclusie zouden kunnen brengen dat de enige effectieve manier om de klus te klaren is... het terugdringen van de bevolking met een derde of zelfs de helft.

Ja, het is de moeite waard om de machine de belangrijkste instructies te geven, zoals "Allereerst: red mensenlevens!" Maar wie weet of de digitale logica dan zal leiden tot de gevangenneming van de mensheid of tot een schuur, waar we misschien wel veilig zijn, maar zeker niet vrij.

Cybercriminaliteit als een dienst

In het verleden speelden dystopieën en beelden van de post-apocalyptische wereld in literatuur en film zich meestal af in het post-nucleaire tijdperk. Tegenwoordig lijkt nucleaire vernietiging niet nodig te zijn voor de catastrofe en vernietiging van de wereld zoals we die kennen, hoewel niet op de manier waarop we ons die voorstellen. , is het onwaarschijnlijk dat het de wereld zal vernietigen zoals in "Terminator", waar het werd gecombineerd met nucleaire vernietiging. Als ze dat deed, zou ze geen superintelligentie zijn, maar een primitieve kracht. Zelfs de mensheid heeft het wereldwijde scenario van een verwoestend nucleair conflict immers nog niet gerealiseerd.

Een echte machine-apocalyps is misschien veel minder indrukwekkend.

Cyberoorlogvoering, virusaanvallen, systeemhacking en ransomware, ransomware (2) verlamt en vernietigt onze wereld net zo effectief als bommen. Als hun schaal groter wordt, kunnen we een fase van een allesomvattende totale oorlog ingaan, waarin we slachtoffers en gijzelaars van machines zullen worden, ook al zijn ze niet verplicht om autonoom te handelen, en is het mogelijk dat mensen nog steeds achter alles staan.

Afgelopen zomer noemde de Amerikaanse Cyberspace and Infrastructure Security Agency (CISA) ransomware-aanvallen ‘de meest prominente bedreiging voor de cyberveiligheid’.

CISA stelt dat veel activiteiten waarbij een cybercrimineel de gegevens van een persoon of organisatie onderschept en versleutelt en er vervolgens losgeld voor afperst, nooit worden gerapporteerd omdat het slachtoffer de cybercriminelen betaalt en niet bereid is problemen met hun onveilige systemen bekend te maken. Op microniveau richten cybercriminelen zich vaak op oudere volwassenen die moeite hebben om onderscheid te maken tussen eerlijke en oneerlijke online-inhoud. Ze doen dit met behulp van malware die is ingebed in een e-mailbijlage of pop-upvenster op een geïnfecteerde website. Tegelijkertijd nemen de aanvallen op grote bedrijven, ziekenhuizen, overheidsinstanties en overheden toe.

Deze laatsten waren vooral doelwit vanwege de gevoelige gegevens die zij bezaten en de kans op hoge losgeldbetalingen.

Sommige informatie, zoals gezondheidsinformatie, is veel waardevoller voor de eigenaar dan andere en kan criminelen meer geld opleveren. Dieven kunnen grote blokken klinische gegevens onderscheppen of in quarantaine plaatsen die belangrijk zijn voor de patiëntenzorg, zoals testresultaten of medicatie-informatie. Als er levens op het spel staan, is er in het ziekenhuis geen ruimte voor onderhandeling. Eén Amerikaans ziekenhuis werd afgelopen november definitief gesloten na de terroristische aanslag in augustus.

Het zal waarschijnlijk in de loop van de tijd alleen maar erger worden. In 2017 kondigde het Amerikaanse ministerie van Binnenlandse Veiligheid aan dat cyberaanvallen zich zouden kunnen richten op kritieke infrastructuur zoals waterbedrijven. En de tools die nodig zijn om dergelijke acties uit te voeren, zijn steeds vaker beschikbaar voor kleinere operators, aan wie ze ransomware-kits zoals Cerber- en Petya-software verkopen en na succesvolle aanvallen een losgeld in rekening brengen. Gebaseerd op cybercriminaliteit als een dienst.

Gevaarlijke aandoening in het genoom

Een van de populaire thema's van dystopie is genetica, DNA-manipulatie en het fokken van mensen - bovendien op de juiste manier 'geprogrammeerd' (door autoriteiten, bedrijven, het leger).

De moderne belichaming van deze angsten is een methode van popularisering CRISPR-genbewerking (3). De mechanismen die het bevat zijn vooral zorgwekkend. gewenste functies forceren in volgende generaties en hun potentieel verspreidde zich naar de gehele bevolking. Eén van de uitvinders van deze techniek, Jennifer Doudna, riep onlangs zelfs op tot een moratorium op dergelijke kiembaanbewerkingstechnieken vanwege de potentieel catastrofale gevolgen.

Laten we ons herinneren dat een paar maanden geleden een Chinese wetenschapper Hij Jiankui kreeg veel kritiek vanwege het bewerken van de genen van menselijke embryo's om ze te immuniseren tegen het AIDS-virus. De reden was dat de veranderingen die hij aanbracht van generatie op generatie konden worden doorgegeven, met onvoorspelbare gevolgen.

Van bijzonder belang zijn de zogenaamde d (gene rewriting, gene drive), d.w.z. genetisch manipulatiemechanisme, dat bestaat uit het coderen van een bewerkingssysteem in het DNA van een bepaald individu CRISPR/CAS9-genoom door het in te stellen om deze variant van het ongewenste gen te bewerken. Dankzij dit herschrijven nakomelingen automatisch (zonder de deelname van genetici) de ongewenste genvariant met de gewenste.

Een ongewenste genvariant kan echter door het nageslacht worden ontvangen als een ‘geschenk’ van de ongemodificeerde andere ouder. Dus de gene drive zorgt ervoor dat je kunt breken Mendeliaanse erfrechtdie aangeven dat de helft van de dominante genen wordt geërfd door de nakomelingen van één ouder. Kortom, dit zal er uiteindelijk toe leiden dat de betreffende genvariant zich over de gehele populatie verspreidt.

Bioloog aan Stanford University Christina Smolkewaarschuwde in 2016 tijdens een panel over genetische manipulatie dat dit mechanisme schadelijke en, in extreme gevallen, gruwelijke gevolgen zou kunnen hebben. Een gene drive heeft het vermogen om te muteren terwijl deze generaties lang doorgaat en genetische aandoeningen zoals hemofilie of hemofilie kan veroorzaken.

Zoals we lezen in een artikel gepubliceerd in Nature Reviews door onderzoekers van de Universiteit van Californië, Riverside, kan dezelfde erfelijke eigenschap, zelfs als deze werkt zoals ontworpen in de ene populatie van een organisme, schadelijk zijn als deze op de een of andere manier in een andere populatie wordt geïntroduceerd. hetzelfde uitzicht.

Er bestaat ook het gevaar dat wetenschappers gene drives creëren achter gesloten deuren en zonder peer review. Als iemand opzettelijk of onopzettelijk een schadelijke gene drive in het menselijk genoom zou introduceren, zoals degene die onze weerstand tegen griep vernietigt, zou dit zelfs het einde kunnen betekenen van de soort homo sapiens...

Het surveillancekapitalisme

Een versie van dystopie die voormalige sciencefictionschrijvers zich nauwelijks hadden kunnen voorstellen is de realiteit van internet, en vooral van sociale media, met al zijn breed beschreven gevolgen die de privacy, relaties en psychologische integriteit van mensen vernietigen.

Deze wereld wordt alleen gekleurd door nieuwere artistieke uitvoeringen, zoals wat we konden zien in de tv-serie Black Mirror, in de aflevering ‘The Dive’ uit 2016 (4). Sjoshana Zuboff, een econoom van Harvard, noemt deze realiteit volledig afhankelijk van sociale zelfbevestiging en volledig ‘gedeprivatiseerd’. surveillance kapitalisme (), en tegelijkertijd de bekroning van Google en Facebook.

4. Scène uit “Black Mirror” - aflevering “Duiken”

Volgens Zuboff is Google de eerste uitvinder. Bovendien breidt het zijn surveillanceactiviteiten voortdurend uit, bijvoorbeeld via ogenschijnlijk onschuldige ‘smart city’-projecten. Een voorbeeld is het project ‘World’s Most Innovative District’ ​​van Sidewalk Labs, een dochteronderneming van Google. pier in Toronto.

Google is van plan om elke minuut gegevens te verzamelen over het leven van bewoners aan de waterkant, hun bewegingen en zelfs hun ademhaling met behulp van alomtegenwoordige monitoringsensoren.

Het is ook moeilijk om een ​​internetdystopie te kiezen die op Facebook uitgesloten is. Het surveillancekapitalisme is misschien uitgevonden door Google, maar het was Facebook die het naar een geheel nieuw niveau bracht. Dit werd gedaan via sociale en emotionele virale mechanismen en de meedogenloze targeting van zelfs niet-gebruikers van het Zuckerberg-platform.

Bewaakte AI, ondergedompeld in virtual reality, levend met UBI

Volgens veel futuristen wordt de toekomst van de wereld en de technologie aangegeven met vijf acroniemen: AI, AR, VR, BC en UBI.

Lezers van MT weten waarschijnlijk goed wat ze zijn en waar de eerste drie uit bestaan. De bekende blijkt ook de vierde te zijn, ‘Zon’, als we begrijpen waar we het over hebben. En de vijfde? UBD is een afkorting van het concept dat 'universeel basisinkomen" (5). Dit is een overheidsvoordeel dat van tijd tot tijd wordt gepostuleerd en dat zal worden verstrekt aan iedereen die van werk wordt bevrijd naarmate andere technologieën, vooral AI, zich ontwikkelen.

5. Universeel basisinkomen – UBI

Zwitserland heeft het idee vorig jaar zelfs in een referendum voorgelegd, maar de burgers hebben het afgewezen uit angst dat de invoering van een gegarandeerd inkomen het land zou overspoelen met immigranten. Het OBI brengt ook een aantal andere gevaren met zich mee, waaronder het risico van het bestendigen van bestaande sociale ongelijkheden.

Elk van de technologische revoluties achter het acroniem (zie ook:) - als het zich verspreidt en zich ontwikkelt in de verwachte richting - heeft enorme gevolgen voor de mensheid en onze wereld, inclusief natuurlijk een enorme dosis dystopie. Er wordt bijvoorbeeld aangenomen dat het vierjarige verkiezingscycli zou kunnen vervangen en zou kunnen leiden tot referenda over talloze kwesties.

Virtuele realiteit is op haar beurt in staat een deel van de mensheid ‘uit te sluiten’ van de echte wereld. Dit gebeurde bijvoorbeeld met de Koreaanse vrouw Chan Ji Sun, die na de dood van haar dochter in 2016 aan een ongeneeslijke ziekte haar avatar sindsdien in VR ontmoet. Virtuele ruimte creëert ook nieuwe soorten problemen, of verplaatst in feite alle oude bekende problemen naar een ‘nieuwe’ wereld of zelfs naar vele andere werelden. Tot op zekere hoogte kunnen we dit al zien op sociale netwerken, waar het voorkomt dat te weinig likes op posts leiden tot depressie en zelfmoord.

Profetische verhalen min of meer

De geschiedenis van dystopische visioenen leert immers ook voorzichtigheid bij het formuleren van voorspellingen.

6. Cover van ‘Islands in the Net’

Het veelgeprezen sciencefictionmeesterwerk van Ridley ScottAndroid-jager» Sinds 1982. Van veel specifieke elementen kun je discussiëren over de vervulling of niet, maar het staat buiten kijf dat de belangrijkste profetie over het bestaan ​​in onze tijd van intelligente, mensachtige androïden, die in veel opzichten superieur zijn aan de mens, nog geen werkelijkheid is geworden.

We zouden bereid zijn nog veel meer profetische treffers toe te staan.”Neuromancers"dat wil zeggen, romans William Gibson sinds 1984, waardoor het concept van "cyberspace" populair werd.

In dat decennium verscheen er echter een iets minder bekend boek (in ons land bijna volledig, omdat het niet in het Pools werd vertaald), dat de tijd van vandaag veel nauwkeuriger voorspelde. Ik heb het over de roman"Eilanden op internet"(6) Bruce Sterling uit 1988, gesitueerd in 2023. Het toont een wereld die is ondergedompeld in iets dat lijkt op het internet dat bekend staat als het "web". Het wordt gecontroleerd door grote internationale bedrijven. ‘Islands of the Net’ staan ​​bekend om hun controle, toezicht en monopolisering van het zogenaamd vrije internet.

Het is ook interessant om militaire operaties tegen online piraten/terroristen te voorzien die zullen worden uitgevoerd met behulp van onbemande luchtvaartuigen (drones). Operators op duizenden kilometers afstand met beveiligde desktops - hoe weten we dit? Het boek gaat niet over het eindeloze conflict met het islamitisch terrorisme, maar over de strijd tegen de krachten die zich tegen de mondialisering verzetten. De wereld van Islands in the Net is ook gevuld met consumentenapparaten die veel op slimme horloges en slimme sportschoenen lijken.

Er is nog een boek uit de jaren 80 dat, hoewel sommige gebeurtenissen fantasierijker lijken, goed onze hedendaagse dystopische angsten illustreert. Dit "Georadar-software", Geschiedenis Rudiego Rucker, dat plaatsvindt in 2020. De wereld, de toestand van de samenleving en haar conflicten lijken ongelooflijk veel op waar we vandaag de dag mee te maken hebben. Er zijn ook robots die bekend staan ​​als boppers en die zelfbewust zijn geworden en naar steden op de maan zijn ontsnapt. Dit element is nog niet werkelijkheid geworden, maar de opstand van de machines wordt een voortdurend refrein van zwarte voorspellingen.

De visies van de boeken op onze tijd zijn ook in veel opzichten opvallend accuraat. Octavia Butler, met name inGelijkenissen van de zaaier"(1993). Het verhaal begint in 2024 in Los Angeles en speelt zich af in Californië dat wordt geteisterd door overstromingen, stormen en droogtes als gevolg van klimaatverandering. Gezinnen uit de midden- en arbeidersklasse ontmoeten elkaar in gesloten gemeenschappen en proberen de buitenwereld te ontvluchten via verslavende drugs en virtual reality-kits. Er ontstaan ​​nieuwe religies en complottheorieën. Een karavaan vluchtelingen trekt naar het noorden om te ontsnappen aan de ecologische en sociale ineenstorting. Er komt een president aan de macht die de campagneslogan ‘Make America Great Again’ gebruikt (dit is de slogan van Donald Trump)…

Butlers tweede boek,Gelijkenis van de talenten", vertelt hoe leden van een nieuwe religieuze sekte de aarde verlaten in een ruimteschip om Alpha Centauri te koloniseren.

***

Wat is de les uit dit uitgebreide overzicht van tientallen jaren geleden gemaakte voorspellingen en visies die ons dagelijks leven beïnvloeden?

Misschien is het punt dat dystopieën vaak voorkomen, maar meestal slechts gedeeltelijk.