blogspot visitor

26 februari 2009

Brein-machine-interfaces: heikele ethiek

Door  Brandon Keim, Wired Blog Network, 25 februari 2009

'[...] People with a notion of authentic self [zie Bill McKibben hieronder; K] are troubled by notions of brain-machine interfaces and pharmaceuticals. And we will begin to trample the notion of authentic self.'

Een in het artikel aangehaalde professor wijst erop dat hoe meer ik me verbind met de machine, des te meer ik de machine word.

Het transhumanisme van Ray Kurzweil


Interessant in dit verband is het sci-fi-visioen van de futurist Ray Kurzweil, met wiens Singularity University wordt samenwerkt door Google en NASA, zie bijvoorbeeld:
Kurzweil: When Man & Machine Merge (Rolling Stone, februari 2009)
Lees dit artikel in The Guardian (3 februari 2009) en dit bericht.
Hier deel 1, deel 2 en deel 3 van een video[1] van een bijeenkomst van gelovigen[2] in 2006 met Kurzweil als boeiende keynote speaker; let ook op de commentaren onder de video, het toeval wil dat iemand daar de Lie-groep E8 noemt (zie mijn blognotitie daarover).
En hier de wikipedia over Kurzweil.

Het is unheimlich dat het Singularity[3]-visioen van Kurzweil, de profeet van wat al spottend de Techno Rapture wordt genoemd ('s mans naam laat zich overigens lezen als 'Straal korte tijd', wat doet denken aan Dr. Faustus) door twee buitengewoon toonaangevende, de technologische ontwikkeling en daarmee de maatschappij van de toekomst in hoge mate vorm gevende[4] giganten als Google (doneerde al een miljoen dollar) en NASA [5] ( stelt ruimten, mensen en apparatuur beschikbaar) bloedserieus wordt genomen en uitgebouwd. Ondanks voorspellingen inclusief jaartal[6] die doen denken aan die van een sekteleider, zij het niet van de zoveelste eindtijd in de zin van een ondergang en Laatste Oordeel door God, maar van de Verlossing door technologie die de mens vrijwel tot God zal maken. En ondanks de aan oplichting grenzende deelnameprijs van 25.000 dollar per student voor een cursus van negen weken aan de Singularity University - die niet eens een echte universiteit is (de leerstof schijnt op den duur wel beschikbaar te komen als Creative Commons, slim geregeld om het sci-fi-gedachtengoed van de SU-elite breed ingang te doen vinden).

Alsof de smartest guys in de VS zich collectief tot een soort scifiology hebben bekeerd, waarbij de hoogintelligente apostelen er werkelijk van overtuigd zijn dat de giga-complexe, godgelijke cyborg, de Nieuwe Mens die ze tot stand willen brengen minder onderhevig zal zijn aan technische storingen dan het natuurlijke organisme aan ziekten, om nog maar te zwijgen van de adverse effects, de onvoorziene schadelijke bijwerkingen - nieuwe of venijniger wordende ziekten van organische weefsels - die technologische ontwikkeling tot nu toe altijd hebben aangekleefd (op globale schaal: de milieucrisis) en principieel niet zijn uit te bannen omdat elk model noodzakelijk een vereenvoudiging van het geheel van de werkelijkheid is. Terwijl er nog geen simpele pc bestaat die de gebruiker niet meerdere hartverzakkingen per jaar bezorgt door crashes! Een klassiek geval van hybris[7].

Van de andere kant: Kurzweil is geen charlatan die louter gebakken lucht verkoopt: hij was - zie de video, ter plekke demonstreert hij, als Jezus die de blinden laat zien, een apparaat dat gedrukte tekst omzet in een spreekstem - betrokken bij enkele technologische doorbraken (hoe groot die waren en wat zijn rol precies was, kan ik niet beoordelen), hij heeft in de VS prestigieuze prijzen in de wacht gesleept, adviseert het leger, publiceert in de New York Times, wordt zoals gezegd gesteund door NASA en Google, en zo meer.

Tricky Ethics

En waarom onszelf veranderen in spiritual machines[3]? Twijfels en ongerustheid hieromtrent zet klimaatactivist Bill McKibben uiteen in zijn boek Enough, staying human in an engineered age. McKibben sprak - in quasi-geteleporteerde gedaante, als pratend hologram, hier een video - eveneens op de bovengenoemde Singularity Summit van 2006. Mijns inziens een briljant betoog met onder meer deze kernpunten: is een wezenlijk vermogen van het menselijk geheugen misschien: te kunnen vergeten; is het kunnen opleggen van bepaalde beperkingen aan zichzelf en het afzien van het bevredigen van sommige behoeften wellicht een van de meest waardevolle menselijke vermogens; is het voelen en betonen van verbondenheid met de ander en het andere (de natuur) mogelijk onverenigbaar met het grenzeloos (proberen te) vergroten van je vermogen tot doorgronding van die ander of dat andere; gaat het ontdekken en genieten van jezelf - en dus van je beperkingen, de grenzen van je weten, kunnen en zintuiglijke ervaren - misschien niet samen met het voortdurend of althans het mateloos willen transformeren van jezelf en het vergroten van je capaciteiten. En ik zou zeggen: maakt het blijven bestaan van mysteries, zoals dat van de oorsprong en de ultieme structuur en betekenis van het heelal, niet gelukkiger dan het verdwijnen van elk mysterie? Houdt het met heel je hart genieten of mooi vinden van X, niet in dat voor jou X geenszins mooier of fijner hoeft te zijn? Ja, dat het onwenselijk en onmogelijk is dat de beleving van X zoals X is mooier of fijner zou zijn en dat X zelf mooier, fijner, anders zou zijn dan X is? In een slagzin: is een waarlijk genoegen volledig genoeg - en dat waarvan men geniet volmaakt? Draai ik rond in tautologieën of gloort hier een fundamenteel inzicht? (de kwestie duikt op wat iets op zichzelf is in relatie tot wat het voor jou is; maakt bijvoorbeeld het beter begrijpen en in het verlengde daarvan 'horen' van de structuur van een compositie van Bach het genot en de schoonheidsbeleving groter of zinvoller? Of 'alleen maar' kwalitatief anders? Ook gaat het om fenomenen als het soms en voor sommigen vervelen van wat altijd hetzelfde blijft, het verlangen 'dieper' te ervaren en te genieten, nieuwsgierigheid en de 'honger' naar kennis).
Zie verder deze goede bespreking door Jonathan Dolhenty van McKibbens boek, waaruit dit citaat betreffende de geperfectioneerde kinderen van de toekomst: 'The author tackles what it means to be human, pointing out how these new technologies threaten our very identity as human beings. "What if we have been programmed," he asks, "or at least must suspect each time we choose a path that we have been nudged in that direction by our engineered cells? Who then 'are we'?"'.

Aldus terugkerend naar het eigenlijke onderwerp van deze blognotitie, de ethiek van de voortgaande hybridisering van het menselijk organisme en (bio)technologisch vervaardigde vervangende lichaamsdelen, genezende en regenererende middelen, verbeteringen of extensies en op termijn mogelijk zelfs complete surrogaten van het lichaam, kortweg de ethiek van het maken van cyborgs en spiritual machines: hierover zegt Kurzwel in deel 3 van de video: 'The ethical guidelines do work against inadvertent problems [i.e. onvoorziene gevolgen voortkomend uit onachtzaamheid; K]: 'The Asilomar Guidelines in biotech have kept us safe for thirty years; the Forsythe Institute (...) has similar guidelines for nanotech [ik kan die richtlijnen op hun website niet vinden; K] (...) The big problem is advertent problems' [i.e. inherente risico's die we al onderkennen; K], zoals 'self-replicating nanotech' en 'unfriendly AI'.
Tegen de mensen die vanwege de gevaren dergelijke technologie niet willen ontwikkelen, brengt Kurzweil drie argumenten in: a. het zou nodig zijn een [woord voor mij onverstaanbaar in de video, ik vermoed dat Kurzweil doelt op een controlerend orgaan]-systeem te implementeren; b. het zou ons beroven van vergaande baten en c. het zou niet werken, de technologie zou ondergronds gaan en wij zouden ons niet kunnen verdedigen tegen kwaadwilligen die er gebruik van maken.

Een kolossale kluif voor ethici, politici en NGO's! Zie, naast het bovengenoemde boek 'Enough' en de voordracht van Bill McKibben, onder meer de zorgen van toxicoloog Ellen Silbergeld (artikel 'Slaapwandelend de nanowereld in', de Volkskrant, 1 november 2008) en de visie van Sabine Roeser, universitair docent ethiek op de TU Delft (artikel 'Angst is een goede raadgever', de Volkskrant, 21 februari 2009).

Toevoeging oktober 2011:

Rise of the Machines: Why We Keep Coming Back to H.G. Wells’ Visions of a Dystopian Future
Door Mattwew Lasar, Wired, 8 oktober 2011


Zie ook m'n blognotities: 
Universiteit Cambridge onderzoekt singulariteit: vormt kunstmatige intelligentie een gevaar?
Kritische geluiden over de singulariteit
Hersenen worden manipuleerbaar: onderzoek
'Mensen gaan steeds meer lijken op computers'
Teilhard, technologie & wederopstanding
Film 'De Singulariteit' van Ray Kurzweil
Twitter-telepathie: onderzoekers veranderen gedachten in tweets
Hersenscanners lezen gedachten
De toekomst volgens Mulisch
Over het masker
Beeldschermcultuur verzwakt mogelijk empathie
Kladblognotities over de blog

En (toegevoegd v/a februari 2012):

Russian Mogul’s Plan: Plant Our Brains in Robots, Keep Them Alive Forever
Door Katie Drummond, Wired, 29 januari 2012

Het mag bijna: elektrodes in brein
Door Sander Becker, Trouw, 14 maart 2012

Noten en illustraties

[1] Kurtzweils benadrukken - zie de video - dat de crux van de menselijke intelligentie patroonherkenning (ook het zien van nieuwe vormen?) is, doet denken aan Mulisch' uitlichten van de aha-Erlebnis dan wel het Eureka!
De manier van spreken in het vertalende mobieltje - de demonstratie in deel 3 van de video - is een mooi voorbeeld van wat Nicholas Carr zegt in The terrifying future of computing: 'The scariest thing about Stanley Kubrick's vision wasn't that computers started to act like people but that people had started to act like computers'.


[2] De van eerbied bijna stotterende, maar waarschijnlijk sowieso niet erg eloquente nerd die Kurzweil als spreker inleidt, zegt onder meer dat deze ziener drives this promise home of a world of exponential growth (de kredietcrisis had nog niet tot de huidige beurskrach geleid; het zou interessant zijn te onderzoeken hoe het Kurzweils in 1999 opgerichte hedge fund FatKat is vergaan[*], dat met AI-software beurstransacties uitvoerde); hij noemt Kurzweil a hedge hawk
[!] who knows one big thing, te weten applying exponential math relentlessly and ruthlessly [sic!; K] to technological innovation and change, extrapolating where that will go.
Kurzweils theorie dat de snelheid van de evolutie exponentieel toeneemt, heeft een raakvlak met deze centrale karakterisering door Peter Sloterdijk (in Eurotaoïsme[**]) van het moderniseringsproces: 'vooruitgang is beweging ter beweging, beweging ter meerdere beweging, beweging naar toegenomen bewegingsvermogen'.
[*] De wikipedia zegt hierover, veelbetekenend lijkt me: 'In 2005, Kurzweil reported that the FatKat software was "doing very well - 50% to 100% returns for the last two years." But as of December 2008, FatKat does not offer its software for sale.
[3] Het boven gelinkte artikel over de Singularity heeft overigens een omineus slot: 'Who do we do it for? In the land of science fiction, we’re all doing it for an evil entity. Our brain power has been enslaved to feed an AI. In the land of science fiction, we might escape such AI by a revolution... but in the real world, we’re delivering our energy voluntary. At least, we’re doing so now.'[**]
Het antwoord van Kurzweil en andere transhumanisten is ongeveer: het overwinnen van ziekte en dood en het 'eindeloos' vergroten van onze kennis en vermogens, maakt ons gelukkiger - wat natuurlijk maar de vraag is, en een zeer wezenlijke vraag: het is net zo goed denkbaar dat een zelfbewustzijn dat niet meer kan sterven, gekopieerd en vermenigvuldigd kan worden et cetera geen eindeloos en oneindig geluk beleeft, maar eindeloos en oneindig lijdt; de transhumane uitverkorenen belanden mogelijk in de hel in plaats van in de hemel... niet omdat ze in handen van de duivel komen, maar omdat ze zelf hun lichaam hebben ontzield (dan wel hun ziel hebben ontlichaamd) en hun ziel voor altijd - dachten ze - hebben gered. Een ander belangrijk punt is, dat het miskennen en proberen uit te bannen van de natuur als het andere - als spiegel én bron van de ziel - de mens in een soort narcistische psychose zou kunnen storten, omdat hij dan alleen zichzelf als inbedding en referentiekader heeft. Wat betreft de drijfveren achter een en ander: zie mijn theologische speculaties over baarmoedernijd.
[**] Peter Sloterdijk in Eurotaoïsme: 'We moeten aannemen dat in de zeer riskante acceleraties van deze tijd zich iets voltrekt dat afkomstig is van ons zelf en van wat ons nabij is, lees: van wat we zelf willen. Als het er zo voor staat, dan is er geen kritische theorie van de samenleving meer mogelijk - omdat er tussen de kritiek en het gekritiseerde geen werkelijk verschil meer bestaat. Tenzij de kritiek eerst tegen zichzelf in denkt en ook het eigene, het nabije en het zelf gewilde aan een onderzoek onderwerpt.'
Sloterdijk geeft zijn pleidooi voor het herontdekken van de langzaamheid (ook in de filosofie) als motto het volgende citaat van Franz Kafka mee: 'Hoe meer paarden je inspant, des te sneller het gaat - namelijk niet het lostrekken van het blok uit het fundament, wat onmogelijk is, maar het kapot trekken van de riemen en vervolgens de vrolijke rit naar het niets'.
Waarvan het punt is, naar mijn idee: men kan het fundament niet uit het fundament lostrekken, iets valt niet uit zichzelf los te trekken. Daarom is wat Bill McKibben tot slot van zijn voordracht (zie hierboven) aanhaalt als een van de belangrijkste motieven van de transhumanisten - het met duizelingwekkende (reken)kracht doorgronden van de oorsprong van het heelal, van de oorzaak en/of reden dat er iets is en niet niets, van de fundamentele structuur van de kosmos - wellicht niet alleen oninteressant (stelt McKibben) vergeleken bij vragen als 'kan ik iets voor je doen', 'zijn er mensen die van mij houden', 'is dit een wijs besluit', 'is het beter dit niet te construeren hoewel het mogelijk is', 'kan ik iets moois maken' en 'waar geniet ik van ', maar au fond absurd omdat (zie Kafka) het fundament der fundamenten niet kan worden blootgelegd - het graven en het vragen is eindeloos en als men het overhaast en forceert, gaat men chronisch voorbij aan zichzelf dan wel aan het besef van - zinvol - zijn.
Toevoeging april 2011: in Sferen (vertaling Hans Driessen, pagina 145) stelt Sloterdijk: 'Het is niet toevallig dat de meest typerende nieuwe plek in de geïnnoveerde wereld van de media interface heet. Daarmee wordt niet de ruimte bedoeld waarin gezichten elkaar ontmoeten, maar het contactpunt tussen gezicht en niet-gezicht of tussen twee niet-gezichten [laatste cursivering door mij; K]. Vlak na deze passage
poneert Sloterdijk dat volgens hem zowel de interfaciale expressie van de prehistorie als de moderniteit wordt gekenmerkt door het masker, met de schreeuwende paus van Roger Bacon (die ik al had opgenomen in deze blognotitie, zie hierboven) en de zelfportretten van Andy Warhol als tekenend voor de laatst genoemde periode. Over Warhols zelfportretten zegt Sloterdijk dat ze 'de toestand van zelfverloochening [bereiken] door verkoop van het ik'.
[4] The main goal [of the Singularity University] is to gather "the next generation of CEOs, University Deans/Presidents and Government leaders" to begin networking and collaborating. It’s like putting all the future power holders in one room and giving them a jump-start on solving the world’s problems.

[5] Zie deze video, waarin een NASA-directeur vertelt dat hij met Kurzweils SU samenwerkt, omdat volgens hem key missions van NASA zijn: midwifing [sic! K] new capabilities en allthough we don't want to say it publicly, we're making the next step settling the solar system (...) these are the kind of technologies that enable us to do that - waarbij hij het doodgemoedereerd heeft over: technologies being able to modify humanity [sic! K].
Let ook op de gedienstig vragende en knikkende vrouwelijke journalist in het filmpje, die als het ware de vroedvrouw is van de machtswoorden van de propagator van de
mannelijke baarmoeder; en de voor de alfa-aap bestemde vleiende woorden van de lager in de hiërarchie staande man aan het slot.

6] 'Among Kurzweil's (...) predictions are a pill that lets you eat what you want without getting fat – which he believes could be available within ten years; a world where all energy comes from renewable sources within 20 years; and a life expectancy that increases at a rate faster than your age within 15 years.'
En:
'Machines will not only surpass humans in intelligence - they will irrevocably alter what it means to be human. Cell-size robots will zap disease from our bloodstream. Superintelligent nanotechnology, operating on a molecular scale, will scrub pollution from our atmosphere. Our minds, our skills, our memories, our very consciousness will be backed up on computers - allowing us, in essence, to live forever, all our data saved by supersmart machines.
Kurzweil is very specific about when this epic shift will take place. By 2045, he predicts, machines and humans will merge, redefining life as we know it. The moment is known as the Singularity, referring to the term used in astrophysics to describe the point inside a black hole where the ordinary laws of physics cease to apply. To prepare himself and the rest of the world for the era of conscious machines, Kurzweil has turned himself into the chief prophet of the coming Techno Rapture. Maybe the Singularity takes a few years longer to get here, - he finally replies. "But I cant really imagine that I’m significantly off."'


[7] Kurzweil gaat, deel 3 van de video, wel kort op dit punt in, maar maakt zich er makkelijk vanaf door twee voorbeelden te noemen van zelden de fout in gaande technologie: landingssoftware van vliegtuigen en het internet dat nog nooit geheel
down is geweest sinds zijn ontstaan, en door de lapidaire opmerking te maken dat zichzelf-organiserende techno-complexen zeer stabiel zijn.

Illustratie bovenaan: pleziercentra van de hersenen

Tweede illustratie: hologram van Ray Kurzweil spreekt de zaal toe

Derde illustratie: deel van het schilderij
Study after Velazquez's Portrait of Pope Innocent X (1953) van Francis Bacon


Vierde illustratie: hologram van Bill KcKibben spreekt de zaal toe


Illustratie hiernaast: aankondiging Singularity Summit (2006, Stanford University); deel van het Watch Tower-embleem van de Jehova-getuigen; en het Scientology Cross - op spreekgestoelte van Tom Cruise; wikipedia: 'the Church of Scientology says that "the horizontal bar represents the material universe, and the vertical bar represents the spirit. Thus, the spirit is seen to be rising triumphantly, ultimately transcending the turmoil of the physical universe to achieve salvation'

Geen opmerkingen:

Een reactie posten