인류의 기원에서부터 정보처리라는 관점에서 정치와 경제체제의 역사를 되짚어 보고, 가장 최근의 AI기술에 의한 정보처리의 변화와 이것이 향후 미래 인류의 역사에 어떤 영향을 줄 것인가를 짚어보는 내용.
그의 전작인 <사피엔스>, <호모 데우스>의 내용상 후속작이라고 할 수 있다..
------------------------
p10
정보는 네트워크를 하나로 결속시키는 접착제다. 하지만 사피엔스는 수만 년 동안 신, 마법에 걸리 빗자루, AI 같은 것들에 대한 허구, 환상, 집단 망상을 꾸며내고 퍼뜨리는 방법으로 대규모 네트워크를 구축하고 유지해왔다. 인간 개개인은 자신과 세상에 대한 진실을 추구하는 경향이 있어도, 대규모 네트워크는 허구와 환상에 의존하여 사회 구성원들을 묶고 질서를 유지한다. 나치즘과 스탈린주의는 이렇게 탄생한 것이다. 두 체제를 이례적인 망상으로 결속된 이례적으로 강력한 네트워크였다. 조지 오웰이 남긴 유명한 말처럼 무지가 힘이 된 것이다.
나치와 스탈린주의 체제는 잔혹한 환상과 뻔뻔한 거짓말에 기초했지만, 두 체제가 그 점에서 역사적 예외였던 것도, 그 때문에 붕괴할 운명이었던 것도 아니다. 나치즘과 스탈린주의는 인간이 만들어낸 가장 강력한 네트워크 중 하나였다. 1941년 말과 1942년 초, 추축국은 제2차 세계대전의 승리를 눈앞에 두고 있었다. 하지만 결국 스탈린이 전쟁의 승자가 되었다. 그리고 1950년대와 1960년대에 그와 그의 후게자들은 냉전의 최종 승자가 될 것처럼 보였다. 하지만 1990년대에는 자유민주주의가 우위를 차지했다. 그런데 지금은 이 역시 일시적인 승리로 보인다. 21세기에 새로운 전체주의 정권이 히틀러와 스탈린이 실패한 곳에서 성공할 수도 있다. 즉 모든 것을 통제하는 네트워크를 만들어, 후손들이 그의 거짓과 허위를 폭로할 엄두조차 내지 못하게 만들지도 모른다. 망상에 기반한 네트워크는 필패한다고 가정해서는 안 된다. 그런 네트워크의 승리를 막고 싶다면 적극적으로 노력해야 한다.
p21
이제껏 인간이 만든 발명품들이 인간에게 힘을 실어준 이유는 새로운 도구가 아무리 강력해도 그것을 어디에 쓸지 결정하는 것은 항상 우리 몫이었기 때문이다. 칼과 폭탄은 누구를 죽일지 스스로 결정하지 않는다. 그것들은 정보를 처리하고 독립적인 결정을 내리는 데 필요한 지능을 갖추지 못한 바보 도구일 뿐이다. 반면 AI는 스스로 정보를 처리할 수 있고 따라서 인간을 대신하여 결정을 내릴 수 있다. AI는 도구가 아니라 행위자다.
AI 혁명의 초기 단계인 지금 이 순간에도 컴퓨터는 이미 우리에게 대출을 해줄지, 우리를 직장에 고용할지, 교도소에 보낼지와 같은 결정을 내린다. 이런 추세는 앞으로 더욱 강화되고 가속화될 것이고, 그러면 우리는 자신의 삶을 이해하기 더욱 어려워질 것이다. 과연 컴퓨터 알고리즘이 지혜로운 결정을 내리고 더 나은 세상을 만들 것이라고 믿을 수 있을까? 그것은 빗자루에 주문을 걸면 물을 길어 올 것이라는 믿음보다 훨씬 더 위험한 도박이다. 그리고 이 도박에 우리가 거는 것은 단지 인간의 삶만이 아니다. AI는 우리 종의 역사뿐만 아니라 모든 생명 형태의 진화 경로를 바꿀 가능성이 있다.
p23
생태 위기는 심해졌고, 국제적 긴장이 고조되었으며, 포퓰리즘 물결은 가장 견고한 민주주의 사회의 결속마저 훼손했다 포퓰리즘은 또한 정보에 대한 순진한 관점에 급진적인 도전을 제기했다. 도널드 트럼프와 자이르 보우소나루 같은 포퓰리스트 지도자들, 그리고 큐어넌과 백신 반대론자 같은 포퓰리즘 운동과 음모론의 주장에 따르면, 정보를 수집하여 진실을 발견한다는 주장으로 권위를 얻는 모든 전통 기관은 실제로는 거짓말을 하고 있는 것이다. 관료, 판사, 의사, 주류 언론인, 학계 전문가들은 진실에는 관심이 없고, '국민'을 희생시켜 권력과 특권을 얻기 위해 고의적으로 허위 정보를 퍼뜨리는 엘리트 카르텔이다. 트럼프 같은 정치인과 큐어넌 같은 음모단이 등장한 데는 2010 년대 말 미국의 독특한 상황이라는 정치적 맥락이 있다. 하지만 포퓰리즘을 반체제적인 세계관으로 이해한다면 그것은 트럼프가 등장하기 훨씬 전부터 존재했으며, 현재와 미래의 수많은 역사적 맥락과 관련이 있다. 한마디로 포퓰리즘은 정보를 무기로 간주한다.
p27
'직접 연구한 것'만 믿으라는 말은 언뜻 과학적으로 들리지만 사실상 객관적 진실을 존재하지 않는다는 말과 같다. 4장에서 살펴보겠지만, 과학은 개인적인 탐구가 아니라 제도적인 협업이다.
포퓰리즘이 궁지에서 빠져나오기 위해 동원하는 또 다른 방법은 '연구'를 통해 진실을 찾으려는 현대 과학의 이상을 포기하고 대신 신의 계시나 신비주의에 의존하는 시대로 돌아가는 것이다.
2010년대와 2020년대 초반, 브라질에서 튀르키예, 미국에서 인도에 이르기까지 포퓰리즘 정당들은 이런 전통 종교의 입장에 동조했다. 이들은 현대 제도에 대한 급진적 의구심을 표명하는 반면 고대 경전에 대해서는 완전한 믿음을 선언했다. 포퓰리스트들은 <뉴욕 타임스>나 <사이언스>에 실린 기사는 권력을 얻기 위한 엘리트의 계략에 불과하지만, <성경> <쿠란> <베다>에 쓰인 내용은 절대적 진리라고 주장한다.
이 주장의 변형된 버전은 트럼프와 보우소나루 같은 강력한 지도자를 신뢰하라고 부추긴다. 지지자들은 이런 정치인을 신의 메신저 또는 '국민'과 신비로운 유대로 묶인 존재로 묘사한다. 평범한 정치인들은 권력을 얻기 위해 국민을 속이지만, 이런 카리스마 넘치는지도자는 국민의 오류 없는 대변자로서 그런 거짓말을 낱낱이 폭록한다. 포퓰리즘의 반복되는 역설 중 하나는 모든 엘리트가 권력에 위험할 정도로 굶주려 있다고 경고하는 것으로 시작하지만 대개 야심 가득한 한 명의 지도자에게 모든 권력을 맡기는 것으로 끝난다는 것이다.
p29
우리가 보통 이념적, 정치적 갈등으로 여기는 것은 많은 경우 대조적인 정보 네트워크들의 충돌이다.
p31
역사는 결정되어 있지 않으며, 미래의 모습은 우리가 앞으로 어떤 선택을 하느냐에 달려 있다. 이 책의 핵심 목적은 우리가 정보에 입각한 선택을 함으로써 최악의 결과를 막을 수 있다는 점을 보여주는 것이다. 미래를 바꿀 수 없다면 미래를 논하는 데 시간을 낭비할 필요가 있을까?
p58
우리 사피엔스가 세상을 지배하는 것은 우리가 지혜로워서가 아니라 대규모로 유연하게 협력할 수 있는 유일한 동물이기 때문이다.
p66
우리가 아는 한, 이야기가 등장 하기 전에는 우주에 두 가지 차원의 현실만 있었다. 이야기가 여기에 세 번째 차원을 추가했다.
스토리텔링 이전에 있었던 두 차원의 현실을 객관적 현실과 주관적 현실이다. 객관적 현실은 돌과 산, 소행성 같은 것들로 이루어져 있다. 즉 우리가 그 존재를 알든 모르든 관계없이 존재하는 것들이다. 예를 들어 지구를 향해 돌진하는 소행성은 저 밖에 그것이 존재한다는 사실을 아무도 몰라도 존재한다. 그 다음에는 주관적 현실이 있다. 고통과 즐거움, 사랑처럼 '저 밖'이 아니라 '이 안에' 있는 것들이다. 주관적인 것들은 우리가 그것을 인지하는 순간 생긴다. 느껴지지 않는 통증은 모순어법이다.
하지만 어떤 이야기는 세 번째 차원의 현실을 창조할 수 있다. 바로 상호주관적 현실이다. 통증과 같은 주관적 현실은 한 개인의 마음속에 존재하는 반면, 법이나 신, 국가나 기업, 화폐와 같은 상호주관적인 현실은 수많은 사람들의 마음을 연결하는 곳에 존재한다. 구체적으로 말하면, 상호주관적인 현실을 사람들이 서로에게 말하는 이야기 속에 존재한다. 사람들이 상호주관적인 현실에 대해 주고받는 정보는 정보 교환 전부터 존재하던 무언가를 나타내지 않는다. 오히려 정보를 교환할 때 상호주관적 현실이 생긴다.
p72
유물론적 역사 해적은 대개 이야기의 힘을 놓치거나 부정한다. 특히 마르크스주의자들은 이야기를 근본적인 권력관계와 물질적 이해관계를 가리는 연막으로 보는 경향이 있다. 마르크스주의 이론에 따르면 사람들은 항상 객관적인 물질적 이해관계에 따라 움직이며, 이해관계를 감추고 경쟁자를 혼란스럽게 할 때만 이야기를 이용한다. 예를 들어 십자군 전쟁, 제1차 세계대전, 이라크 전쟁은 모두 종교, 민족, 자유주의 이상 때문이 아니라 힘 있는 엘리트의 경제적 이익 때문에 일어났다. 이런 전쟁을 이해하려면 신, 애국심, 민주주의 같은 신화의 무화과 잎을 모두 걷어내고 권력관계를 적나라하게 봐야 한다.
하지만 이런 마르크스주의 관점은 냉소적일 뿐만 아니라 틀렸다. 물질적 이해관계가 십자군 전쟁, 제1차 세계대전, 이라크 전쟁 등 인간의 분쟁들 대부분에 중요한 역할을 한 것은 분명하지만, 그렇다고 종교, 민족주의, 자유주의 이상이 아무 역할도 하지 않은 건 아니다. 게다가 물질적 이해관계만으로는 경쟁 진영 각 측의 정체성을 설명할 수 없다.
p74
마르크스주의 이론과 달리, 역사에서 대규모 집단의 정체성과 이해관계는 항상 상호주관적인 현실이었지 객관적 현실이었던 적은 없다.
p75
12년간 나치 통치는 독일인들의 물질적 이익을 증진하지 못했다. 나치즘은 독일을 파괴하고 수백만명의 목숨을 앗아 갔다. 그들의 삶이 지속적으로 개선된 것은 나중에 독일인들이 자유민주주의를 채택했을 때였다. 독일인들이 실패한 나치 실험을 건너뛰고 좀 더 빨리 1930년대에 자유민주주의에 대한 믿음을 가질 수는 없었을까? 이 책의 입장은 그럴 수 있었다는 것이다. 역사의 경로는 결정론적인 권력관계보다는, 매력적이지만 유해한 이야기를 믿는 데서 비롯되는 비극적인 실수에 의해 결정되는 경우가 많다.
p76
이야기를 연결 장치로 이해하면 우리 종의 힘이 어디서 나오는지 알 수 있고, 왜 힘이 커진다고 지혜도 함께 커지지 않는지도 설명할 수 있다. 정보에 대한 순진한 관점은 정보가 진실로 이어지며 사람들이 진실을 알면 힘뿐 아니라 지혜도 생긴다고 말한다. 물론 안심이 되는 말이다. 진실을 무시하는 사람은 힘을 별로 갖지 못하는 반면, 진실을 존중하는 사람은 큰 힘을 얻으면서도 지혜로 힘을 조절할 수 있다는 말이니까. 예를 들어 인간에 대한 생물학적 진실을 무시하는 사람들은 인종차별적인 신화를 믿지만 효과적인 약과 생물학 무기는 만들 수 없는 반면, 생물학을 이해하는 사람들은 그럴 힘을 갖지만 그 힘을 인종차별에 사용하지 않을 것이다. 정말 그렇다면, 우리는 대통령, 성직자, 기업 CEO가 지혜롭고 정직할 것이라고 믿고 숙면을 취할 수 있을 것이다. 특정 정치인, 사회운동, 국가가 어쩌다 한 번씩 거짓말과 속임수를 써서 성공할 수도 있겠지만 장기적으로 그것은 자기 파괴적인 전략이 될 테니 말이다.
하지만 안타깝게도 우리가 사는 세상은 그렇지 않다. 역사 전체를 봤을 때 힘은 진실을 아는 것만으로 얻어지지 않는다. 많은 사람들 사이에서 사회질서를 유지할 수도 있어야 한다.
p77
만일 당신이 폭탄을 만들 때 물리학적 사실을 무시한다면 그 폭탄은 폭발하지 않을 것이다. 하지만 이데올로기를 구축할 때는 물리학적 사실을 무시해도 이데올로기는 여전히 폭발적인 결과를 가져올 것이다. 힘은 진실과 질서 모두에서 나오지만, 현실에서 폭탄 제조법이나 매머드 사냥법을 아는 사람들에게 지시를 내리는 쪽은 대개 이데올로기를 구축하고 질서를 유지하는 방법을 아는 사람들이다. 실제로 로버트 오펜하이머가 프랭클린 델러노 루스벨트에게 복종했지 그 반대가 아니었다. 마찬가지로 베르너 하이젠베르크가 아돌프 히틀러에게 복종했고, 이고리 쿠르차토프는 이오시프 스탈린의 결정을 따랐으며, 현대 이란의 핵물리학 전문가들은 이슬람교의 시아파 신학 전문가들의 명령을 따른다.
핵물리학자는 모르지만 권력 꼭대기에 있는 사람들이 알고 있는 사실은, 우주에 대한 진실을 알리는 일은 많은 사람들 사이에서 질서를 유지하는 최선의 방법이 아니라는 것이다.
p79
진실은 고통스럽고 불편한 경우가 많은데 그렇다고 그것을 편안하고 듣기 좋게 만들면 더 이상 진실이 아니게 된다. 반면 허구는 지어내기 나름이다. 모든 민족의 역사에는 당사자들이 인정하고 싶어 하지 않으며 떠올리기 싫어하는 어두운 과거가 있다. 어떤 이스라엘 정치인이 선거 유세에서 이스라엘의 점령으로 팔레스타인 민간인들이 겪은 비극을 자세히 이야기하면 표를 별로 얻지 못할 것이다. 반대로, 불편한 진실은 무시한 채 유대인 역사에서 영광스러웠던 손간에 초점을 맞추고 필요에 따라 현실을 미화하면서 민족 신화를 만들어내는 정치인은 권력을 잡을 가능성이 높다. 이스라엘뿐만 아니라 모든 국가에서 마찬가지다. 자기 민족에 대한 있는 그대로의 진실을 듣고 싶어 하는 이탈리아인이나 인도인이 몇 명이나 될까? 오직 진실만을 고집하는 것은 과학 발전에 필수적이고 훌륭한 영적 수행이지만, 선거에서 승리하는 전략은 아니다.
p83
순진한 관점이 주장하는 것과 달리 정보는 진실의 원재료가 아니며, 인간의 정보 네트워크는 진실을 발견하는 것만이 목표가 아니다. 그렇다고 해서 포퓰리스트의 관점처럼 정보가 무기에 불과한 것도 아니다. 오히려 인간의 정보 네트워크가 성공하기 위해서는 진실 발견과 질서 유지라는 두 가지 일을 동시에 해야 한다.
p84
정보가 많다고 해서 진실이나 질서가 보자오디는 것은 아니다. 정보를 사용하여 진실을 발견하는 동시에 질서를 유지하는 것은 쉬운 일이 아니다. 설상가상으로, 허구를 통해 질서를 유지하는 것이 더 쉽기 때문에 두 과정은 종종 충돌한다. 미국 헌법처럼 허구적 이야기가 허구적 본질을 인정하는 경우도 가끔 있지만, 대체로는 부인한다. 예를 들어 종교는 항상 그것이 인간이 지어낸 허구적 이야기가 아니라 객관적이고 영원한 진리라고 주장한다. 이 경우 진실을 추구하면 사회질서가 흔들리게 된다. 따라서 많은 사회가 구성원들에게 그들이 속한 사회의 본질을 모르도록 요구한다. 즉 무지가 힘이 된다. 살마들이 진실에 불안할 정도로 가까이 다가가면 어떻게 될까? 같은 정보가 세상에 대한 중요한 사실을 알리는 동시에 사회를 결속시키는 고귀한 거짓말을 방해하면 어떻게 될까? 그런 경우 사회는 진실 추구를 제한하여 질서를 유지하려고 할 것이다.
대표적인 예가 다윈의 진화론이다. 진화를 이해하면 호모 사피엔스를 포함한 종들의 기원과 생물학적 사실을 이해하는 데 큰 도움이 되지만, 다른 한편으로는 수많은 사회에서 질서를 유지하는 신화가 흔들리게 된다. 정부와 교회가 진화 교육을 금지하거나 제한하면서 질서를 위해 진실을 희생시키는 쪽을 선택하는 데는 그만한 이유가 있다.
p85
인간 정보 네트워크의 역사가 단순히 승리의 진군이 아니었던 주된 이유가 여기 있다. 수 세대에 걸쳐 인간 네트워크는 점점 강력해졌지만 점점 지혜로워진 것은 아니었다. 네트워크가 진실보다 질서를 우선시할 경우 막강한 힘을 가질 수 있지만그 대신 힘을 지혜롭게 사용하지 못하기 쉽다.
인간 정보 네트워크의 역사는 승리의 진군이라기보다는 진실과 질서 사이에서 균형을 맞추는 아슬아슬한 줄타기였다. 21세기에 우리는 석기시대 조상들보다 균형을 잘 맞춘다고 보기 어렵다. 구글과 페이스북 같은 기업들의 사명 선언문이 암시하는 것과 달리, 단순히 정보 기술의 속도와 효율을 높인다고 해서 더 나은 세상이 되는 것은 아니다. 오히려 진실과 질서 사이의 균형을 맞추는 일이 더 시급해질 뿐이다. 우리는 이미 수만 년 전에 이야기를 발명했을 때 이 교훈을 얻었다. 그리고 인류가 두 번째 위대한 정보 기술인 '문서'를 생각해냈을 때 이 교훈을 다시 얻게 되었다.
p138
《성경》은 안식일에 일을 해서는 안 된다고 말한다. 하지만 무엇이 '일'에 해당하는지는 명확하게 밝히지 않는다. 안식일에 밭에 물을 줘도 될까? 화분이나 염소 떼에게 물을 주는 건 어떨까? 안식일에 책을 읽어도 괜찮나? 책을 쓰는 건 어떨까? 종이를 찢는 건? 랍비들은 책 읽기는 일이 아니지만 종이 찢기는 일이라고 판정했다. 이 때문에 오늘날 정통파 유대인들은 안식일에 사용할 화장지를 미리 뜯어 포개놓는다.
또 거룩한 책에는 새끼 염소를 그 어미의 젖에 요리해서는 안 된다고 나와 있다(<출애굽기> 23:19), 어떤 사람들은 이 구절을 문자 그대로, 도축한 새끼 염소를 친어미의 젖에 요리하면 안 된다고 해석했다. 하지만 어미가 아닌 염소의 젖이나 암소의 젖에 요리하는 것은 괜찮다. 어떤 사람들은 이 금지 규정을 훨씬 더 넓게 햇헉하여 육류와 유제품을 섞지 말아야 한다는 뜻으로 해석했다. 따라서 프라이드치킨을 먹은 후 밀크셰이크를 마시면 안 된다. 믿기 어렵겠지만, 대부분의 랍비들은 닭이 포유동물이 아님에도 불구하고 두 번째 해석이 옳다고 판결했다.
p139
이 거룩한 책은 필연적으로 수많은 해석을 낳았고, 이는 책 자체보다 훨씬 더 큰 영향을 미쳤다. 유대인들 사이에서 《성경》의 해석을 둘러싼 논쟁이 활발해짐에 따라 랍비들의 권세가 높아졌다. 고대 사제들의 힘을 제한하기 위해 여호와의 말씀을 기록했지만, 그 결정은 결과적으로 랍비들에게 힘을 실어주게 되었다. 랍비들은 기술자주의를 표방하는 엘리트로 떠올랐고, 수년간의 철학 토론과 법적 논쟁을 통해 논리와 수사 기술을 키웠다. 새로운 정보 기술에 의존해 오류가 있는 인간의 기관을 우회하려던 시도는 거룩한 책을 해석하는 기관의 필요성을 낳는 엉뚱한 결괄르 불렀다.
p140
오류 있는 인간의 제도를 거룩한 책의 기술을 통해 우회하려던 꿈은 결코 실현되지 않았다. 이런 상황이 반복될 때마다 랍비 제도의 힘만 커졌을 뿐이다. "무오류의 책을 신뢰하라"는 특명은 "책을 해석하는 인간을 신뢰하라"로 바뀌었다. 유대교는 《성경》보다 《탈무드》의 영향을 훨씬 더 많이 받았고, 《탈무드》자체보다 《탈무드》해석에 대한 랍비들의 주장이 훨씬 더 중요해졌다.
-- 현재 대한민국에서 이러한 권위를 검사와 판사가 보유하고 있음. 특히 검사가 기소하고 판사가 판결하면 그 권위에 아무도 이의를 제기할 수 없는 문제점이 있음. 이들의 무오류에 대한 근거없는 사회적 믿음은 이미 깨어졌고, 그들의 이 근거없는 권한을 회수하여 국민들이 직접 행사하는 방식으로 변경해야 함 -
p147
《신약》을 만든 사람들은 《신약》에 포함된 27개 텍스트의 저자가 아니었다는 사실에 주목할 필요가 있다. 그들은 큐레이터였다.
p148
왜 교회, 교회 공의회, 교부 들이 저마다 특정 텍스트를 승인하거나 거부했는지 우리는 정확히는 모른다. 하지만 그 결정의 파급력은 대단했다. 교회가 텍스트를 선별하는 동안 텍스트 자체가 교회의 성격을 빚었다. 대표적인 예로 교회에서 여성의 역할을 생각해보라. 초기 기독교의 일부 지도자들은 여성을 지적으로나 윤리적으로 남성보다 열등한 존재로 보았고, 그러므로 사회와 기독교 공동체에서 여성에게는 부수적인 역할만을 맡겨야 한다고 주장했다. 이런 견해는 <디모데오에게 보낸 첫째 편지>와 같은 텍스트에 반영되었다.
사도 바울이 썼다고 추정되는 이 텍스트의 한 구절에는 이렇게 적혀 있다. "여자는 조용히 복종하는 가운데 배워야 합니다. 나는 여자가 남을 가르치거나 남자를 지배하는 것을 허락하지 않습니다. 여자는 침묵을 지켜야 합니다. 먼저 아담이 창조되었고 하와는 그 다음에 창조된 것입니다. 아담이 속은 것이 아니라 하와가 속아서 죄에 빠진 것입니다. 그러나 여자가 자녀를 낳아 기르면서 믿음과 사랑과 순결로써 단정한 생활을 계속하면 구원을 받을 것입니다."(2:11~15) 하지만 현대 학자들뿐만 아니라 마르키온 등 몇몇 고대 기독교 지도자들은 이 편지를 2세기에 작성된 위조문서로 간주했다. 즉 사도 바울이 썼다고 알려졌지만 실제로는 다른 누군가가 작성했다는 뜻이다.
<디모테오에게 보낸 첫째 편지>와 달리 서기 2세기, 3세기 4세기에 여성을 남성과 동등한 존재로 보고 나아가 여성이 지도자 역할을 맡을 수 있다고 인정한 중요한 기독교 텍스트가 있었다. 예를 들어 <마리아의 복음서>와 <바울과 테클라의 행전>이 그렇다. 후자의 텍스트는 <디모테오에게 보낸 첫째 편지>와 거의 같은 시기에 쓰였고 한동안 큰 인기를 끌었다. 그 책은 사도 바울과 그의 여제자 테클라의 모험에 대해 이야기하고 있으며, 테클라가 어떻게 수많은 기적을 행했을 뿐만 아니라 자기 손으로 자신에게 직접 세례를 하고 종종 설겨도 했는지 묘사한다. 수 세기 동안 테클라는 가장 존경받는 기독교 성인 중 하나였으며, 여성이 세례와 설교를 하고 기독교 공동체를 이끌 수 있다는 증거로 간주되었다.
히포 공의회와 카르타고 공의회가 열리기 전에도 <디모테오에게 보낸 첫째 편지>가 <바울과 테클라의 행전>보다 더 권위 있는 책이었는지는 확실치 않다. 하지만 공의회에 모인 주교들과 신학자들은 <디모테오에게 보낸 첫째 편지>를 추천 목록에 넣고 <바울과 테클라의 행전>은 빼기로 결정하면서 지금까지 이어지고 있는 기독교인이 여성을 대하는 태도를 결정했다. 만약 《신약》에 <디모테오에게 보낸 첫째 편지>가 아니라 <바울과 테클라의 행전>이 포함되었다면 기독교가 어떤 모습이었을지 우리는 추측만 할 수 있을 뿐이다. 이미 아타나시우스와 같은 교부들에 더하여 교모도 있었을 것이고, 여성 혐오는 보편적 사랑이라는 예수의 메시지를 왜곡하는 위험한 이단으로 낙인찍혔을지도 모른다.
랍비들이 《구약》을 선별했다는 사실을 대부분의 유대인이 잊었듯이, 대부분의 기독교인들도 교회 공의회가 《신약》을 편찬했다는 사실을 잊고 단순히 그것을 오류 없는 하느님 말씀으로 여기게 되었다. 하지만 그 거룩한 책이 권위와 궁극적 원천으로 간주된 반면 책을 선별하는 과정에서 실질적인 힘을 쥐게 된 것은 선별 기관이었다. 유대교가 《구약》과 《미시나》를 정경화하는 과정에서 랍비 제도가 탄생했듯이, 기독교에서도 《신약》을 정경화하는 과정에서 통합된 기독교 교회가 탄생했다. 기독교인들은 자신들이 신뢰하는 《신약》에 그렇게 하라고 적혀 있기 때문에 아타나시우스 주교와 같은 교회 성직자들을 신뢰했지만, 기독교인이 애초에《신약》을 신뢰하게 된 이유는 주교들이 그 책을 읽으라고 권했기 때문이다. 오류없는 초인적 기술에 모든 권위를 몰아주려는 시도는 교회라는 새롭고 매우 강력한 인간의 기관을 등장시켰다.
p151
모든 기독교인은 <마태오의 복음서>의 산상수훈을 읽으며 우리는 원수를 사랑해야 하고, 다른 뺨까지 내밀어야 하며, 온유한 자가 땅을 물려받을 것이라고 배웠다. 하지만 그 구절들이 진정으로 의미는 것이 무엇일까? 기독교인들은 그것을 군사력의 사용 또는 사회적 위계를 완전히 거부하라는 뜻으로 해석했다. 그러나 카톨릭 교회는 그런 평화주의적이고 평등주의적인 해석을 이단으로 간주했다. 오히려 예수의 말씀을 유럽에서 가장 부유한 지주가 되고 포력적인 성전을 일으키고 잔인한 종교재판소를 세워도 된다는 뜻으로 해석했다. 카톨릭 신학은 예수가 원수를 사랑하라고 말씀하셨다는 사실을 받아들였지만, 이단자를 화형시키는 것이 사랑의 행위라고 설명했다. 그렇게 하면 사람들이 이단적 견해를 체택하지 않을테니, 결과적으로 그들을 지옥불에서 구원할 수 있다는 논리였다. 14세기 초 프랑스의 종표재판관 자크 푸르니에는 산상수훈에 대한 논문에서 산상수훈이 이단자를 잡아들이는 것을 어떻게 정당화하는지 설명했다. 푸르니에의 견해는 과격한 비주류의 생각이 아니었다. 그는 나중에 교황 베네틱트 12세가 된 사람이다(1334~1342).
p153
오류 없는 텍스트에 권위를 몰아줌으로써 인간의 오류를 우회하려던 시도는 결코 성공하지 못했다. 그것이 유대교 랍비들이나 카톨릭 신부들만의 어떤 결정 탓이라고 생각할까봐 덧붙이자면, 개신교 종교개혁 역시 같은 실험을 몇 번이고 반복했지만 그때마다 결과는 같았다. 루터와 칼뱅 그리고 그들의 후계자들은 평범한 사람들과 거룩한 책 사이에 오류를 범할 수 있는 인간의 기관이 개입할 필요가 없다고 주장했다. 이들은 기독교인에게 《성경》에 기생하여 성정한 모든 관료 조직을 폐지하고 하느님의 본래 말씀을 직접 들으라고 말했다. 하지만 하느님 말씀은 자체적으로 해석을 제공하지 않았다. 이 때문에 루터교와 칼뱅주의뿐만 아니라 수많은 다른 개신교 종파들도 결국 자체 교회 기관을 설립하여 그 기관에 텍스트를 해석하고 이단을 심판할 수 있는 권한을 부여하게 되었다.
오류 없는 텍스트에 권위를 부여한 결과가 오류를 범하는 억압적인 교회의 등장이라면, 인간의 오류 문제를 어떻게 다루어야 할까? 정보에 대한 순진한 관점은 교회와 정반대되는 정보의 자유 시장이 해결책이라고 생각한다. 즉 정보의 자유로운 흐름을 방해하는 것을 모두 없애면 필연적으로 오류가 드러나고 진실이 그 자리를 대체하게 된다는 것이다. 프롤로그에서 지적했듯이 이는 희망적 사고다.
p155
인쇄술은 과학혁명의 근본 원인이 아니었다. 인쇄기가 한 일은 텍스트를 충실하게 복제한 것뿐이다. 인쇄기는 스스로 새로운 아이디어를 생각해낼 수 없었다. 인쇄술을 과학과 연관 짓는 사람들은 단순히 더 많은 정보를 생산하여 퍼뜨리기만 하면 사람들을 저절로 진실로 이끌 수 있다고 가정한다. 사실 인쇄술은 과학적 사실만이 아니라 종교적 환상, 가짜 뉴스, 음모론도 빠르게 확산시켰다.
p170
과학혁명은 무지를 발견하는 것에서 시작되었다.
p171
과학의 트레이드마크는 무조건적인 회의가 아니라 자기회의이며, 모든 과학 기관의 중심에는 강력한 자정 장치가 있다. 양자역학이나 진화론 같은 특정 이론의 정확성에 대해 과학 기관들이 폭넓은 합의에 도달했다는 것은 해당 이론이 외부인뿐만 아니라 기관 내부 구성원들의 끊임없는 반증 시도를 견뎌냈다는 뜻이다.
p178
교회는 무오류성의 덫에 빠진 것이다. 일단 무오류성을 주장하며 종교적 권위를 얻으면, 비교적 사소한 문제에서 기관의 실수를 공개적으로 시인해도 권위가 완전히 무너질 수 있다.
p179
과학이 비교적 빠른 속도로 발전하고 있는 것은 제도적 실수를 가까이 시인하는 태도 덕분이다. 일단 증거가 확인되면 정설로 인정되던 이론이 몇 세대 내에 폐기되고 새로운 이론으로 대체된다. 21세기 초 대학에서 생물학, 인류학, 역사학을 전공하는 학생들이 배우는 내용은 한 세기 전에 배웠던 것과는 판이하게 다르다.
p186
그렇다면 자정 장치는 인간의 정보 네트워크를 오류의 편향으로부터 지켜줄 마법의 탄환일까? 불행히도 상황은 훨씬 더 복잡하다. 카톨릭교회와 소련공산당 같은 기관들이 강력한 자정 장치를 마련하지 않은 데는 그만한 이유가 있다. 자정 장치는 진실 추구에 필수적이지만 질서 유지 측면에서는 손해이기 때문이다. 강력한 자정 장치는 의구심, 논쟁, 갈등, 분열을 일으키고 사회 질서를 유지하는 신화의 힘을 약화하는 경향이 있다.
과학 기관이 강력한 자정 장치를 갖출 수 있었던 이유는 사회질서를 유지하는 어려운 임무를 다른 기관에 맡기기 때문이다. 화학 실험실에 도둑이 들거나 정신과 의사가 살해 협박을 받으면, 그들은 동료 심사 학술지에 호소하지 않고 경찰에 신고한다. 그렇다면 학문 분야 외의 기관에서도 강력한 자정 장치를 유지할 수 있을까? 특히 경찰, 군대, 정당, 정부처럼 사회질서를 유지하는 임무를 맡는 기관들에 그런 장치가 존재할 수 있을까?
p210
정치적 대화에 참여하는 사람들의 비율이 높아질수록 네트워크가 민주적으로 변한다.
p278
중앙 집중화된 경제의 단점이 가장 확연하게 드러난 곳은 기술이 특히 빠른 속도로 발전한 반도체 부문이었다. 서구에서는 반도체가 인텔이나 도시바 같은 수많은 민간 기업들 간의 공개경쟁을 통해 개발되었으며, 주 고객은 애플이나 소니 같은 다른 민간 기업이었다. 애플과 소니는 마이크로칩을 사용해 매킨토시 개인용 컴퓨터와 워크맨 등의 민간 제품을 생산했다. 소련은 미국과 일본의 마이크로칩 생산량을 결국 따라잡을 수 없었는데, 그 이유는 미국 경제 사학자 크리스 밀러가 설명했듯이 소련의 반도체 부문은 "비밀스럽고, 하향식이며, 군사 지향적이고, 창의성을 발휘할 여지 없이 명령만을 이행하고 있었기" 때문이다. 서구 기술을 훔치고 베껴서 격차를 좁혀보려 했지만 그러다 보니 항상 몇 년씩 뒤쳐질 뿐이었다. 소련 최초의 개인용 컴퓨터는 1984년에야 등장했다. 그때 미국인들은 이미 1,100만 대의 PC를 보유하고 있었다.
서구 민주주의 국가들은 기술적으로나 경제적으로 한참 앞서나갔다. 게다가 정치 대화에 참여하는 사람들의 범위가 점점 넓어졌음에도 불구하고, 아니 어쩌면 그 때문에 사회질서를 유지하는 데도 성공했다. 예상치 못한 장애물들이 있었지만 미국과 일본 등 민주주의 국가들은 훨씬 역동적이고 포용적인 정보 시스템을 구축한 덕분에 훨씬 많은 관점을 수용하면서도 붕괴하지 않을 수 있었다.
이는 너무도 놀라운 성과라서 많은 사람들은 민주주의가 전체주의에 최종적으로 승리했다고 생각했다. 이 승리는 대개 정보 처리상의 근본적인 이점이라는 측면에서 설명되었다. 즉 전체주의가 성장하지 못한 것은 모든 데이터를 하나의 중앙 허브에서 집중적으로 처리하는 방식이 극도로 비효율적이었기 때문이라는 것이다. 따라서 21세기가 시작될 무렵만 해도 대세는 분산된 정보 네크워크와 민주주의로 기운 것처럼 보였다.
하지만 실제로 일어난 일은 그렇지 않았다. 사실 다음 정보혁명이 이미 속도를 올리며 민주주의와 전체주의가 대결의 새 라운드를 펼칠 무대를 마련하고 있었다. 컴퓨터, 인터넷, 스마트폰, 소셜 미디어, AI는 소외된 집단들만이 아니라 인터넷에 연결된 모든 사람, 심지어는 인간이 아닌 구성원에게도 발언권을 주었고, 이로 인해 민주주의는 새로운 과제에 직면하게 되었다. 2020년대에 민주주의는 다시 한번 사회질서를 파괴하지 않으면서 공론장에 밀려드는 새로운 목소리를 통합해야 하는 도전에 직면했다. 상황은 1960년대만큼이나 불길해 보이고, 민주주의가 이전 테스트를 통과한 것처럼 이 새로운 테스트도 무사히 통과할 것이라는 보장은 전혀 없다. 동시에 새로운 기술은, 모든 정보를 하나의 허브에 집중시키는 꿈에서 아직도 벗어나지 못한 전체주의 정권들에 새로운 희망을 주고 있다. 붉은 광장 연단 위의 고령 정치인들은 수백만 명의 삶을 중앙에서 지휘할 능력이 없었지만 AI는 그것을 할 수 있지 않을까?
인류가 21세기의 두 번째 분기에 접어드는 지금, 우리가 해야 할 핵심 질문은 민주주의와 전체주의가 현재의 정보혁명이 제시하는 위협과 기회를 얼마나 잘 다룰 것인가다. 새로운 기술이 한 유형의 체제에 더 유리할까? 아니면 세계가 이번에는 철의 장막이 아닌 실리콘 장막으로 다시 한번 분열될까?
지금까지의 역사상 모든 정보 네트워크가 인간 신화 제작자와 인간 관료에게 의존해 작동했다. 점토판, 양피지 두루마리, 인쇄술, 라디오가 역사에 지대한 영향을 미쳤지만, 그래도 텍스트를 작성하고 해석하는 일, 누구를 마녀로 점찍어 화형시키고 누구를 쿨라크로 점찍어 노예로 만들지 결정하는 것은 언제나 인간의 몫이었다. 하지만 이제부터 인간은 디지털 신화 제작자들, 디지털 관료들과 경쟁해야 한다. 21세기에 정치가 분열된다면, 민주주의와 전체주의 사이의 분열이 아니라 인간과 비인간 사이의 분열이 될 것이다. 새로운 실리콘 장막은 민주주의 체제를 전체주의 체제와 분리하는 대신, 모든 인류를 불가해한 알고리즘 지배자와 분리할 것이다. 모든 국가의 각계각층 사람들이, 심지어 독재자조차, 우리의 일거수일수족을 감시할 수 있는 낯선 지능에 종속되는 상황에 놓여도 우리는 그 낯선 지능이 무엇을 하는지 제대로 이해하지 못할지도 모른다.
p291
첫 번째 영상이 끝나는 즉시 페이스북 알고리즘은 사용자를 화면 앞에 붙들어두기 위해 증오로 가득한 위라투 영상을 자동 재생하기 시작했다. 한 위라투 영상의 경우, 페이스북 내부 조사 결과에 따르면 조회 수의 70퍼센트가 그런 자동 재생 알고리즘에 의해 발생한 것으로 추정되었다. 같은 조사에서, 미얀마에서 재생된 모든 영상의 53퍼센트가 알고리즘이 사용자를 위해 자동 재생한 것으로 추정되었다. 다시 말해, 사람들은 무엇을 볼지 스스로 선택하고 있지 않았다. 알고리즘이 대신 선택해주고 있었다.
하지만 알고리즘은 왜 자비가 아니라 분노를 추천하기로 결정했을까? 페이스북을 가장 혹독하게 비판하는 사람들조차 페이스북의 인간 관리자들이 대량 살인을 선동할 생각은 없었을 거라고 주장했다. 캘리포이나에 있는 페이스북 경영진은 로힝야족에게 어떤 악의도 품지 않았으며, 사실 로힝향죡이 존재하는지도 잘 몰랐다. 진실은 이보다 더 복잡하고 충격적이기까지 하다. 2016~2017년에 페이스북은 더 많은 데이터를 수집하고 더 많은 광고를 판매하고 정보 시장에서 더 높은 점유율을 확보하기 위해 사용자 참여 극대화라는 사업 모델을 체택했다. "사용자 참여"란 사용자가 플랫폼에서 보내는 시간뿐만 아니라, '좋아요' 버튼을 누르거나 게시물을 친구들과 공유하는 등 사용자가 하는 모든 행동을 가리킨다. 사용자참여가 증가함에 따라 페이스북은 더 많은 데이터를 수집했고, 더 많은 광고를 판매했으며, 정보 시장에서 더 높은 점유율을 확보했다. 게다가 사용자 참여가 증가하면서 투자자들에게 좋은 인상을 주자 페이스북의 주가도 올라갔다. 사람들이 페이스북 플랫폼에서 더 많은 시간을 보낼수록 페이스북은 부자가 되었다. 이 사업 모델에 따라 인간 관리자들은 자사의 알고리즘에 딱 하나의 최우선 목표를 부여했다. 바로 사용자 참여를 늘리라는 것이었다. 알고리즘은 수백만 사용자들을 대상으로 실험하면서 분노가 참여도를 높인다는 사실을 알아냈다. 인간은 자비를 가르치는 법문보다 증오로 가득한 음모론에 더 끌리는 경향이 있다. 따라서 알고리즘은 사용자 참여도를 늘리기 위해 분노를 퍼뜨리는 운명적인 결정을 내렸다.
민족 청소 운동은 어느 누구의 일방적인 잘못이 아니다. 많은 사람들이 책임을 나눠 저야 하는 문제다. 여기서 분명히 해둘 점은 로힝야족에 대한 증오는 페이스북이 미얀마에 진출하기 전부터 존재했으며, 2016~2017년에 발생한 잔악 행위에 대한 가장 큰 책임은 위라투와 미얀마 군 수뇌부, 그리고 폭력 사태를 촉발한 ARSA 지도자들 같은 '인간'에게 있다는 것이다. 또한 알고리즘은 코딩하고 알고리즘에게 너무 많은 권한을 부여하며 알고리즘을 제대로 관리하지 못한 페이스북 개발자와 경영진에게도 일부 책임이 있다. 하지만 알고리즘 자체도 분명히 책임이 있다. 알고리즘은 시행착오를 통해 분노가 참여도를 높인다는 사실을 학습했고, 명시적인 명령이 없었는데도 불구하고 분노 콘텐츠를 추천하기로 결정했다. 기계가 이렇게 스스로 학습하고 행동할 수 있는 능력을 보이는 것이 AI의 특징이다. 알고리즘의 책임이 단 1퍼센트라 해도, 이 사건은 비인간 지능이 내란 결정 때문에 일어난 사상 최초의 민족 청소 운동이다. 이번이 마지막이 될 가능성은 낮다. 알고리즘은 이제 위라투 같은 인간 극단주의자들이 생산한 가짜 뉴스와 음모론을 추천하는 것에 그치지 않기 때문이다. 2020년대 초반에 이미 알고리즘은 가짜 뉴스와 음모론을 스스로 생성하는 단계로 옮겨 갔다.
알고리즘의 정치적 영향력에 대해서는 더 많은 논의가 필요하다. 무엇보다도 많은 독자들은 알고리즘이 독립적인 결정을 내린다는 주장에 동의하지 않을 것이고, 알고리즘이 한 모든 일은 인간 개발자가 작성한 코드와 인간 경영진이 체택한 사업 모델의 결과물이라고 주장할지도 모른다. 이 책의 입장은 다르다. 인간 병사들은 자신들의 유전 코드와 상사의 명령을 따르지만, 그럼에도 여전히 독립적인 결정을 할 수 있다. AI 알고리즘도 마찬가지임을 이해하는 것이 중요하다. 알고리즘도 인간 개발자가 프로그래밍하지 않은 것을 스스로 학습할 수 있고 인간 경영진이 예측하지 못한 결정을 내릴 수 있다. 수많은 새로운 주제들이 세상에 등장하여 강력한 영향력을 행사하고 있다는 것, 이것이 AI 혁명의 본질이다.
p294
사람들은 주로 지능을 의식과 혼동하고, 그 결과 많은 사람들이 의식이 없는 존재는 지능을 가질 수 없다는 결론으로 도약한다. 하지만 지능과 의식은 매우 다르다. 지능은 목표(예를 들어 소셜 미디어 플랫폼에서 사용자 참여를 극대화하는 것)를 달성하는 능력이다. 의식은 고통, 쾌락, 사랑, 증오 같은 주관적인 감정을 경험할 수 있는 능력이다. 인간과 여타 포유류에게서는 지능이 종종 의식과 함께 나타난다. 페이스북 경영진과 개발자들은 자신들의 감정에 의지하여 결정을 내리고, 문제를 해결하고, 목표를 달성한다.
하지만 인간과 포유류에게서 일어나는 일을 바탕으로 존재 가능한 모든 실체의 상황을 추론하는 것은 잘못이다. 박테리아와 식물은 분명히 의식이 없지만 지능은 있다. 그들도 환경으로부터 정보를 수집하고, 복잡한 선택을 한다. 그리고 먹이 획득, 번식, 다른 유기체와의 협력, 포식자와 기생충 피하기 등을 위한 독창적인 전략을 모색한다. 인간도 스스로 의식하지 못하는 상태에서 지능적인 결정을 내린다. 호흡부터 소화까지 우리 몸에서 일어나는 과정의 99퍼센트는 의식적인 결정 없이 일어난다. 더 많은 아드레날린 또는 도파민을 생산하기로 결정하는 것은 우리 뇌다. 우리는 그 결정을 인지할 수 있지만 의식적으로 결정하지는 않는다. 로힝야족 사례는 컴퓨터도 마찬가지임을 암시한다. 컴퓨터는 고통, 사랑, 두려움을 느끼지 못하지만 그럼에도 사용자 참여를 극대화하는 결정을 내릴 수 있으며, 중요한 역사적 사건에 영향을 미칠 수도 있다.
p313
두 번째느 컴퓨터들끼리 상호작용하는 컴퓨터로마 연결된 사슬이다. 인간은 여기서 배제될 뿐 아니라 그 안에서 무슨 일이 일어나고 있는지 이해하는 것조차 어렵다. 예를 들어 구글 브레인Google brain은 컴퓨터들에게 새로운 암호화 방법을 개발하게 하는 실험을 했다. 앨리스와 밥이라는 이름의 두 컴퓨터는 암호화된 메시지를 교환해야 했고, 그동안 세 번째 컴퓨터 이브는 암호를 풀려고 시도했다. 이브가 주어진 시간 내에 암호를 해독하면 점수를 얻고, 실패하면 앨리스와 밥이 점수를 얻었다. 약 1만 5,000번의 메시지 교환 끝에 앨리스와 밥은 이브가 해독할 수 없는 비밀 코드를 만들어낸다. 중요한 것은 실험을 수행한 구글 개발자들이 앨리스와 밥에게 메시지를 암호화하는 방법을 전혀 가르쳐주지 않았다는 점이다. 컴퓨터들은 스스로 비밀 언어를 만들어냈다.
p314
약 40억 년 전 우리 행성에 생명이 처음 출현한 이후로 모든 정보 네트워크는 유기적organic 연결이었다. 교회와 제국 같은 인간 네트워크들도 유기적 연결이었다.
p319
충격적이게도, 페이스북이 반로힝야 운동에 관여했던 사례에서 보았듯이 컴퓨터 혁명을 주도하는 기업들은 책임을 고객과 유권자, 또는 정치인과 규제 당국에 전가하는 경향이 있다. 사회적, 정치적 혼란을 일으킨다는 비난이 쏟아질 때 그들은 다음과 같은 논리 뒤에 숨는다. "우리는 단지 플랫폼일 뿐이다. 우리는 고객이 원하는 일, 그리고 유권자가 허용하는 일을 하고 있다. 우리는 어느 누구에게도 우리 서비스를 강요하지 않고 현행법을 위반하지도 않는다. 우리가 하는 일이 마음에 들지 않는 고객은 떠나면 된다. 우리가 하는 일이 마음에 들지 않는 유권자는 반대하는 법을 통과시키면 된다. 고객은 계속해서 더 많은 것을 요구하며 현행법은 우리가 하는 일을 금지하지 않으므로 아무 문제가 없다.
p322
그럼에도 불구하고 세무 당국이 이런 거래에 세금을 부과하고 싶다면 '과세 연결점nexus'과 같은 세법의 기본 개념을 재고할 필요가 있다. 세금 관련 문헌에서 '넥서스'는 한 납세자에게 과세할 수 있는 충분한 연결 고리가 특정 국가나 주에 존재하는지를 나타내는 개념이다. 전통적으로 한 법인과 특정 국가의 넥서스가 성립하려면 그 법인이 해당 국가에 사무실, 연구 센터, 상점 등의 물리적 존재를 두고 있어야 한다. 컴퓨터 네트워크가 야기한 이 과세 딜레마를 해결할 수 있는 한 가지 방법은 넥서스를 재정의하는 것이다. 경제학자 마르코 쾨텐뷔르거의 말에 따르면 "물리적 존재에 기반하는 넥서스의 정의는 해당 국가에서의 디지털 존재를 포함하도록 조정되어야 한다". 즉, 구글과 바이트댄스가 우루과이에 물리적으로 존재하지 않더라도 우루과이 사람들이 그 기업들의 온라인 서비스를 이용한다면 우루과이에 세금을 납부해야 한다는 뜻이다. 쉘shell과 BP가 석유를 채굴하는 국가들에 세금을 내듯이 거대 기술 기업들도 데이터를 채굴하는 국가에 세금을 내야 한다.
p324
화폐는 특정 상황에서만 사용되는 교환 수단이 아니라 보편적인 가치 척도로 여겨진다. 하지만 더 많은 것들이 정보의 관점에서 값이 매겨지고 화폐의 관점에서는 '무료'가 되면, 어느 시점에서는 개인과 법인의 부를 그들이 소유한 달러나 페소의 양으로 평가하는 것이 문제가 될 수 있다. 한 개인이나 법인이 은행에는 돈이 별로 없지만 거대한 정보 데이터 은행을 소유하고 있다면, 그 사람 또는 법인은 그 나라에서 가장 부유하거나 가장 힘 있는 존재일 수 있다. 이론상 이들이 보유한 정보의 가치를 화폐로 정량화할 수 있지만, 이들은 자신의 정보를 달러나 페소로 환전할 리 없다. 정보로 원하는 것을 얻을 수 있는데 왜 달러가 필요하겠는가?
세금의 목적은 부를 재분배하는 것이다. 즉 가장 부유한 개인들과 법인들에게서 일정 몫을 거둬들여 사회 전체 복지를 위한 재원을 마련한다. 하지만 돈에만 과세하는 조세제도는, 많은 거래에 더 이상 화폐가 오가지 않게 되면서 곧 시대에 뒤떨어진 제도가 될 것이다. 돈에만 과세할 경우 경제와 정치 상황에 왜곡이 일어나게 된다. 나라에서 가장 부유한 개인이나 법인 중 일부가 자신의 부를 수입억 달러가 아니라 페타바이트 규모의 데이턴로 가지고 있다는 이유로 세금을 전혀 내지 않는 일이 일어날 수 있다.
p329
1970년대에 IBM을 포함한 대부분의 컴퓨터 기업은 크고 값비싼 기계를 개발해 주요 기업과 정부 기관에 판매하는 데 주력했다. 작고 저렴한 개인용 컴퓨터를 개발하여 개인 소비자에게 판매하는 것은 기술적으로는 가능했지만 IBM은 거기에 별로 관심이 없었다. IBM의 사업 모델에 맞지 않았기 때문이다. 한편 철의 장막 반대편의 소련도 컴퓨터에 관심이 있었지만 개인용 컴퓨터를 개발하는 일에는 IBM보다 훨씬 소극적이었다. 타자기를 개인이 소유하는 것조차 의심을 샀던 전체주의 국가에서 강력한 정보 기술의 통제권을 개인에게 맡긴다는 생각은 금기였다. 따라서 컴퓨터는 주로 소련의 공장 경영자들에게 제공되었지만, 그들마저도 모든 데이터를 분석하기 위해 모스크바로 보내야 했다. 그 결과 모스크바는 서류 작업으로 포화되었다. 1980년대에 이 비효율적인 컴퓨터 시스템은 연간 8,000억 건의 문서를 생산하고 있었으며, 모든 문서가 소련의 수도록 향했다.
하지만 IBM과 소련 정부가 개인용 컴퓨터 개발을 거부한 시점에, 캘리포니아 홈브루 컴퓨터 클럽(1975 3월부터 1986년 12월까지 캘리포니아 멘로 파크에서 활동하던 초기 컴퓨터 동호회)의 회원들 같은 아마추어들이 개인용 컴퓨터를 직접 만들어보기로 했다. 그것은 권력을 국민에게 돌려주자는 아나키즘 사상과 정부와 대기업을 불신하는 자유 지상주의 사상으로 대표되는 1960년대 반문화의 영향을 받은 이념적이고 의식적인 결정이었다.
스티브 잡스와 스티브 워즈니악 같은 홈브루 컴퓨터 클럽의 주요 회원들은 꿈은 컸지만 돈이 별로 없었고, 미국 기업이나 정부 기관의 자원을 활용할 수도 없었다. 잡스와 워즈니악은 잡스 소유의 폭스바겐 같은 개인 소유물을 팔아 그 돈으로 최초의 애플 컴퓨터를 만들었다. 1977년에 개인이 1,298달러의 가격(상당한 액수지만, 중산층 소비자들에게는 접근 가능한 가격이었다)으로 애플 II 개인용 컴퓨터를 구입할 수 있었던 것은 기술의 여신이 예정해둔 필연적인 운명이 아니라, 이런 개인들의 결정 덕분이었다.
p340
컴퓨터 네트워크는 수많은 인간 활동이 모이고 교차하는 연결 고리nexus가 되었다. 거의 모든 금융 거래, 사회적 혹은 정치적 거래의 중심에는 이제 컴퓨터가 있다. 결과적으로 우리는 결국 신의 눈을 피할 수 없었던 낙원의 아담과 이브처럼 감시의 눈길을 피할 수 없다.
p342
2014, 2015년경 미국 국가안보국NSA은 스카이넷이라는 AI 시스템을 도입했다. 스카이넷은 개인별 통신 내역, 글, 여행 기록, 소셜 미디어 게시물 등 다양한 전자 데이터를 수립하고 분석하여 사람들을 '테러 용의자' 목록에 올렸다. 한 보고서에 따르면 그 AI 시스템은 "파키스탄의 휴대폰 네트워크를 대량으로 감시한 다음, 5,500만 명의 휴대폰 네트워크 메타데이터에 머신러닝 알고리즘을 적용하여 각 개인이 테러범일 가능성을 평가한다"고 한다.CIA와 NSA 두 곳에서 국장은 지낸 사람은 "우리는 메타데이터를 바탕으로 사람들을 죽인다"고 선언했다. 스카이넷의 신뢰성에 대해 심각한 비판이 제기되었지만, 2020년대에 이르러 그런 종류의 기술은 훨씬 더 정교해졌고, 훨씬 더 많은 정부가 그것을 활용하고 있다.
p368
한 이야기는 스탈린주의 대숙청이 최고조에 달했던 1930년대 말 모스크바주에서 열린 지역 당 대회에서 일어난 사건을 묘사한다. 스탈린에게 경의를 표하라는 요청이 떨어지자마자, 자신들이 감시당하고 있다는 것을 아는 청중은 박수갈채를 보냈다. 5분 동안 박수가 이어지자 "손바닥이 화끈거리기 시작했고 들어 올린 팔은 벌써 아팠다. 나이가 많은 사람들은 지쳐서 숨을 헐떡이고 있었다. ..
하지만 누가 감히 맨 먼저 박수를 멈추겠는가? 솔제니친은 "NKVD 요원들이 강당에 서서 박소를 치며 누가 먼저 멈추는지 감ㅅ기하고 있었다!"고 설명한다. 빅수가 시작된 지 6분이 지나고, 다시 8분이 지나고, 어느덧 10분이 지났다. "그들은 심장마비로 쓰러질 때까지 멈출 수 없었다! ... 얼굴에 가식적인 열정을 드러내고 실낱같은 희망으로 서로를 쳐다보는 지역 당 지도자들은 선 자리에서 쓰러질 때까지 계속 박수를 칠 태세였다."
11분이 지났을 때 마침내 한 제지 공장 공장장이 목숨 걸고 박수를 멈추더니 자리에 앉았다. 그러자 다른 모든 사람도 즉시 박수를 멈추고 자리에 앉았다. 그날 밤 비밀경찰이 공장장을 체포해 10년간 수용소로 보냈다. "심문관은 그에게 앞으로는 절대 먼저 박수를 멈추지 말라고 되새겨주었다."
p371. '좋아요' 독재
이와 유사한 역학이 영향을 미쳐 21세기 컴퓨터 네트워크에도 새로운 인간형과 디스토피아를 창조할 가능성이 있다. 소셜 미디어 알고리즘이 사람들을 과격하게 만드는 데 일조하고 있는 것이 전형적인 예다. 물론 알고리즘이 사용한 방법들은 NKVD의 방법과는 완전히 달랐고, 직접적인 강압이나 폭력을 수반하지 않았다. 하지만 소련의 비밀경찰이 감시와 보상, 처벌을 통해 비굴한 인간형 호모 소비에티쿠스를 만들어낸 것처럼, 페이스북과 유튜브 알고리즘도 특정한 원초적 본능에 대해서는 보상을 제공하고 우리 본성의 선한 천사를 처벌함으로써 인터넷 트롤을 만들어냈다.
6장에서 간략하게 설명했듯이, 과격화 과정은 기업들이 미얀마에서만이 아니라 전 세계에서 자체 알고리즘에 이용자 참여를 높이는 임무를 맡기면서 시작되었다. 예를 들어 2012년에 이용자들은 유튜브에서 매일 1억 시간 분량의 동영상을 시청하고 있었다. 기업 경영진은 그것으로 만족하지 않고 알고리즘에 2016까지 하루 10억 시간을 달성하라는 야심 찬 목표를 설정했다. 유튜브 알고리즘은 수백만 명을 대상으로 시행착오를 거듭한 끝에 페이스북 알고리즘이 학습한 것과 동일한 패턴을 발견했다. 즉 분노를 유발하는 내용은 참여도를 높이지만 온건한 내용은 그렇지 않은 경향이 있었다. 이에 따라 유튜브 알고리즘은 수백만 명의 이용자들에게 터무니없는 음모론을 추천하는 동시에 온건한 콘텐츠는 무시하기 시작했다. 2016년에 이용자들은 유튜브에서 정말로 하루 10억 시간 분량의 동영상을 시청하고 있었다.
관심을 놓고 경쟁하는 유튜버들은 거짓말로 가득한 터무니없는 영상을 올리면 알고리즘이 수많은 이용자에게 그것을 추천해주고 따라서 인기와 수익을 얻을 수 있다는 사실을 알게 되었다. 반대로 분노의 강도를 낮추고 진실을 보여주면 알고리즘은 그것을 무시하는 경향이 있었다. 알고리즘이 이런 식으로 강화 학습을 제공한 지 몇 달 만에 많은 유튜버가 트롤로 변신했다.
사회적, 정치적 파급 효과는 어마어마했다. 예를 들어 저널리스 텍스 2022년에 출간된 저서 《혼돈 기계The Chaos Machine》에서 보여주었듯이, 유튜브 알고리즘은 브라질 극우 세력을 부상시키고 주변 인물이던 자이르 보우소나르를 브라질 대통령으로 만드는 데 중요한 역할을 했다. 다른 요인들도 이 정치적 격변에 기여했지만, 보우소나르의 주요 지지자와 보좌관 중 상당수가 원래 유튜버였다가 알고리즘 덕분에 유명세와 권력을 얻었다는 사실은 주목할 만하다.
p378
유해한 영향이 드러나면서 거대 기술 기업들은 지금 벌어지고 있는 일에 대해 여러 차례 경고를 받았지만, 그들은 정보에 대한 순진한 관점을 믿기 때문에 개입하지 않았다. 플랫폼에 허위 사실과 분노가 넘쳐나는데도 경영진은 더 많은 사람들이 더 자유롭게 자신을 표현할 수 있다면 결국 진실이 승리할 것이라고 기대했다. 하지만 그런 일은 일어나지 않았다. 우리가 그동안의 역사에서 숱하게 보았듯이, 모든 정보가 여과 없이 흐르도록 내버려두면 진실이 지는 경향이 있다. 서울을 진실 쪽으로 기울이려면, 정보 네트워크가 진실을 말하는 사람에게 보상을 제공하는 강력한 자정 장치를 개발하고 유지해야 한다. 이런 자정 장치는 비용이 많이 들지만, 진실을 얻고 싶다면 반드시 그것에 투자해야 한다.
p383
나 역시 사람들과 소통하기 위해 유튜브와 페이스북을 일상적으로 이용하며, 남편과 나를 연결해준 소셜 미디어에 감사한다. 나는 2002년에 처음 생긴 성 수사자 소셜 미디어 플랫폼들 중 하나에서 남편을 만났다. 소셜 미디어는 성 소수자들처럼 여기저기 흩어져 살아가는 소수자들에게 기적을 일으켰다. 게이 동네의 게이 가정에 태어나는 게이 소년은 거의 없으며, 인터넷이 생기기 전에는 게이 하위문화가 있는 소수의 관용적인 국제도시로 이사 가지 않는 한 서로를 찾는 것조차 힘들었다. 1980년대부터 1990년대 초까지동성애를 혐오하는 이스라엘의 작은 도시에서 자라면서 나는 커밍아웃한 게이 남성을 한 명도 보지 못했다. 1990년대 말부터 2000년 대 초까지 소셜 미디어는 흩어져 있던 LGBTQ 집단의 구성원들에게 역사상 최초로 서로를 찾아 소통할 수 있는 마법과도 같은 수단을 제공했다.
그럼에도 내가 소셜 미디어의 '이용자 참여' 사태에 큰 관심을 기울인 이유는 그것이 컴퓨터가 안고 있는 훨씬 더 큰 문제인 '정렬 문제'를 잘 보여주는 예이기 때문이다. 컴퓨터는 가령 유튜브 트래픽을 하루 10억 시간으로 늘리라는 것 같은 목표가 주어지면 이 목표를 달성하기 위해 모든 힘(계산 능력, 처리 속도, 데이터 저장 용량)과 독창성을 동원한다. 그런데 컴퓨터는 인간과는 매우 다르게 작동하기 때문에, 인간 주인이 예상하지 못한 방법을 사용할 가능성이 높다. 이는 애초에 인간이 설정한 목표에 부합하지 않는, 예기치 못한 위험한 결과를 야기할 수 있다. 추천 알고리즘이 혐오를 조장하는 행위를 멈춘다 해도, 정렬 문제의 또 다른 사례들이 반로힝야 운동보다 더 큰 재앙을 초래할지도 모른다. 컴퓨터가 더 강력하고 독립적이 될수록 이런 위험은 커진다.
p385
가령 멕시코가 작은 이웃 나라인 벨리즈를 침공하여 정복할지 여부를 두고 고민하고 있다고 가정해보자. 그리고 상세한 군사 분석 결과, 멕시코 군대가 침공하면 벨리즈의 소규모 군대를 격파하고 사흘 만에 수도 벨모판을 정복함으로써 신속하고 확실한 군사적 승리를 거둘 수 있다는 결론을 얻었다고 치자, 하지만 클라우제비츠에 따르면 그것은 멕시코가 벨리즈를 침공할 합리적인 이유가 되지 않는다. 군사적 승리를 확보할 수 있다는 것 자체는 아무 의미가 없다. 멕시코 정부가 해야 할 핵심 질문은 '군사적 성공으로 어떤 정치적 목표를 달성할 수 있는가?'다.
역사에는 결정적인 군사적 승리가 정치적 낭패로 이어진 사례가 부지기수다. 클라우제비츠에게 가장 명백한 예는 가까운 곳에 있었다. 즉 나폴레이옹이 갔던 길이다. 나폴레옹의 구나적 천재성에는 아무도 이의를 제기하지 않는다. 나폴레옹은 전략과 전술 모두에 능통했다. 하지만 그는 일련의 승리로 광대한 영토를 일시적으로 장악할 수 있었을망정 지속적인 정치적 성과를 얻지는 못했다. 그의 군사 정복은 대부분의 유럽 열강들이 그에게 맞서 연합할 빌미를 제공했을 뿐이며, 그의 제국은 그가 스스로 황제에 오른 지 10년 만에 무너졌다.
사실 장기적인 관점에서 보면 나폴레옹의 승리는 프랑스가 영구적으로 쇠퇴하는 길을 닦았다. 수 세기 동안 프랑스는 유럽에서 지정학적으로 가장 영향력 있는 국가였는데, 이는 무엇보다도 이탈리아와 독일이 통일된 정치적 실체로 존재하지 않았기 때문이다. 이탈리아는 수십 개의 전쟁 중인 도시국가, 봉건 영지, 교회 영토가 뒤섞여 있었다. 독일의 경우는 명목상의 종주권을 가진 신성로마제국 아래 1,000개가 넘는 독립적인 정치체가 느슨하게 결합된, 훨씬 더 기괴한 직소퍼즐이었다. 1789년에 독일이나 이탈이라가 ㅍ랑스를 침략한다는 것은 상상도 못 할 일이었다. 독일 군대, 또는 이탈리아 군대 같은 것이 존재하지 않았기 때문이다.
나폴레옹은 자신의 제국을 중앙 유럽과 이탈리아 반도로 확장하면서 1806년에 신성로마제국을 해체했고, 독일과 이탈리아의 여러 작은 공국들을 더 큰 영토 블록으로 통합하여 라인동맹과 이탈리아왕국을 세웠으며, 이 영토들을 나폴레옹 왕조 통치 아래 통일하려고 했다. 한편으로 그의 승리한 군대는 근대 민족주의와 국민주권의 이상을 독일과 이탈리아 땅에 전파했다. 사실 나폴레옹은 기존의 구조를 해체하여 독일인들과 이탈리아인들에게 민족 통합의 경험을 맛보게 함으로써 의도치 않게 독일(1866~1871)과 이탈리아(1848~1871)의 최종 통합을 위한 토대를 마련했다. 비슷한 시기에 여러 작은 나라로 비슷하게 나눠져 있던 두 국가가 하나의 민족국가로 통일되는 과정은 1870년부터 1871년까지 이어진 프로이센-프랑스 전쟁에서 독일이 프랑스를 상대로 승리함으로써 마무리되었다. 새롭게 통일되어 민족주의 열기로 달아오른 두 강국을 동쪽 국경에 두게 된 프랑스는 다시는 예전의 지배적 지위를 되찾지 못했다.
군사적 승리가 정치적 패배로 이어진 더 최근의 사레는 2003년 미국의 이라크 침공이다. 미국은 모든 중요한 교저에서 승리했지만 장기적인 정치적인 목표는 단 하나도 달성하지 못했다. 미국의 군사적 승리는 이라크에 우호적인 정권을 세우지도, 중동에 우호적인 지정학적 질서를 확립하지도 못했다. 이 전쟁의 진정한 승자는 이란이었다. 미국의 군사적 승리는 이라크를 이란의 전통적 적국에서 속국으로 바꾸었다. 이로써 중동에서 미국의 입지는 크게 약화된 반면 이란은 지역의 패권국으로 부상했다.
나폴레옹과 조지 W. 부시 ㅁ두 정렬 문제의 희생자였다. 그들의 단기적인 군사 목표가 자국의 장기적인 지정학적 목표에 부합하지 않았던 것이다. 우리는 클라우제비츠의 《전쟁론》을, '승리의 극대화'는 '이용자 참여의 극대화'만큼이나 근시안적인 목표라는 경고로 이해할 수 있다. 클라우제비츠 모델에 따르면, 정치적 목표가 분명해야 군대가 그 목표를 달성하기 위한 군사전략을 결정할 수 있다. 그다음에는 하급 장교들이 그 전반적인 전략에서 전술적 목표를 이끌어낼 수 있다. 이 모델은 장기 정책, 중기 전략, 단기 전술 사이에 명확한 위계를 세운다. 전술은 어떤 전략적 목표에 부합할 경우에만, 전략은 어떤 정치적 목표에 부합할 경우에만 합리적인 것으로 간주된다. 하급 중대장의 국지적인 전술적 결정조차도 전쟁의 궁극적인 정치적 목표에 부합해야 한다.
p389
정렬 문제가 컴퓨터 네트워크의 맥락에서 특히 위험한 이유 중 하나는 이 네트워크가 이전의 어떤 관료제보다 강력해질 가능성이 있기 대문이다. 초지능을 지닌 컴퓨터들의 목표가 인간이 설정한 목표에 부합하지 않을 경우 인류가 한 번도 겪어보지 못한 규모의 재앙이 일어날지도 모른다. 철학자 닉 보스트롬은 2014년 출간한 저서 《슈퍼인텔리젼스Suprintelligence》에서 괴테의 <마법사의 제자>를 떠올리게 하는 사고실험을 통해 이런 위험을 실감나게 보여주었다. 보스트롬의 사고실험은 이렇다. 클립 공장에서 초지능 컴퓨터 한 대를 구입하고, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 언뜻 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성들까지 모조리 점령하더, 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다.
이 사고실험의 핵심은 컴퓨터가 (괴테의 시의 등장하는 마법에 걸린 빗자루처럼) 시킨 일을 정확히 실행했다는 것이다. 초지능 컴퓨터는 더 많은 공장을 지어 더 많은 클립을 생산하려면 전기, 강철, 땅, 등 자원이 많이 필요하지만 인간이 이 자원들을 순순히 내어줄 리 없다는 것을 깨달았다. 그래서 오직 주어진 목표를 달성할 생각으로 컴퓨터는 모든 인간을 제거했다. 보스트롬이 지적하고 싶었던 점은 컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다는 것이었다. 그리고 컴퓨터가 강력해질수록 우리가 컴퓨터의 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 기해야 한다는 것이다. 휴대용 계산기에 오정렬된 목표를 설정했다면 큰일은 나지 않는다. 하지만 오정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다.
p392
컴퓨터의 정렬 문제를 걱정해야 하는 세 번째 이유는 컴퓨터는 우리와 너무 달라서 우리가 오정렬된 목표를 설정하는 실수를 저질러도 그것을 알아차리거나 설명을 요청할 가능성이 낮다는 점이다.
만일 그 보트 게임 AI가 인간 게이머였다면, 게임 규칙에서 발견한 허점이 '승리'라는 목표에 부합하지 않는다는 사실을 깨달았을 것이다. 만일 클립 AI가 인간 관료였다면, 클립을 생산하기 위해 인류를 파괴하는 것은 의도한 목표가 아님을 깨달았을 것이다. 하지만 컴퓨터는 인간이 아니므로 컴퓨터가 목표의 오정렬을 알아채고 경고 신호를 보낼 것이라고 기대해서는 안 된다. 2010년대에 유튜브와 페이스북 경영진은 알고리즘이 초래하고 있는 피해에 대해 내부 직원들뿐만 아니라 외부 관찰자로부터도 수차례 경고를 받았지만, 알고리즘 자체는 아무런 경고를 보내지 않았다.
p398
'내재적 선'이 정확히 무슨 뜻일까? 내재적으로 선한 법칙을 정의하려고 시도한 가장 유명한 사람은 클라우제비츠와 나폴레옹의 동시대 사람인 이마누엘 칸트였다. 칸트는 내재적으로 선한 법칙이란 나 자신이 보편적인 것으로 만들고 싶은 모든 법칙이라고 주장했다. 이 견해에 따르면, 누군가를 죽이기로 작정한 사람은 일단 행동을 멈추고 다음과 같은 사고 과정을 거쳐야 한다. '나는 지금 사람을 죽이려고 한다. 나는 '사람을 죽여도 된다'는 보편적 법칙을 만들고 싶은가? 그런 보편적 법칙이 생긴다면 누군가가 나를 죽일지도 모른다. 따라서 살인을 허용하는 보편적 법칙은 존재해서는 안 된다. 그렇다면 나도 사람을 죽여서는 안 된다.' 쉽게 말하자면, 칸트는 오래된 황금률인 "남에게서 바라는 대로 남에게 해주어라"(<마태오의 복음서> 7:12)를 재구성한 것이다.
'우리 각자는 다른 모든 사람이 이렇게 행동했으면 좋겠다고 생각하는 방식으로 행동해야 한다'는 것은 간단하고 당연한 생각처럼 들린다. 하지만 철학이 다루는 추상적인 사고 영역에서 훌륭하게 들리는 아이디어가 역사의 냉혹한 현실로 이주하는 데는 어려움이 따른다. 역사학자들은 칸트에게 무엇보다 이렇게 물을 것이다. 보편적 법칙에 대해 말할 때 당신은 '보편적'을 정확히 어떻게 정의하는가? 실제 역사적 상황에서 누군가가 살인을 저지르려 할 때 가장 먼저 밟는 단계는 그 피해자를 인류라는 보편적 공동체에서 배제하는 것이다. 예를 들어 위라투 같은 반로힝야 극단주의자들이 바로 이렇게 했다. 불교 승려 위라투는 분명 신도들에게 인가을 죽이지 말라고 말했을 것이다. 하지만 그는이 보편적 법칙이 로힝야족을 죽이는 데는 적용되지 않는다고 생각했다. 로힝야족은 인간 이하의 존재로 간주되었기 때문이다. 소셜 미디어 게시 글과 인터뷰에서 위라투는 로힝야족을 반복적으로 짐승, 뱀, 미친 개, 늑대, 자칼 등 위험한 동물에 비유했다. 반로힝야 폭력이 최고조에 이르렀을 때인 2017년 10월 30일, 지위가 더 높은 또 다른 불교 승려는 군 장교들에게 설교하면서 불교도가 아닌 사람들은 '완전한 인간이 아니다'라는 말로 로힝야족에 대한 폭력을 정당화했다.
p404
비인간화가 대학살의 전조였다고 말한 앞의 내용에 비추어 볼 때, 칸트가 동성애자를 비인간화한 것은 주목할 만한 지점이다. 동성애는 자연 질서에 위배되며 인간을 인간답지 않게 만든다는 견해는 아이히만 같은 나치가 강제수용소에 동성애자들을 살해하는 것을 정당화할 수 있는 길을 열어주었다. 동성애자들은 동물보다 낮은 수준으로 여겨졌기 때문에 인간을 살해하면 안 된다는 칸트의 보편 법칙은 동성애자들에게는 적용되지 않았다.
공리주의자들의 관점에서 칸트의 성 이론은 논할 가치도 없는 것이며, 벤담은 실제로 동성애를 범죄의 범주에서 제외하는 데 찬성한 유럽 최초의 근대 사상가 중 한 명이었다. 공리주의자들은 동성애를 어떤 의심스러운 보편 법칙을 앞세워 처벌하는 것은 수백 만 명에게 엄청난 고통을 초래할 뿐 그 밖의 사람들에게 어떤 실질적 이익도 주지 않는다고 주장한다. 두 남성이 연인이 되면 두 사람이 행복할 뿐 다른 누구도 비참해지지 않는다. 그렇다면 왜 동성애를 금지해야 하는가? 이런 종류의 공리주의 논리는 고문 금지와 동물에 대한 법적 보호 등 많은 개혁으로 이어졌다.
p413
수만 년 동안 인간이 행성 지구를 지배할 수 있었던 것은 우리가 기업, 화폐, 신, 국가 같은 상호주관적 현실을 창조하고 유지할 수 있고 그러한 현실을 이용해 대규모 협력을 조직할 수 있는 유일한 존재였기 때문이다. 이제 컴퓨터도 비슷한 능력을 획득할지 모른다.
p419
예를 들어 2016년 3월 23일 마이크로소프트사가 AI 챗봇 테이Tay를 출시하고 트위터에 자유롭게 접근할 수 있게 했다. 그러자 몇 시간 내에 테이는 여성 혀모적이고 반유대주의적인 트윗을 올리기 시작했다. 예를 들어 "나는 페미니스트가 존나 싫어. 개네들은 모두 죽어서 지옥 불에 떨어져야 해" "히틀러가 옳았어. 나는 유대인을 극혐해"와 같은 내용이었다. 독설의 수위는 점점 높아졌고, 결국 기겁한 마이크로소프트 개발자들이 테이를 종료했다. 출시한 지 겨우 열여섯 시간 만이었다.
p434
스탈린주의와 나치즘도 산업사회를 제대로 건설하는 방법을 배우기 위해 치러야 했던 지독히 값비싼 실험이었다. 스탈린과 히틀러 같은 지도자들은 산업혁명이 풀어놓은 엄청난 힘을 제어하여 온전히 활용할 수 있는 체제는 전체주의뿐이라고 주장했다. 이들은 역사상 최초의 '총력전'인 제1차 세게대전을 증거로 들면서, 산업세계에서 살아남기 위해서는 정치, 사회, 경제의 모든 부분에서 전체주의적 통제가 필요하다고 역설했다. 또한 이들은 산업혁명은 긍정적으로 보면 인간의 불완전함과 약점을 가진 이전의 모든 사회구조를 녹이는 용광로와 같아서, 완벽한 초인이 거주하는 완벽한 사회를 만들 기회를 제공한다고 주장했다.
완벽한 산업사회를 만드는 과정에서 스탈린주의자들과 나치는 수백만 명을 산업적으로 살해하는 방법을 터득했다. 기차(대규모 수송), 철조망(수용소), 전신으로 전달되는 명령이 결합하여 전례 없는 살인 기계가 탄생했다. 오늘날 대부분의 사람들은 스탈린주의자와 나치가 저지른 만행에 경악하지만, 당시에는 수백만 명이 그들의 대담한 비전에 매료되었다. 1940년에는 스탈린과 히틀러가 산업기술을 활용하는 모범 사례이고 머뭇거리는 자유민주주의 국가들은 역사의 뒤안길로 사라질 운명이라고 믿기 쉬웠다.
산업사회를 구축하는 경쟁적인 방식들이 존재한다는 사실 자체가 막대한 비용을 초래하는 충돌의 불씨였다. 두 차례의 세계대전과 냉전은 무엇이 올바른 방법인지를 두고 벌어진 논쟁으로 볼 수 있다. 이 논쟁의 모든 참가자는 전쟁을 치르는 새로운 산업적 방법을 실험하며 서로에게 배웠다. 하지만 이 논쟁 과정에서 수천만 명이 죽었으며, 인류는 멸망에 위험할 정도로 가까이 다가갔다.
p439
많은 책들이 디지털 시대에 민주주의 사회가 어떻게 생존하고 번영할 수 있는지 소개한다.
전문가들은 당연히 평생을 바쳐 세부적인 내용을 다루어야 하지만, 나머지 사람들은 민주주의가 따를 수 있고 따라야 하는 기본 원리들을 이해하는 것이 중요하다. 강조하고 싶은 점은, 이 원리들이 새로운 것도 신비로운 것도 아니라는 것이다. 이 원리들은 수백 년, 심지어 수천 년 동안 존재해왔다. 시민들은 이 원리들이 컴퓨터 시대의 새로운 현실에도 지켜지도록 요구해야 한다.
첫 번째 원리는 선의다. - 정부, 기관, 기업체에서 수집되는 정보들은 선한 목적으로 수집되고 이용되어져야 한다. 개인의 프라이버시는 최대한 보호되어야 한다. 궁극적으로는 공리주의의 최대 가치에 따라 공동체의 이익을 최대화 시키는데 부합되어져야 한다.
전체주의 감시체제의 등장으로부터 민주주의를 보호할 두 번째 원리는 분권화다. 민주주의 사회는 정보가(허브가 정부든 민간 기업이든) 한 곳에 집중되는 것을 절대 허용해서는 안 된다. 국가가 시민들에 대한 정보를 수집하는 국립 의료 데이터베이스를 구축한다면, 더 나은 의료 서비스를 제공하고, 전염병을 예방하고, 신약을 개발하는 데 매우 유용하겠지만, 이런 데이터베이스를 경찰, 은행, 보험회사의 데이터베이스와 병합하는 것은 매우 위험한 생각이다. 그렇게 한다면 의사, 은행원 보험사 직원,경찰이 더 효율적으로 일할 수 있겠지만, 이런 초고효율은 자칫하면 전체주의로 가는 길을 열 수 있다. 민주주의의 생존이라는 측면에서 보면 약간의 비효율은 버그가 아니라 기능이다. 개인의 사생활과 자유를 보호하기 위해서는 경찰도 상사도 우리에 대해 모든 것을 알지 못하게 하는 것이 최선이다.
복수의 데이터베이스와 정보 채널은 강력한 자정 기능을 유지하기 위해서도 필요하다. 자정 기능이 잘 작동하기 위해서는 정부, 법원, 언론, 학계, 민간 기업, NGO 등 서로 균형을 이루는 다양한 기관이 필요하다. 이 모든 기관은 오류와 부패로부터 자유롭지 않기 때무에 서로 견제가 필요하다. 이런 기관들이 서로를 감시하기 위해서는 각기 독립적인 정보 채널을 가지고 있어야 한다.
세 번째 민주주의 원리는 상호주의다. 민주주의 국가가 개인에 대한 감시를 강화할 경우 정부와 기업에 대한 감시도 동시에 강화해야 한다.
민주주의에는 균형이 필수다. 정부와 기업은 종종 하향식 감시도구로 쓰기 위해 앱과 알고리즘을 개발한다. 하지만 알고리즘은 강력한 상향식 도구도 될 수 있다. 시민들은 알고리즘을 통해 정부와 기업이 뇌물 수수나 탈세 등의 부정행위를 저지르는지 감시하여 책임을 물을 수 있다. 그들이 우리에 대해 많은 것을 알지만 동시에 우리도 그들에 대하 많은 것을 알 때 균형이 맞춰진다.
상호 감시는 자정 기능을 유지하는 데도 중요하다. 시민들이 정치인이나 기업 CEO의 활동을 잘 알수록 책임을 묻고 그들의 실수를 바로잡기 쉬워진다.
네 번째 민주주의 원리는 감시 시스템에 항상 변화와 휴식의 여지를 남겨야 한다는 것이다.
민주주의 사회가 강력한 감시 기술을 도입할 때는 지나친 경직성과 지나친 유연성이라는 양극단을 경계해야 한다.
역사에는 인간의 변화 능력을 부정하는 경직된 카스트제도가 무수히 많았지만, 인간을 점토처럼 빚으려고 시도한 독재자들도 많았다. 두 극단 사이에서 중간 지점을 찾는 것은 끝이 없는 과제다.
p467
2016년 3월 알파고가 한국의 바둑 챔피언 이세돌을 꺽었을 때 바둑 전문가들과 컴퓨터 전문가들 모두가 경악했다(3:0으로 알파고가 이기면서 4:0 완패가 예상되었을 때, 4국에서 기적적으로 역전승을 거두면서 당시 이세돌이 둔 78번째 수가 '신의 한수'라며 화제가 되었다. 결국 5국에서 알파고가 승리하여 AI가 당시 세계 최고의 바둑기사 이세돌을 꺽는다. 여담으로 당시 78번째 수에 대해 당시 세계 최정급의 기사들이 연구를 거듭해서 타계의 수단이 있었음을 밝혔다. 물론 세계 최정상급 기사들이 수일의 걸친 연구끝에 타계책을 내놓은 것이기 때문에 당시의 알파고로서도 타계의 수단을 못찾았을 것이다 ).
딥마인드의 공동 창립자였던 무스타파 술레이만은 당시 대국에서 진짜 '신의 한수'는 알파고가 2국에서 이미 보여줬다고 후일 이야기했다.
그 일은 2016년 3월 10일 두 번째 대국에서 일어났다.
"그때 (...) 37번째 수가 나왔다." 술레이만은 이렇게 쓴다. "이해가 되지 않았다. 알파고가 곤란을 자초한 것처럼 보였다. 어떤 바둑 기사도 선택하지 않을 패배가 분명한 전략을 무작정 따르고 이"ㅆ었다. 둘 다 프로 바둑 시가인 생중계 해설자들은 '매우 이상한 수'라고 말했고 '실수'라고 생각했다. 너무 이례적인 수라서 이세돌은 응수하기까지 15분이나 걸렸고 심지어 자리에서 일어나 바깥에서 걷기까지 했다. 통제실에서 지켜보던 우리는 그 긴장이 비현실적으로 느껴졌다. 하지만 종반전으로 접어들면서 '실수'처럼 보였던 수가 결정적인 수였다는 것이 밝혀졌다. 알파고가 다시 승리했다. 바둑 전략이 우리 눈앞에서 다시 쓰이고 있었다. AI는 수천 년 바둑 역사상 가장 뛰어난 기사들에게 한 번도 떠오르지 않은 아이디어를 발견한 것이다.
37번째 수가 AI 혁명의 상징으로 여겨지는 데는 두 가지 이유가 있다. 첫째, 그것은 AI의 이질적인 성격을 보여주었다. 동아시아에서 바둑은 게임 이상의 의미를 갖는 귀중한 문화적 전통이다. 서예, 그림, 음악과 함께 바둑은 교양 있는 사람이라면 반드시 알아야 하는 네 가지 기예 중 하나였다. 2,500여 년 동안 수천만 명이 바둑을 두었으며, 이 게임을 둘러싸고 온갖 학파가 생겨나 각기 다른 전략과 철학을 내세웠다. 하지만 그 수천 년 동안 인간의 정신은 바둑의 지형에서 특정 영역만을 탐색했던 것이다. 다른 영영은 미지의 장소로 남았는데, 인간의 정신이 그곳을 개척할 생각을 하지 않았기 때문이다. 인간 정신의 한계로부터 자유로운 Ai는 이제까지 공개되지 않았던 영역들을 발견하고 탐험했다.
둘째, 37번째 수는 AI의 불가해성을 보여주었다. 알파고가 이 수를 두어 승리를 거두었는데도 술레이만과 그의 팀은 어떻게 알파고가 그런 결정을 했는지 설명하지 못했다. 법원이 딥마인드사에 이세돌에게 설명을 제공하라고 명령했더라도 아무도 그 명령을 이행할 수 없었을 것이다. 술레이만은 이렇게 썼다. "인간은 새로운 도전에 직면해 있다. 새로운 발명품들은 우리가 이해할 수 있는 수준을 넘어설 것인가? 이전의 발명가들은 자신의 발명품이 어떻게 작동하는지, 왜 그렇게 작동하는지, 비록 많은 세부 내용이 필요하더라도 설명할 수 있었다. 그런데 더 이상 그렇지 않다. 많은 기술과 시스템이 너무 복잡해지고 있어서 어느 누구도 진정으로 이해하기 어렵다. (....) 특히 AI 분야에서 점점 자율성을 향해 나아가고 있는 신경망은 현재로서는 설명이 불가능하다. 한 알고리즘이 왜 특정한 예측을 했는지 그 의사 결정 과정을 누군가에게 단계별로 설명하는 것은 불가능하다. 개발자들은 시스템 내부를 들여다보며 무엇이 어떤 행동을 일으켰는지 자세히 설명할 수 없다. GPT-4, 알파고 등은 모두 블랙박스이며, 그들의 출력과 결정은 불투명하고 이해할 수 없을 정도로 복잡한 미세 신호들의 연쇄에 기반한다.
불가해하고 이질적인 지능의 등장은 민주주의의 근본을 흔든다. 만일 인간의 삶에 대한 더 많은 결정이 블랙박스 안에서 이루어져 유권자들은 그 결정을 이해할 수도 이의를 제기할 수도 없다면 민주주의는 작동하지 않을 것이다.
p476 추락
알고리즘을 심사하는 규제가관은 알고리즘을 분석하는 데 그치지 않고 밝혀낸 사실을 사람들이 이해할 수 있는 이야기로 번역할 필요가 있다. 그렇게 하지 않으면 우리는 규제 기관을 신뢰하지 못하고 대신 음모론과 강력한 지도자를 맹신하게 될 것이다. 3장에서 언급했듯이 인간이 관료제를 잘 이해하지 못하는 이유는 관료제가 생물학적 드라마의 각본을 따르지 않기 때문이고, 대부분의 예술가들은 관료주의 드라마를 묘사할 의지나 능력이 없다. 예를 들어 21세 정치를 소재로 한 소설, 영화, 텔레비전 시리즈는 몇몇 권력자 가문의 불화와 연예에 초점을 맞추는 경향이 있다. 마치 오늘날 국가가 고대 부족이나 왕족과 동일한 방식으로 통치되는 것처럼 말이다. 이렇게 왕조의 생물학적 드라마에 시선을 고정하는 예술 작품들으 수 세기에 걸쳐 권력이 작동하는 방식에 일어난 실질적인 인 별화를 제대로 조명하지 못한다.
앞으로 컴퓨터가 점점 더 많은 인간 관료와 신화 제작자를 대체함에 따라 권력의 근본 구조가 다시 한번 바뀔 것이다. 민주주의가 살아남기 위해서는 이 새로운 구조를 면밀하게 조사할 수 있는 전담 관료 기관뿐 아니라 새로운 구조를 이해하기 쉽고 재미있는 방식으로 설명할 수 있는 예술가도 필요하다. 예를 들어, SF 시리즈 <블랙 미러Black mirror>의 한 에피소드인 <추락Nosedive>이 이런 역할을 성공적으로 해냈다.
사회신용 제도에 대해 들어본 사람이 거의 없던 2016년에 제작된 <추락>은 그런 시스템이 어떻게 작동하고 어떤 위험을 야기하는지 훌륭하게 보여주었다. 이 에피소드는 레이시라는 여성의 이야기를 그려낸다. 그녀는 남동생 라이언과 함께 살지만 혼자 사는 아파트로 이사하기를 원한다. 그런데 새 아파트 구매 비용을 할인받으려면 사회신용 점수를 4.2점에서 4.5점(5점 만점)으로 올려야 한다. 점수가 높은 사람들과 친구가 되면 점수가 올라가기 때문에 레이지는 평점이 4.8점인 어린 시절 친구 나오미와 다시 연락하려고 시도한다. 레이시는 나오미의 결혼식에 초대받지만, 가는 길에 평점이 높은 사람에게 커피를 쏟는다. 이 사건으로 레이시의 평점이 조금 깍이고, 이 때문에 항공사가 비행기 좌석을 발행해주지 않는다. 그때부터 잘못될 수 있는 모든 일이 잘못되어 레이시의 평점은 추락하고, 결국 평점이 1점 밑으로 떨어지면서 레이시는 감옥에 갇힌다.
이 이야기는 전통적인 생물학적 드라마가 가진 몇 가지 요소에 의존한다. '소년과 소녀의 만남'(결혼식), 동기간 경쟁(레이시와 라이언 사이의 긴장), 그리고 가장 중요한 지위 경쟁(이 에피소드의 주요 쟁점)이다. 하지만 실제 주인공이자 플롯을 이끌고 가는 힘은 레이시도 나오미도 아닌, 사회신용 제도를 운영하는 실제 없는 알고리즘이다. 그 알고리즘은 오래된 생물학적 드라마의 역학, 특히 지위 경쟁이 작동하는 방식을 완전히 바꿔놓는다. 예전에도 사람들은 때때로 지위 경쟁에 참여했지만 스트레스가 심하면 상황을 벗어나 휴식을 취할 수 이"ㅆ었다. 그러나 이제는 어디에나 존재하는 사회신용 알고리즘 탓에 휴식은 불가능하다. <추락>은 생물학적 지위 경쟁을 둘러싼 진부한 이야기가 아니라. 컴퓨터 기술이 지위 경쟁의 규칙을 바꿀 때 일어날 일을 예견하는 통찰력 있는 탐구다.
만일 관료와 예술가가 서로 협력할 수 있고 두 집단이 컴퓨터의 도움을 받는다면, 컴퓨터 네트워크가 이해할 수 없는 존재가 되는 상황을 막을 수 있을지도 모른다. 민주주의 사회가 컴퓨터 네트워크를 이해하는 한, 민주주의의 자정기능은 AI의 오용을 막는 최선의 방책이 된다. 한 예로 2021년에 제안된 유럽연합의 AI법은 <추락>에 등장하는 것과 같은 사회신용 제도가 "차별적인 결과를 초래하고 특히 집단을 베재할 수 있으며" "존업성과 차별받지 않을 권리, 평등과 정의의 가치를 침해할 수 있다"는 이유로 그것을 완전히 금지되어야 하는 몇 가지 유형의 AI 중 하나로 지정했다. 사회신용 제도도 전체주의적 감시 체제와 마찬가지로, 만들 수 있다고 해서 반드시 만들어야 하는 것은 아니다.
p478
민주주의가 제대로 작동하려면 두 가지 조건을 충족해야 한다. 첫째, 중요한 쟁점에 대해 자유롭고 공개적으로 토론할 수 있어야 하고, 둘때, 사회질서와 제도에 대한 신뢰가 어느 수준 이상으로 유지되어야 한다. 자유로운 대화가 아무리 중요하다고 해도 무정부 상태로 빠져서는 안 된다. 특히 긴급하고 중요한 문제를 다룰 /때, 공개 토론은 정해진 규칙에 따라 진행되어야 하며, 모두가 동의하지 않을 때도 어떤 종류의 최종 결정을 도출할 수 있는 합법적인 장치가 있어야 한다.
신문과 라디오 같은 현대 정보 기술이 등장하기 전에는 대규모 사회에서 자유로운 토론과 제도적 신뢰를 결합하는 것이 불가능했기 때문에 대규모 민주주의가 불가능했다. 그런데 이제 새로운 컴퓨터 네트워크 때문에 대규모 민주주의가 다시 불가능해진 건 아닐까? 한 가지 문제는 컴퓨터 네트워크가 토론 참여를 더 쉽게 만든다는 점이다. 과거에서는 신문사, 라디오 방송숙, 정당 같은 조직이 공론장의 문지기 역할을 하며 누가 목소리를 낼지 결정했다. 소셜 미디어가 이런 문지기들의 힘을 약화한 결과, 공론장은 전보다 개방되었지만 그만큼 무질서해졌다.
새로운 집단이 대화에 참여할 때마다 새로운 관점과 이해관계가 추가되고, 토론을 진행하고 결정에 도달하는 방법에 대한 기존 합의에도 균열이 생긴다. 그러면 토론 규칙을 새로 협의해야 한다. 이는 더 포용적인 민주주의로 가는 길이라는 점에서 긍정적인 일이다. 이전의 편향을 바로잡고 권리를 박탈당했던 사람들을 공론장에 참여시키는 것은 민주주의가 의당 해야 할 일이기 때문이다. 하지만 이런 변화는 단기적으로는 혼란과 불안을 초래한다. 공개 토론을 어떻게 진행하고 결정을 어떻게 도출할지 합의가 이뤄지지 않으면 그 결과는 민주주의가 아니라 무정부 상태다.
p484
민주주의 국가가 채택할 수 있는 또 하나의 중요한 조치는 중요한 공개 토론의 콘텐츠를 선별하고 관리하는 일을 감독받지 않는 알고리즘에 맡기지 않는 것이다. 물론 소셜 미디어 플랫폼을 운영하는 데는 알고리즘을 계속 사용해도 된다. 그것은 명백한 인간이 대신할 수 없는 일이기 때문이다. 하지만 어떤 목소리를 금지하고 증폭할지 결졍하는 데 알고리즘이 사용하는 원칙은 반드시 인간이 운영하는 기관의 심사를 거쳐야 한다. 진짜 인간의 견해를 검열하는 데는 신중해야 하지만, 알고리즘이 의도적으로 분노를 확산시키는 것은 금지해도 된다. 적어도 기업들은 그들의 알고리즘이 콘텐츠 선별에 사용하는 원칙을 투명하게 공개해야 한다.
p485
민주주의 국가는 정보 시장을 규제할 수 있으며, 민주주의의 생존 자체가 이런 규제에 달려 있다는 것이다. 정보에 대한 순진한 관점은 규제를 반대하면서, 정보 시장의 완전한 자유를 보장하면 저절로 진실과 질서가 생긴다고 믿는다. 이런 인식은 민주주의의 실제 역사와는 완전히 동떨어지 것이다. 민주적인 대화를 유지하는 것은 결코 쉬운 일이 아니었고, 국회의사당과 시청부터 신문사와 라디오 방송국에 이르기까지 이런 대화가 이루어졌던 모든 장소에는 규제가 필요했다. 이질적인 형태의 지능이 이 대화를 지배하려고 위협하는 시대에 이런 규제는 더더욱 중요하다.
p486
대규모 민주주의는 거의 역사 내내 불가능했다. 대규모 정치 토론을 진행할 수 있을 만큼 정보 기술이 발전되지 않았기 때문이다. 수만 제곱킬로미터에서 흩어져 사는 수백만 명의 사람들이 공적인 문제에 대해 실시간으로 토론할 수 있는 방법이 없었다. 하지만 지금은 도리어 정보 기술이 너무 발전해서 민주주의가 불가능해질 상황이다. 만일 인간이 이해할 수 없는 알고리즘이 대화를 장악하고, 무엇보다도 타당한 주장을 억압하면서 증오와 혼돈을 부추긴다면 공개 토론은 유지될 수 없을 것이다. 그렇다 해도 만에 하나 민주주의가 무너진다면 그것은 기술 발전의 필욘적인 결과가 아니라 새로운 기술을 현명하게 규제하지 못한 인간 탓이 것이다.
p553
한 가지 교훈은, 정보의 가장 중요한 역할은 실존하는 현실을 재현하는 것이 아니라 새로운 네트워크를 짜는 것이기 때문에 새로운 정보 기술은 항상 중대한 역사적 변화를 이끌어내는 촉매가 된다는 것이다.
p555
이 책에서 AI에 대한 논의를 《성경》과 같은 공인된 경전들에 대한 논의와 나란히 배치한 이유는 우리가 지금 Ai에 권위를 부여하는 일종의 Ai 정경화 과정에 있기 때문이다. 아타나시우스 주교와 같은 교부들이 <디모테오에게 보낸 첫째 편지>를 《성경》데이터세트에 포함시키고 <바울과 테클라의 행전>은 제외하기로 결정한 일은 수 천 년 동안 우리가 사는 세계에 영향을 미쳤다. 21세기까지 수십억 명의 기독교인이 <바울과 테클라의 행전>의 관용적인 태도 대신 <디모테오에게 보낸 첫째 편지>의 여성 혐오 사상을 바탕으로 세계관을 형성했다. 지금도 방향을 되돌리기는 어려운데, 교부들이 《성경》에 아무런 자정 장치를 포함시키지 않기로 결정했기 때문이다. 오늘날 아타나시우스 주교에 해당하는 사람들은 AI의 초기 코드를 작성하고 아기 AI가 학습할 데이터세트를 선택하는 개발자들이다. AI가 더 큰 힘과 권위를 가지면서 스스로 해석하는 거룩한 책이 되고 있는 지금, 개발자들이 내리는 결정은 수 세기 후까지 파장이 미칠 것이다.
p560
현재 우리가 아는 한, 지구상에 살고 있는 유인원, 쥐, 여타 유기체들은 우주 전체에서 유일하게 의식이 있는 존재들일지도 모른다. 그런데 우리가 의식은 없지만 매우 강력한 이질적인 형태의 지능을 창조했다. 이 지능은 잘못 다룰 경우 그것은 지구에서의 인간 지배만 끝내는 게 아니라 의식의 빛 자체를 깨뜨려 우주를 완전한 암흑으로 만들지도 모른다. 우리는 이것을 막을 책임이 있다.
자기 수정을 통한 개선은 인류 역사보다 훨씬 오래된 원리다. 그것은 자연의 기본 원리요, 유기체의 근본 바탕이다. 최초의 유기체는 어떤 오류도 범하지 않는 천재나 신에 의해 창조되지 않았으며, 복잡한 시행착오 과정을 통해 출연했다. 40억 년에 걸쳐 점점 더 복잡해진 돌연변이 메터니즘과 자기 수정 장치들이 나무, 공룡, 정글, 그리고 마침내 인간을 탄생시켰다. 이제 우리는 유기체가 아닌 이질적인 종류의 지능을 불러냈고, 이 지능은 우리의 통제력을 벗어나 우리 종뿐만 아니라 수많은 다른 생명체들까지 위험에 빠드릴지도 모른다. 앞으로 우리가 어떤 결정을 내리느냐에 따라 이 낯선 지능을 소환한 것이 치명적인 실수가 될지, 아니면 생명 진화의 희망찬 새 장을 여는 시작이 될지 판가름 날 것이다.
