초지능 기계들은 인류를 파괴할 것인가?
Will Superintelligent Machines Destroy Humanity?
프랑크 허버트(Frank Herbert)의 연작 과학소설 <<듄(Dune)>>에서 인류는 "생각하는 기계"의 제작을 오래 전에 금지했다. 천 년 전에 인류의 조상들은 버틀레리안 지하드(Butlerian Jihad)로 불리는 운동에서 그런 컴퓨터들을 모두 파괴했는데, 그들은 그 기계들이 자신들을 통제한다고 느꼈기 때문이었다. 멘타트(Mentat)로 불리는 인간 컴퓨터들이 불법화된 기술의 대용품 역할을 수행했다. "기계를 인간 마음의 형상으로 만들지 말지니라"라는 오렌지 가톨릭 바이블(Orange Catholic Bible)의 계명을 위반하는 것에 대한 형벌은 즉결 처분이었다.
인류는 지능 기계의 제작을 용인해야 하는가? 그것이 옥스포드 철학자 닉 보스트롬(Nick Bostrom)의 매혹적인 새로운 책 <<초지성(Superintelligence)>>의 핵심에 놓여 있는 긴급한 쟁점이다. 보스트롬은 초지능 기계에 대한 전망이 "인류가 여태까지 직면한 가장 중요하고 가장 위협적인 난제"라고 설득력 있게 주장한다. 우리가 이 난제에 대처하지 못한다면 사악하거나 무심한 인공 지능(AI)이 우리 모두를 파괴할 것이라고 그는 결론짓는다.
20세기 중반 전자 컴퓨터가 발명된 이래로 이론가들은 기계가 인간에 비견되는 지능을 갖게 되는 방법에 관해 추측해왔다. 예를 들면, 1950년에 컴퓨터 선구자 앨런 튜링(Alan Turing)은 성인 수준의 지능에 이르도록 교육받을 수 있는 아이의 마음을 흉내내는 기계를 제작할 것을 제안했다. 1965년에 수학자 I.J. 굿(I.J. Good)은 기술이 지능의 응용에서 비롯된다고 주장했다. 지능이 지능을 향상시키는 데 기술을 적용할 때, 그 결과는 자기 향상 지능이 초지능에 이르는 길을 스스로 개척하게 되는 양의 되먹임 고리―지능 폭발―가 될 것이라고 그는 주장했다. 그는 "만약 그 기계가 우리에게 자체를 계속 제어할 수 있는 방법을 말해줄 정도로 고분고분하다면 최초의 초지능 기계는 어쨌든 인간이 만들 필요가 있는 마지막 발명품"이라고 결론지었다. 그런 제어를 유지하는 방법이 보스트롬이 다루는 쟁점이다.
AI 연구자들의 대략 10퍼센트가 10년이 지나면 인간 수준의 지능을 갖춘 최초의 기계가 제작될 것이라고 믿는다. 오십 퍼센트가 21세기 중엽에 그것이 개발될 것이라고 생각하며, 거의 모든 AI 연구자들이 21세기 말에는 그런 기계의 제작이 이루어질 것이라고 생각한다. 새로운 AI는 자체의 알고리즘을 개선할 수 있는 능력을 갖출 것이기 때문에 초지능에 이르는 폭발은 며칠, 몇 시간, 또는 심지어 몇 초 안에 일어날 것이다. 그 결과로 생긴 존재자는 "보통 인간이 딱정벌레나 지렁이에 비해서 똑똑하다는 의미에서 똑똑할" 것이라고 보스트롬은 단언한다. 컴퓨터의 처리 속도는 인간 뇌보다 백만 배 빠르기 때문에 AI는 31초마다 일 년에 해당하는 생각을 할 수 있을 것이라고 기계지능연구소의 박식가 엘리에저 유드카우스키(Eliezer Yudkowsky)는 강조한다.
보스트롬은 초지능에 이르는 다양한 행로를 그린다. 간단히 논의하면, 두 개의 행로는 인간 지능의 향상을 수반한다. 한 행로에서는, 결국 평균 지능이 300정도에 이르는 사람들을 만들어낸다고 생각하는데, 배아에서 유도된 줄기세포들이 정자와 난자와 변하며, 그것들은 다시 조합되어 후속 세대들의 배아를 생산한다. 나머지 다른 한 접근 방법은 인간 지능이 기계 지능에 의해 증강되는 뇌/컴퓨터 인터페이스를 수반한다. 어떤 식으로든 사람을 더 똑똑하게 만드는 것은 기계에서 참된 초지능을 개발하는 과정을 가속시키는 데 도움이 될 수 있을 것이라고 인정하지만, 보스트롬은 우생학적 행로와 사이보그화 행로 둘 다를 너무 투박하고 너무 제한적이라고 다소간 일축한다.
보스트롬이 사이보그화를 일축하는 것은 너무 성급할지도 모른다. 현재 파킨슨 병 같은 질환들을 다루는데 사용되는 조악한 인터페이스들은 상당한 의학적 위험을 제기한다는 점에서는 그가 옳았지만, 항상 그렇지는 않을 것이다. 또한 그는, 인터페이스들이 안전하고 신뢰할 만하게 될 수 있겠지만, 자연적 뇌의 처리 능력의 한계점들은 여전히 초지능의 개발을 불가능하게 할 것이라고 주장한다. 그렇지 않을지도 모른다. 21세기 말에는 뇌들을 직접 연결하는 나노봇들을 주입하여 거대한 용량의 컴퓨터 능력을 갖추는 것이 가능할지도 모른다. 그런 시나리오에서는 지적 처리의 대부분은 기계들에 의해 수행될 것이지만, 연결된 뇌들이 사이보그를 인도하는 가치와 목표 중심이 된다.
어쨌든 보스트롬의 경우에는 초지성에 이르는 두 가지 주요한 행로, 즉 뇌 에뮬레이션과 기계 AI가 존재한다.
전체 뇌 에뮬레이션은 실제 인간 뇌를 연접 층위까지 파괴한 다음에 기억과 개성은 그대로 둔 채 원래 지성을 디지털적으로 재생산할 목적으로 수십 조 개의 연결들로 이루어진 삼차원 신경 연결망 전체를 컴퓨터 내에 디지털적으로 예화하는 것을 수반한다. 그것은 그렇다치고, 보스트롬은 노예화된 가상 뇌 에뮬레이션들의 수십 억 개 사본들이 물리적인 메타공간 세계에서 살고 있는 인간들과 경제적으로 경쟁하는 디스토피아적인 가능성을 탐구한다. 그 결과는 맬서스를 낙관주의자인 듯 보이게 만든다. 보스트롬은 다른 한 행로를 더 광범위하게 탐구하는데, 그 행로에서는 에뮬레이션이 충분히 강력한 컴퓨터에 업로드되어서 새로운 디지털 지성이 초지성에 이르는 길을 재귀적으로 만들어가는 과정를 개시한다.
나머지 다른 한 행로에서는 연구자들이 초지능 기계를 직접 만들어내기 위해 소프트웨어와 하드웨어의 진보를 결합한다. 제안된 한 방책은 자체의 알고리즘과 계산 구조들을 개선할 정도로 자체의 작동을 충분히 잘 이해할, 튜링의 아이 기계와 얼마간 비슷한 "씨앗 AI"를 만들어내는 것인데, 그것은 자체의 인지를 향상시켜 초지능을 획득할 수 있게 될 것이다. 초지능 AI는 과학적 불가사의들을 해결할 수 있을 것이고, 생명-나노-정보기술 보고를 생성함으로써 희소성을 완화하고, 저렴한 우주 탐사를 개시하며, 그리고 심지어 노화와 죽음을 종식시킬 수 있을 것이다. 그런데 초지능 AI가 그런 모든 것을 해낼 수 있을 것이지만, 보스트롬은 그것이 자체의 가치들을 실행하고 자체의 목표를 달성함에 따라 인류를 제거해야 하는 골칫거리로 여길 확률이 훨씬 더 클 것이라고 우려한다. 그리고 초지능 AI가 인류를 직접적으로 겨냥하지는 않을지라도, 그것은 자체의 목적을 추구하면서, 예컨대 태양 전지판이나 원자력 발전소들로 지구를 덮음으로써 지구를 거주할 수 없는 곳으로 만들 수 있을 것이다.
보스트롬은, AI가 일단 작동하기 시작하면 자체의 최종 목표를 변경시키려는 시도에 저항할 것이기 때문에 AI를 작동시키기 전에 그것을 제어할 방법을 찾아내는 것이 중요하다고 주장한다. 그 경우에, 우리는 AI에게 올바른 가치와 목표들을 부여할 단 한 번의 기회를 얻게 될 것이다. 대충 말해서, 보스트롬은 개발자들이 사악한 초지능으로부터 인류를 보호하려고 시도할 수 있는 두 가지 방식, 즉 역량 제어 방법과 동기 선택을 검토한다.
첫 번째 접근 방식의 일례는 AI를 그것이 외부 세계에 직접 접근할 수 없는 "상자"에 가두려고 시도하는 것일 것이다. 그것을 다루는 사람들은 그것을 조언자로 간주할 것인데, 우리가 빛의 속력을 넘어서거나 암을 치료할 수 있는 방법 같은 의문들을 그것에 제기한다. 그런데 보스트롬은 AI가 궁극적으로 상자를 빠져나올 것이라고 생각하는데, 그는 "인간들은 특히 초지능 계획자와 설득가와 겨루게 될 때 안전한 체계가 아니"라고 강조한다.
그 대신에, 개발자들은 AI를 작동시키기 전에 그것의 목표들을 규정하거나, 또는 AI가 적절한 가치 집합을 찾아내는 체계를 설정하려고 시도할 것이다. 마찬가지로, 추측컨대, 에뮬레이션 뇌로서 시작된 초지성은 원래 지성의 가치와 목표들을 지닐 것이다. (어떤 뇌들을 해체하여 디지털적으로 재구성할지 현명하게 선택하라.) 보스트롬이 지적하듯이, 최종 목표를 미리 규정하려고 시도하는 것은 대단히 잘못될 수 있을 것이다. 예를 들면, 개발자들이 AI는 인간의 쾌락을 극대화해야 한다는 가치를 주입하면, 그 기계는 환희를 유발하는 화학물질들이 끊임없이 투여되는 수십 조 개의 인간 도파민 회로들로 가득찬 통을 만들어냄으로써 이 목표를 최적화할 것이다.
개발자들은 최종 목표를 직접적으로 규정하는 대신에 "우리가 그것에 관해 오랜 동안 열심히 생각했다면 AI가 달성하기를 바랬을 것을 달성하도록" 새로운 AI를 지도할 수 있을 것이라고 보스트롬은 제안한다. 이것은 정합적인 외삽된 의욕(coherent extrapolated volition)이라는 유드카우스키의 관념의 초보적 판본인데, 그 관념에 따르면 씨앗 AI는 자체가 행하기를 인류―전체로 간주되는―가 진정으로 바랄 것이 무엇인지 파악하려고 노력하라는 목표를 부여받게 된다. 보스트롬은 이와 같은 것이 초지능 AI가 인간친화적인 유토피아로 인도하도록 재촉할 필요가 있는 것일 것이라고 생각한다.
그런데, 보스트롬은 초지능 AI의 구현에 관한 연구가 천천히 진전된다면 더 안전하다고 생각한다. "초지능은 현재 우리가 대처할 준비가 되어 있지 않고 오랜 시간 동안 준비가 되지 않을 난제"라고 그는 주장한다. 특히 그는 사람들이 초지능 AI의 실존적 위험을 무시하고, 지능 폭발에 이어질 수 있을 풍요로운 경제와 무한한 수명에서 이익을 얻을 것이라는 희망으로 빠른 개발을 선호할 것이라고 우려한다. 그는 선두 국가나 집단이 경쟁자들에 앞서 만들어내려는 시도를 막기 위해 전 세계적인 AI 연구 협력을 확립하는 것을 지지하는 주장을 펼친다. 그리고 그는 연구자들과 그들의 후원자들이 공동선 원리를 준수하도록 재촉한다. "초지능은 오로지 인류 전체의 편익을 위해서 그리고 넓게 공유되는 윤리적 이상을 실현하는 데 도움이 되도록 개발되어야 한다." 멋진 감성이지만, 현재의 국제적인 상업적 경쟁을 고려하면, 이 원리의 보편적 채택은 있을 법하지 않다.
<<듄>> 연작에서 인류는 억압적인 생각하는 기계들을 타도할 수 있었다. 그러나 일단 초지능 AI가 출현하게 되면 우리가 그것의 작동을 중지시키거나 그것의 목표들을 변경하는 것이 불가능할 것이라는 보스트롬의 생각이 옳을 확률이 높다. 그는 도래할 지능 폭발 이후에 인류의 생존을 보장하기 위한 작업이, 그가 쓴 대로, "우리 시대의 필수적인 과업"이라는 강한 주장을 전개한다.