출판사 서평
◆ 이 책은
로봇의 윤리에 대한 포괄적인 안내서
공상과학 소설과 영화를 통해 꾸준히 제기되어온 로봇의 도덕성은 각종 서비스 로봇, 전투병 로봇, 개인화된 검색엔진 기술, 자동화된 컴퓨터 시스템 등 지능 기계의 출현으로 이제 현실 속으로 들어오고 있다. 인간의 감독 없이 스스로 판단하는 인공지능 시대에 로봇을 포함한 모든 지능적 기계의 지침이 될 윤리적 규칙을 어떻게 만들어야 할까?
이 책은 로봇 윤리라는 신흥 분야에 관한 최초의 입문서이자 로봇의 도덕에 관한 포괄적인 안내서다. 예일 대학교의 ‘생명윤리를 위한 학...
◆ 이 책은
로봇의 윤리에 대한 포괄적인 안내서
공상과학 소설과 영화를 통해 꾸준히 제기되어온 로봇의 도덕성은 각종 서비스 로봇, 전투병 로봇, 개인화된 검색엔진 기술, 자동화된 컴퓨터 시스템 등 지능 기계의 출현으로 이제 현실 속으로 들어오고 있다. 인간의 감독 없이 스스로 판단하는 인공지능 시대에 로봇을 포함한 모든 지능적 기계의 지침이 될 윤리적 규칙을 어떻게 만들어야 할까?
이 책은 로봇 윤리라는 신흥 분야에 관한 최초의 입문서이자 로봇의 도덕에 관한 포괄적인 안내서다. 예일 대학교의 ‘생명윤리를 위한 학제간 센터’의 윤리학자와 인디애나 대학교의 인지과학 교수가 공저한 이 책은, 공상과학 소설의 통속적 화두에서부터 첨단 로봇공학의 과제에 이르기까지 다양한 층위의 흥미로운 소재를 통해 왜 로봇의 도덕에 관한 연구가 지금 필요하며 그것에 관련된 기술적 사안은 무엇인지를 상세하게 설명한다.
영화 《2001 스페이스 오디세이》나 《터미네이터》의 종말 시나리오는 과연 실현 가능한가 라는 얘기부터, 만약 컴퓨터가 도덕적 결정을 내리는 것이 필요하다면 공학자와 철학자는 이를 어떻게 설계해야 하는가 라는 실제적인 공학적 과제까지 로봇공학?철학?인지과학?도덕심리학?신경윤리학?인공두뇌학?진화생물학?게임이론 등 다양한 분야의 최신 연구 성과를 토대로 체계적이고 명료하게 서술하고 있다.
무엇이 옳고 그른가 라는 가치 판단은, 그 판단을 내리기 애매한 경우가 다반사인 인간사 때문에 아리스토텔레스 이래 가장 첨예한 인문학적 고민이었다. 한편 명쾌한 지침과 계량화된 기준값이 있어야 연구 가능하다는 것이 공학자들의 멘탈 모델이다. 인문학적 모호성을 명쾌한 알고리즘으로 변환해 프로그램으로 만드는 공학적 과제가 얼마나 지난한 일인가 하는 것을 알려주는 동시에 왜 지금 우리가 그 지난한 일을 고민해야 하는가를 깨닫게 해주는 데 이 책의 의의가 있다.
저자들은 “이 책을 쓴 목적은 단지 많은 질문을 던지는 것뿐 아니라 이런 주제에 관한 향후의 발전을 위해 자료를 제공하기 위해서”라고 밝히면서 “이 도전 과제를 다루는 과정에서 인류는 자신들이 얼마나 경이로운 생명체인지를 이해하는 데 의미심장한 발전을 이룰 것이다. 인간의 능력을 (로)봇에 구현하는 데 필요한 단계적인 절차를 세세하게 밟아가며 도덕적 결정이 내려지는 방법에 따라 사고하는 연습은 따라서 자기 이해의 과정인 셈”이라고 말한다. 즉 옳고 그름을 구별할 수 있는 (로)봇 설계 과정이 인간의 윤리적 의사결정에 대해 많은 것을 드러내주는 일인 만큼 로봇의 도덕을 구현하는 일은 인간을 이해하는 과정이라는 얘기다.
◆ 내용 소개

왜 로봇의 도덕이 필요한가?
현대에는 자동차에서부터 쓰레기통에 이르기까지 상상 가능한 온갖 장치 속에 컴퓨터 칩이 내장되어 인간의 활동을 편리하게 해주며 감시하거나 분석하기도 한다. 또한 인터넷 검색에서부터 온라인 쇼핑에 이르기까지 상상 가능한 온갖 가상 환경 속의 소프트웨어 ‘봇(bot)’들도 그런 역할을 담당한다. 이 모든 발전은 인간에게 직접적인 조종을 받지 않으면서 인간의 복지에 잠재적인 영향을 미치는 (로)봇의 제작으로 수렴된다.
오늘날의 컴퓨터 시스템은 그 스스로 도덕적 결정을 내려야 할 정도로 엄청난 복잡성의 수준에 다다르고 있다. 이로 인해 도덕 행위자의 범위는 인간을 넘어 인공지능 시스템으로까지 확대되는데, 저자들은 이를 가리켜 ‘인공적 도덕 행위자 artificial moral agent, AMA’라고 부른다. 이때 AMA는 물리적 로봇과 소프트웨어 ‘봇(bot)’을 아울러 표현하는 ‘(로)봇’ 그리고 인공지능 시스템까지 포괄하는 개념이다.
문제는 인간의 감독을 벗어나 스스로 결정을 내릴 수 있는 컴퓨터 시스템에 의해 큰 재앙이 일어날 가능성이 점점 늘어나고 있다는 점이다. (로)봇 시스템이 금융에서 통신, 나아가 공공 안전에 이르기까지 사회의 거의 모든 분야에서 점점 더 자리잡아감에 따라 누군가의 범죄적 목적에 의해서가 아니라 재앙은 예기치 못한 사건들의 조합에서 생길 가능성이 커지기 때문이다.
현재의 컴퓨터는 워낙 복잡하다보니, 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 수백 명의 공학자가 각자 자신이 맡은 부분의 설계를 담당한다. 서로 다른 회사?연구소 그리고 설계팀이 각각 별도의 하드웨어와 소프트웨어 구성부분을 개발하며 이것들을 결합해 최종 생산품이 나온다. 한 컴퓨터 시스템이 이처럼 모듈식 설계를 통해 생산되므로, 어떤 한 사람 또는 하나의 그룹은 그 시스템이 일련의 새로운 입력에 대해 어떻게 반응하고 작용할지 완벽히 파악할 수 없는 것이다.
저자들은, 그 재앙이 어떻게 시작되는가를 생생한 시나리오를 통해 섬뜩하게 보여주면서(14~17쪽) 로봇의 도덕에 대한 연구의 필요성에 지금 주목해야 하며, 이와 관련된 기술에 이해관계가 있는 사람이라면 누구든 컴퓨터?로봇 그리고 컴퓨터 네트워크 속의 가상 ‘봇 bots’에 도덕적 결정을 실행시키는 과제에 발 벗고 나서야 할 책임이 있다고 주장한다.
공상과학 소설의 악몽에서 벗어날 수 있게 해주는 소중한 안내서
그간 공상과학 소설과 영화에서는 주로 기술 발전이 몰고 올 공포를 보여줬다. 1968년 스탠리 큐브릭이 감독한 공상과학 영화 《2001 스페이스 오디세이》에서는 HAL9000 컴퓨터가 자신이 돌봐야 할 우주인을 죽이려 든다. 영화 《아이 로봇》에서는 아시모프의 로봇 3원칙을 탑재한 로봇 NS-5와, “로봇은 인류에게 해를 입히거나, 혹은 행동을 하지 않음으로써 인류가 해를 입도록 해서는 안 된다.”는 로봇 영 번째 원칙을 부정적으로 해석한 양전자 두뇌를 가진 시스템 ‘비키’가 나온다. 《매트릭스》에서는 아무 것도 모르는 인간을 노예로 삼는 로봇이 나오고, 《터미네이터》에서는 기계들의 지도자이자 군사 컴퓨터 ‘스카이넷’이 인간을 멸종시키려고 한다.
사람들이 기계의 도덕을 생각할 때 처음 떠올리는 것은 과학 소설가 아이작 아시모프(Isaac Asimov)가 1942년 한 단편소설에서 언급한 로봇 3원칙이다. 즉, ⑴ 로봇은 인간에게 해를 입히거나, 혹은 행동을 하지 않음으로써 인간이 해를 입도록 해서는 안 된다. ⑵ 로봇은 인간이 내리는 명령에 복종해야 하며, 단 이러한 명령들이 첫 번째 법칙에 위배될 때에는 예외로 한다. ⑶ 로봇은 자신의 존재를 보호해야 하며, 단 그러한 보호가 첫 번째와 두 번째 법칙에 위 배될 때에는 예외로 한다.
저자들은 아시모프의 로봇 3원칙은 이야기를 흥미롭게 풀어나가도록 마련한 허구의 소산일 뿐이며, 알고리즘 작성에 적용하기에도 마땅치 않다고 말한다. 영화 《로보캅》은 사이보그 경찰관이 로봇 3원칙의 딜레마에 빠진다. 즉, 범죄자인 자신의 회사 주인에게 복종하도록 프로그래밍된 상황이 그것이다.
이 책의 저자들은 “2001년이 벌써 지났지만 아서 C. 클라크(Arthur C. Clarke)의 HAL은 아직도 공상과학 소설로 남아 있다. 그리고 《터미네이터》의 종말 시나리오도 그 영화의 유통기한인 2029년 이전에는 실현되지 않는다고 보는 편이 타당할 것”이라면서 “현재 만연하고 있는 컴퓨터나 로봇에 관한 공상과학 소설의 여러 시나리오는 재미는 있을지 모르지만 존재하지 않거나 결코 존재할 수 없는 기술에 바탕을 두고 있다.”고 단언한다.
또 “공상과학 소설 시나리오에서는 AI 시스템이 언젠가는 인간을 제거하기를 원하는 존재로 진화할 것이라고 보는 시각이 숨어 있다. 공학자들은 인류의
“오늘날 현실의 로봇들의 능력과 그들이 할 수 있는 일들은 우리가 보통 공상과학 영화에서 보는 로봇들의 그것들과는 엄청난 차이가 있다. 현실의 휴머노이드 로봇들은 지금 겨우 걸음마를 떼는 상태이고, (데이터를 처리하고 계산하는 것을 제외한) 상황을 이해하고 스스로 판단하는 인공지능 로봇들도 사실은 한두 살 어린이의 지능에 불과하다. 세계 최고의 로봇 연구소들에서 만들어내는 멋진 로봇 프로토타입들도 막상 연구실에서 나와 현실에서 사용하려면 작동이 되지 않는 것이 보통이다. 이러한 상황에서 '로봇과 윤리' 혹은 '기계와 도덕'에 관해 진지한 토론을 하려는 것은 너무 이른 감이 없지 않다는 생각이 들지도 모른다. 하지만 이 책은 바로 이런 미래에 올 주제들에 관해 멋지게 통찰하고 세계 최고 권위자들의 조언과 함께 독자들에게 심오한 이해를 준다. 영화 속에서 보고 우리가 상상하는 인공지능 로봇들이 언젠가는 현실화될 것은 확실하다. 이 책은 기계의 도덕뿐 아니라 기계를 사용하는 사람, 그리고 연구자와 개발자의 윤리에 대해서도 생각해보는 계기를 주고 로봇의 윤리도 그렇지만, 바로 우리 인간 자신에 대해서 생각해보게 하는 아주 중요한 책이다.”
- 데니스홍 박사, UCLA 기계항공공학과 교수, RoMeLa 로봇 연구소 소장

“그간 공상과학 소설과 영화를 통해 꾸준히 제기되어온 기계의 도덕성은, 개인화된 검색엔진기술, 조만간 상용화될 무인자동차, 인간과 공존하게 될 서비스로봇 등 지능 기계의 출현으로 이제 현실의 문제로 다가오고 있다. ‘기계의 도덕’은 이러한 지능적 존재의 윤리적 문제를 다룬 최초의 저술이며, 과학기술에서 인문과학의 역할이 무엇인지를 잘 보여주는 책이다.”
- 김홍석 박사, 한국생산기술연구원 로봇연구실용화그룹 수석연구원

“로봇공학도로서 항상 가지고 있는 두려움이 있다. 내가 개발하고 있는 로봇이 사회에 해가 되지 않을까? 이 책에서 이런 고민이 ‘인공적 도덕 행위자 AMA' 개발에 관한 문제로 구체화 된다. 저자는 윤리에 대한 탐구에서부터 윤리적인 로봇을 개발하기 위한 고민과 방법들을 제시한다. 책을 덮을 때쯤 로봇을 어떻게 개발해야 할지 윤곽이 잡히는 듯하다. 로봇에 대한 기대와 두려움을 가지고 있는 모든 분들께 권하고 싶은 책이다.”
- 한재권 박사, 로보티즈 수석연구원

“로봇 윤리라는 신흥 분야의 훌륭한 입문서다. 윤리학자・철학자・인지과학자 그리고 로봇공학자 모두 관심을 가질 내용이 가득하다.”
- 피터 다니엘슨(Peter Danielson),

“풍부한 사례와 교훈, 일어날지 모르는 사건의 시나리오, 그리고 현존하는 인공 행위자에 대한 첨단 연구와 실행에 대한 정교한 논의가 가득하다. 이 책은 컴퓨터 윤리라는 분야를 넘어 기계의 도덕에 관한 규범이라 불릴 것이다. 강력하게 추천한다.
- 트라야코브스키(G. Trajkovski),

“공상과학 소설의 악몽에서 벗어날 수 있게 해주는 참으로 소중한 안내서”
- 존 길비(John Gilby),

“이 책에서 저자들은 기계 윤리를 소개할 뿐 아니라 윤리학의 가장 깊은 근본을 파고들어 탐구한다. 성실한 독자라면 분명 이 책에서 흥미진진한 아이디어를 많이 찾아낼 것이다. 그 아이디어는 기존의 믿음을 다시 평가하게 만들고 아울러 이 책을 철학, 특히 응용 윤리학의 최근 도서들 가운데서 필독서로 만들기에 손색이 없다.”
- 토니 비버(Tony Beavers),

“이 책은 ‘도덕적 기계’라는 어구가 모순어법이 아니라는 것을 보여주는 데 성공하고 있다. 또한 심리학자들이 친숙하게 될 연구 분야이자 어떤 점에서는 우리가 많은 것을 배우게 될 분야로 통하는 관문이 될 것이다.”
-

“이 책은 많은 흥미로운 철학적 질문, 도전적인 공학적 과제 그리고 중요한 미래 논쟁거리의 핵심을 던져준다. 두 저자는 유익하고 즐겁게 읽을 수 있도록 명료하게 서술했다. 이 분야에 관심을 가진 모든 이들에게 강력하게 추천한다.”

이 책은 기술 발전이 몰고 올 공포에 관한 내용이 아니다. 우리의 목표는 AMA 설계라는 엔지니어링 과제에 건설적인 지침을 마련해줄 논의의 틀을 잡는 일이다. 우리가 내놓는 예측의 목적은 도덕적 기계에 관한 연구의 필요성에 지금 주목하자는 것이다. 기술이 공상과학 소설을 따라잡게 되는 몇십 년 내지 100년 후가 아니고 말이다.
(17쪽)

기계의 도덕 분야는 컴퓨터 윤리 분야를 확장시켜 사람이 컴퓨터로 무엇을 할까 라는 관심을 넘어 기계가 스스로 무엇을 할까 라는 질문을 다룬다. … 우리는 컴퓨터를 명쾌하고 도덕적으로 추론할 수 있도록 만드는 데 관련된 기술적 사안들을 논의할 것이다.
인공지능(artificial intelligence, AI)이 자동 행위자의 범위를 확장시켜감에 따라 그러한 행위자들이 인간 도덕 행위자들에게 요구되는 더욱 폭넓은 가치와 법칙을 존중하도록 어떻게 설계할 것인가 라는 문제는 점점 더 긴급한 과제가 돼가고 있다. 인간은 컴퓨터가 도덕적으로 중요한 결정을 내리기를 정말로 원하는가? 기술에 관해 고찰하는 여러 철학자들은 인간이 자신의 책임을 기계에 떠넘기는 것의 위험성에 대해 경고해왔다. 영화와 잡지들은 미래에 발전된 형태의 AI가 가져올 위험을 부각하는 이야기로 가득 차 있다. … 그러므로 이 기술에 이해관계가 있는 사람이라면 누구든 컴퓨터·로봇 그리고 컴퓨터 네트워크 속의 가상 ‘봇 bots’에 도덕적 결정을 실행시키는 과제에 발 벗고 나서야 할 책임이 있다.
(17~18쪽)

〈터미네이터 The Terminator〉의 종말 시나리오도 그 영화의 유통기한인 2029년 이전에는 실현되지 않는다고 보는 편이 타당할 것이다. … 하지만 인류는 공학적으로 설계된 시스템들이 의사결정을 할 수 있고, 이로 인해 인간의 삶에 영향을 미칠 뿐 아니라 윤리적 효과를 야기할 수 있는 지점에 이미 와 있다.
(20~21쪽)

기계의 도덕은 AMA 구현의 철학적, 실제적 사안만큼이나 인간의 의사결정에 관한 것이기도 하다. AMA에 관한 성찰 그리고 이를 제작하기 위한 실험을 살펴보면 인간이 어떻게 작동하는지, 어떠한 인간의 능력들이 기계 설계에 구현될 수 있는지, 그리고 인간이 동물 또는 인간이 창조한 새로운 형태의 지성과 구별되는 속성이 무엇인지 깊이 생각할 수밖에 없다. AI가 마음에 관한 철학 분야에 새로운 탐구 방향을 이끌어냈던 것과 마찬가지로 기계의 도덕은 윤리학에 새로운 탐구 방향을 이끌어낼 수 있다.
(22쪽)

(로)봇 시스템이 금융에서 통신, 나아가 공공 안전에 이르기까지 사회의 거의 모든 분야에서 점점 더 자리잡아감에 따라 재난은 예기치 못한 사건들의 조합에서 생길 가능성이 가장 크다. … 컴퓨터 시스템의 행동은 개별적으로는 꽤 사소하지만 다 합쳐지면 매우 심각해질 수 있다. 구글의 연구소장인 피터 노빅(Peter Norvig)은 다음과 같이 말한다.
“오늘날 미국에서는 매일 의료 사고로 100명에서 200명 정도의 사람들이 죽는데, 이런 의료 사고의 상당수는 컴퓨터와 관련이 있다. 엉뚱한 약을 준다든지 용량을 잘못 계산하는 실수로 매일 100명에서 200명 정도가 죽는 것이다. 그런 사망자들 중 얼마만큼이 컴퓨터 실수 때문인지는 모르지만, 상당한 비율을 차지한다. 컴퓨터 실수와 의료 과정상의 잘못이 함께 결합해 두세 달마다 9/11 테러 때와 맞 먹는 사망자 수가 생긴다고 해도 과언이 아니다.”
… 잘못된 부품, 불충분한 설계, 부적절한 시스템 그리고 컴퓨터가 행하는 선택에 관한 명확한 평가 사이에 선을 긋기가 점점 더 어려워진다.
(192쪽)

새로운 기술의 도입으로 인해 인간의 잠재적 능력이 달라질 뿐 아니라 인간의 성격과 의식도 바뀔 수 있다고 보는 시각도 있다. MIT의 사회학자인 셰리 터클(Sherry Turkle)은 이렇게 적고 있다. “기술의 미래에 관해 우리가 현재 집착하고 있는 대다수의 사안들 뒤에는 아직 제기되지 않은 질문이 하나 있다. 그 질문은, 기술이 미래에 어떤 모습일까에 관한 것이 아니라 오히려 우리가 어떤 모습일까, 우리와 기계의 관계가 점점 더 긴밀해질수록 우리가 어떤 모습이 돼갈까에 관한 것이다.”
(70쪽)

현재의 컴퓨터는 워낙 복잡하다보니, 공학자는 어떤 시스템이 새로운 상황에서 어떻게 행동할지 예측할 수 없을 때가 흔히 있다. 수백 명의 공학자가 각자 자신이 맡은 부분의 설계를 담당한다. 서로 다른 회사, 연구소 그리고 설계팀이 각각 별도의 하드웨어와 소프트웨어 구성부분을 개발하며 이것들을 결합해 최종 생산품이 나온다. 한 컴퓨터 시스템이 이처럼 모듈식 설계를 통해 생산되므로, 어떤 한 사람 또는 하나의 그룹은 그 시스템이 일련의 새로운 입력에 대해 어떻게 반응하고 작용할지 완벽히 파악할 수 없다.
(72~73쪽)

낙관주의자들은 인류가 인간의 지능과 동일하거나 능가하는 시스템을 제작할 것이라고 믿고 앞으로 20년에서 50년 안에 이런 일이 실제로 일어날지 모른다고 주장한다. 만약 그들이 옳다면 이것은 인간 존엄성에 대한 타격이자 인간이 동물 및 다른 사물들보다 우월한 천부적인 재능을 지닌 만물의 영장이 아님을 증명하는 것으로 여겨질 것이다.
(84쪽)

로봇 전투 기계는 아시모프의 로봇 3원칙—인간에게 해를 가하거나 인간을 죽이지 못하도록 하는 원칙—에 방해를 받지 않을 것이다. 따라서 문제는 명백하다. 일단 로봇이 살상 허락을 받으면 어떤 특정한 사람을 죽여도 되는지 판단하기 위한 실시간 의사결정이 필요하다. … 언제, 어디에서 그리고 누구를 향해 살상력이 허용될지에 관한 도덕적 결정을 내리는 능력을 완벽히 구현하지 않는 한, 로봇 전투 기계가 인간에게 해를 끼칠 가능성을 줄일 방법은 없다.
(86~87쪽)

로봇이 미래에는 스스로 감정을 느끼게 되고 지능·의식 그리고 자기 인식을 갖추게 될 것이라는 우려가 있다. 고통을 느끼는 로봇은 더 이상 자기를 혹사시키지 말라고 인간에게 명령할 권리를 갖게 될까? 정교한 수준의 이해력을 지닌 로봇은 스스럼없이 더 이상 시키는 일을 하지 않겠다고 선언하게 될까? 아니면 이런 상황임에도 불구하고 사람들은 로봇이 진정한 감정, 높은 수준의 정신 능력이나 의식이 없는 열등한 생명체일 뿐이라고 계속 고집하게 될까?
(90쪽)

구체적인 규칙은 단순한 사례에 적용하기는 비교적 쉽지만 더욱 복잡한 상황에서는 불분명한 지침이 되고 만다. 만약 당신의 아버지가 당신에게 도둑질을 하라고 하면 그 지시를 존중해야 할까? 만약 아버지가 그 방법 말고는 음식을 구할 길이 없을 때라면 어떻게 해야 할까? 아시모프 식의 로봇은 만약 서로 다른 사람들에게서 상반되는 명령을 받거나 인간에게 해를 끼치게 될 행동들 사이에서 한 가지를 선택해야 하는 상황에 처하면 어떻게 해야 할까?
(164쪽)

“로봇들이 시민권을 요구하며 워싱턴에서 행진하다”
“테러리스트 아바타가 가상의 휴일 목표물에 폭탄을 던지다”
“노벨문학상 수상자는 IBM의 딥-블루도라”
“로봇해방군을 집단학살 혐의로 기소”
“구멍 뚫린 가슴을 수리하는 나노로봇”
“VTB(가상 거래 봇)가 통화 시장에서 자신의 재산을 축적한다”
“UN, 자기 복제 AI에 대한 금지 논의”
“연쇄 스토커가 로봇 성 노동자를 목표로 삼다”
이런 표제들이 이번 세기에 등장할까, 아니면 단지 과학소설 작가의 전유물일까? … 레이 커즈와일(Ray Kurzweil)과 한스 모라벡(Hans Moravec) 같은 유명한 과학자들은 인간보다 우월한 지능을 가진 (로)봇에 대해 그리고 어떻게 인간의 마음을 컴퓨터 시스템에 이식함으로써 일종의 영생을 얻을지에 관해 열정적으로 이야기한다. 그들은 인간에 비견할 만한 지능을 지닌 컴퓨터 시스템의 출현이 2020~50년 무렵에 가능하다고 예측한다.
(325쪽)

어떤 미래 전망이 가까운 미래(20년에서 50년) 안에 실현될 것인가? 그리고 어떤 전망이 꾸며낸 이야기인가? … AI 시스템이 지능 면에서 인간을 능가하지는 못하더라도 곧 동등한 수준에 오르리라는 추측은 로봇의 세계장악과 관련된 기술적 공상과 두려움을 불러일으킨다. … 자기복제 나노로봇이 지구상의 모든 유기물질을 다 먹어치울 것이라고 경고하는 종말론적 시나리오는, 나노기술이 제기한 심각한 윤리적 문제의 대표격이다. 그리고 마이클 크라이튼(Michael Crichton)이 자신의 소설 『먹이 Prey』에서 그려낸 대로 함께 활동하는 나노로봇 무리들은 위협적인 집단행동을 보여줄지 모른다.
(326~329쪽)

안타깝게도 감정을 (로)봇에 도입하는 것은 윤리적 혜택과 문제점이 함께 뒤섞인 가상의 판도라 상자인 셈이다. 버밍엄 대학교의 컴퓨터과학부의 강사인 윌리엄 에드먼슨(William
Edmonson)은 다음과 같이 썼다. “… 감정이 있는 로봇을 제작하는 것이 비윤리적인가 아니면 감정이 없는 로봇을 제작하는 것이 비윤리적인가?”
(337쪽)

인류가 멸종을 향해 간다는 한갓 추측에 지나지 않은 두려움을 바탕으로 컴퓨터 기술 또는 의료 과학의 발전 중 어느 것을 기꺼이 버릴 것인가? 위험해지는 문턱을 과학 연구가 언제 넘어갈지 누가 결정하는가? 인공 행위자 개발에 관한 연구의 어떤 영역이 예상 가능한 잠
재적 위험을 지니고 이 위험은 어떻게 다뤄질 것인가? 이러한 위험들 중 어떤 것이 관리될 수 있으며 어떤 것이 추가적인 연구가 금지돼야 하는가? 어떠한 우려 사항들이 규제와 감독을 필요로 하며, 이것이 과학 발전을 방해하지 않는 방식으로 어떻게 관리돼야 좋은가? 질문은 많지만 답은 거의 없다.
(363~364쪽)

인간은 언제나 이 세상에서 함께 할 동반자를 찾아왔다. 인간 이외의 동물에 대해 인간이 오랫동안 매료된 까닭은 동물이 인간과 가장 비슷한 존재라는 사실에서 비롯된다. 동물과의 유사점 및 차이는 인간으로 하여금 자신이 누구이며 어떤 존재인지에 대해 많은 것을 알려준다. AMA가 더욱 정교해지게 되면 이 시스템이 인간의 가치를 반영함에 따라 그에 상응하는 역할을 하게 될 것이다. 인간이 윤리가 무엇인지 이해하기 위해서라도 AMA의 개발보다 더 중요한 일은 세상에 없을 것이다.
(371~372쪽)

목차
감사의 말씀
프롤로그_ 로봇의 도덕을 구현하는 일은 인간을 이해하는 과정이다
1장_ 왜 로봇의 도덕인가?
2장_ 공학 윤리
3장_ 인류는 컴퓨터가 도덕적 의사결정을 내리기를 원하는가?
4장_ (로)봇이 정말로 도덕적일 수 있는가?
5장_ 철학자, 공학자 그리고 AMA의 설계
6장_ 하향식 도덕
7장_ 상향식 그리고 발전적 접근법
8장_ 하향식과 상향식의 병합
9장_ 베이퍼웨어를 넘어서?
10장_ 이성을 넘어
11장_ 인간과 비슷한 AMA
12장_ 위험, 권리 그리고 책임
에필로그_ (로)봇의 마음 그리고 인간의 윤리
주석
참고문헌
색인