AI는 우리가 살고 있는 세계를 어떻게 바꾸고 있을까?
“인공지능은 결코 인공적이지도 않고 지능도 아니다!”

오늘날 사람들은 ‘AI(인공지능)’를 어떻게 이해하고 받아들이고 있을까? 현대 과학과 첨단 기술의 정점으로, 또는 인간이 풀지 못한 문제까지도 단번에 해결할 수 있는 놀라운 존재로 여기고 있는 건 아닐까? 하지만 이는 맹목적인 신뢰가 빚어낸 환상일 뿐이라고 이 책은 말한다. 미국 뉴욕 대학교 AI 나우 연구소의 공동 설립자이자 인공지능의 사회적 의미를 오랫동안 연구해온 케이트 크로퍼드는 이 책에서 인공지능이 만들어지는 과정을 면밀히 들여다보면서, 그것이 어떤 함정을 만들어내는지 낱낱이 파헤친다. 아직까지 많은 사람들은 인간 정신과 비슷한 시스템을 백지상태에서 만들어낼 수 있고 인공지능을 자연적이며 독자적으로 존재하는 무언가로 받아들이지만, 이는 너무나 단순하고 편협한 인식일 뿐이라는 것이다.

이 책은 AI가 ‘인공’적이지도 않고 ‘지능’도 아니라고 주장한다. 오히려 인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어진다. AI 시스템은 자율적이지도 합리적이지도 않으며 대규모 데이터 집합이나 기존의 규칙 및 보상을 동원한 방대하고 집약적인 훈련 없이는 아무것도 분간하지 못한다. 사실 우리가 아는 형태의 인공지능은 훨씬 폭넓은 정치적 사회적 구조에 전적으로 의존한다. 또한 AI를 대규모로 구축할 자본과 AI를 최적화할 방법이 필요한 탓에 AI 시스템은 궁극적으로 기득권에 유리하게 설계된다. 이런 의미에서 인공지능은 권력의 등기부인 셈이다.

이 책은 인공지능이 어떻게 만들어지는지를 폭넓은 의미에서 들여다보고 인공지능을 빚어내는 경제적 정치적 문화적 역사적 힘을 탐구한다. AI를 이 넓은 구조와 사회체제에 연결하면 우리는 인공지능이 순전히 기술적 영역에 속한다는 통념에서 벗어날 수 있다. 기본적 차원에서 AI는 기술적 행위이자 사회적 행위요, 제도이자 토대요, 정치이자 문화다. 연산 추론과 체화된 일은 서로 깊숙이 연결되어 있다. AI 시스템은 사회관계와 세계에 대한 이해를 반영하는 동시에 생산한다.

이 책에서는 AI를 ‘정치, 노동, 문화, 자본을 아우르는 대규모의 산업적 구성물’이라는 의미로 쓴다. 사실 ‘인공지능’이라는 용어는 마케팅에서 더 많이 쓰인다. 자금 지원을 신청하는 기간이나 벤처 투자가들이 수표장을 들고 찾아올 때, 연구자들이 새 연구 결과에 대해 언론의 주목을 끌고 싶을 때는 AI라는 용어가 곧잘 동원된다. 이 때문에 AI라는 용어는 채택되기도 하고 거부되기도 하면서 의미가 끊임없이 달라진다.

그런데 인공지능이 만들어지는 과정을 이해하는 데 어떻게 지도책이 도움이 될 수 있을까? 지도책 비유는 곧 인공지능을 이해하는 새로운 방법이다. 인공지능을 추동하고 지배하는 국가와 기업, 지구에 흉터를 남기는 추출식 채굴, 데이터 대량 수집, 이를 떠받치는 불평등하고 착취적인 노동 관행 등을 설명하는 AI 담론이 필요하기 때문이다. 지형학적 접근법은 인공지능이나 최신 기계학습 모형의 추상적 약속을 넘어선 새로운 관점과 규모를 제시한다. 그 목적은 연산의 다양한 지형을 주파하면서 이것들이 어떻게 연결되는지 살펴봄으로써 AI를 더 넓은 맥락에서 이해하는 것이다.

AI 분야에 존재하는 것은 열어야 할 하나의 블랙박스, 폭로해야 할 하나의 비밀이 아니라 수없이 얽힌 권력의 체계이다. 그렇기에 완전한 투명성은 불가능한 목표다. AI가 세상에서 어떤 역할을 하는지 더 잘 이해하려면 물질적 구조, 맥락 환경, 지배적인 정치적 성격에 주목하여 그것들이 어떻게 연결되는지 추적해야 한다. 이 책에 담긴 저자의 사상은 과학 기술 연구, 법학, 정치철학을 배경으로 10년 가까이 학계와 업계 AI 연구실에 몸담은 경험에서 영감을 얻은 것이다.

AI가 어떻게 부와 권력을 집중시키고 있을까?
인공지능을 둘러싼 자원 채굴, 노동권, 개인정보 보호, 국가와 기업, 불평등…

이 책은 인공지능을 ‘추출 산업’으로 규정한다. 현대 AI 시스템을 창조하려면 지구의 에너지와 광물자원, 값싼 노동력, 대규모 데이터를 추출해야 한다. 이 일이 벌어지는 현장을 관찰하기 위해 저자는 AI가 실제로 만들어지는 장소들을 여행한다.

인공지능이 무엇이고 무엇으로 만들어지는지를 알기 위한 첫 번째 출발점은 컴퓨터에 동력을 공급하는 데 필요한 여러 광물 채굴장 중 하나인 미국 네바다의 리튬 광산이다. 채굴은 AI에 추출의 정치적 성격이 결부되었음을 가장 적나라하게 보여주는 분야다. 희토류, 석유, 석탄에 대한 기술 부문의 수요는 엄청나지만 이 채굴의 진짜 비용을 AI 업계에서 부담하는 경우는 전혀 없다. 소프트웨어 부문을 보자면, 자연어 처리와 컴퓨터 시각의 모형을 구축하려면 에너지가 어마어마하게 필요하며 더 빠르고 효율적인 모형을 제작하려는 경쟁 때문에 AI의 탄소 발자국을 키우는 탐욕스러운 연산 기법이 도입되었다. 최초의 대서양 횡단 해저 케이블에 필요했던 라텍스를 생산하기 위해 수확된 말레이시아의 마지막 나무로부터 독성 잔류물이 모여 생성된 내몽골의 거대한 인공 호수에 이르기까지 지구적 연산 네트워크의 환경적 인간적 출생지를 추적하며 이 행위들이 어떻게 지구를 대규모로 변화시키는지 살펴본다.

사실 인공지능은 인간의 노동으로 만들어진다. 단순 반복 작업을 위해 클릭을 하면서 푼돈을 받는 디지털 삯꾼과 거대 물류 제국의 알고리즘에 장단을 맞추는 아마존 창고의 직원들, 동물 사체를 해체하고 가공하는 시카고의 도축장에서 일하는 노동자들…… 이들은 기업주를 위해 감시와 통제를 강화하는 AI 시스템에 어떻게 적응해나가고 있을까? 인간의 행동을 로봇과 조립 라인 기계의 반복적 동작에 맞추기 위해 시간 관리 메커니즘이 어떻게 작동하는지, 그 문제점이 무엇인지를 꼼꼼하게 짚어봄으로써 노동의 미래가 어떤 모습일 것인가를 가늠해볼 수 있을 것이다.

지구와 인간 노동의 관계를 규정한 추출의 논리는 AI가 데이터를 이용하고 이해하는 방식과도 결부된다. 공개적으로 접근할 수 있는 모든 디지털 자료는 AI 모형을 생성하는 데 이용되는 훈련 데이터 집합을 위해 자유롭게 수집되는데, 이것들은 얼굴 인식, 언어 예측, 대상 탐지 등의 기능을 수행하는 알고리즘을 개선하는 데 쓰인다. 그런데 AI가 데이터를 이용하는 현재의 관행은 개인정보 유출과 감시 자본주의라는 심각한 문제 외에도 적잖은 윤리적 방법론적 인식론적 우려를 낳는다. 그중 가장 대표적인 것은 인공지능 시스템에서의 분류 행위이다. 현행 시스템이 어떻게 이분법적 성별, 획일적 인종 구분, 성격과 신용에 대한 미심쩍은 평가 등을 라벨의 주된 바탕으로 삼아 신원을 예측하는지 들여다보고 그 과정에서 AI 시스템이 어떻게 위계를 강화하고 불평등을 증폭하는지 알 수 있다.

AI가 인간의 감정을 어떻게 인식하는지도 중요한 쟁점이다. 심리학자 폴 에크먼 등의 연구 성과를 통해 감정 인식을 둘러싼 여러 주장을 검토하고, 파푸아뉴기니의 산악 마을을 여행하며 감정 인식의 역사를 탐구한다. 아마존, 마이크로소프트, IBM 같은 기술 기업들이 어떻게 감정 탐지 시스템을 설계하고 적용하는지 알아보고, 그에 따른 과학적 논란 및 우려와 부작용 가능성도 살펴본다.

AI 시스템이 어떤 방식으로 국가 권력의 도구로 이용되고 있는지도 이 책의 핵심 내용 중 하나다. 과거와 현재 인공지능의 군사적 활용은 감시, 데이터 추출, 위험 평가 등의 관행을 빚어냈다. 기술 부문과 군사 부문의 밀접한 관계는 강력한 국가주의적 의도에 들어맞도록 통제되고 있다. 한편 정보 부문에서 쓰이던 탈법적 도구들이 군사 분야에서 상업 기술 분야로 전파되어 교실, 경찰서, 직장, 고용지원센터에서 쓰이고 있다. AI 시스템을 빚어낸 군사적 논리는 이제 지방정부 운영의 일부가 되었으며, 더 나아가 국가와 국민의 관계를 왜곡하고 있다.

인공지능이 어떻게 권력 구조의 역할을 하며 하부 구조, 자본, 노동을 결합하는지 제대로 알고 그 대안을 마련하는 것은 우리의 현재, 미래와 직결되어 있다. 교묘하게 통제받는 우버 운전자를 비롯하여 추적당하는 미등록 이민자, 주택 내 얼굴 인식 시스템에 항의하는 공영주택 임차인에 이르기까지 AI 시스템은 자본, 치안, 군사화의 논리에 따라 구축되며 이 조합은 기존의 권력 불균형을 더욱 확대한다. 따라서 AI 시스템이 산업적 추출과 차별이 아니라 정의와 평등을 향해 시급히 새로운 길을 열어야 한다. 기술 우선식 접근법을 거부하고 기저의 불평등과 불의에 맞서는 국가적, 국제적 운동을 확장해야 할 필요성이 제기되고 있으며 노동, 기후, 데이터 정의를 함께 요구해야 한다는 것이다. 이 책은 인공지능이 실제로 어떻게 만들어지고 있는지를 생생하게 들여다보면서 이전의 편향된 인식과 불확실한 기술 낙관주의에서 벗어나 현실적이고 지속 가능한 미래를 그리는 데 큰 도움이 될 것이다.

서문
세상에서 가장 영리한 말│AI란 무엇일까?│AI를 지도책으로 보아야 하는 이유│연산의 지형학│추출, 권력, 정치

1 지구
AI를 위한 채굴│연산의 풍경│광물학적 층위│검은 호수와 흰 라텍스│청정 기술이라는 환상│물류의 층위│거대기계로서의 AI
2 노동
작업장 AI의 과거 역사│포템킨 AI와 메커니컬 터크│해체와 작업장 자동화에 대한 구상 : 배비지, 포드, 테일러│시카고의 도축장│시간 관리, 시간 사유화│사적인 시간은 권력의 전략│속도의 무자비한 리듬
3 데이터
기계에 보는 법 훈련시키기│데이터 수요에 대한 짧은 역사│얼굴 포착│인터넷에서 이미지넷으로│동의 따위는 필요 없다│데이터의 신화와 은유│로켓이 어디 떨어지든 무슨 상관이랴│공유재 포획으로 억만장자 되기
4 분류
순환 논증 체계│편향 해소 시스템의 한계│편향에 대한 여러 정의│분류 엔진으로서의 훈련 집합 : 이미지넷의 사례│‘사람’을 정의하는 권력│인종과 성별을 구성하다│측정의 한계
5 감정
감정 예언자 : 감정이 돈이 될 때│세계에서 가장 유명한 관상가│감정 : 관상학에서 사진까지│감정을 포착하다 : 감정을 연기하는 수법│표정은 실제로 감정을 표현하는가│얼굴의 정치학
6 국가
제3차 상쇄 전략│메이븐 계획│국가의 외주화│테러범 신용 점수에서 사회적 신용 점수로│초국가, 국가, 나의 일상
맺음말 권력
한계를 모르는 게임│AI의 파이프라인│지도는 영토가 아니다│정의를 위한 연대를 향하여
덧붙이며 우주

감사의 말
옮긴이의 말
주
참고문헌
찾아보기