기계가 인간의 도덕을 이해할 수 있을까?
컴퓨터가 프라이버시를 존중할 수 있을까?
인공지능을 안전하고 공정하게 만들려면 어떻게 해야 할까?

세계적인 철학자, 신경과학자, 컴퓨터과학자가
함께 쓴 독창적이고 균형 잡힌 ‘AI 윤리’ 입문서
독창적이고 균형 잡힌 ‘AI 윤리’ 입문서

“수 세기에 걸친 노력에도 불구하고 인간은 도덕적 실수를 막을 방법을 찾지 못했다. 어쩌면 이상화된 도덕적인 AI는 그 실수를 피할 수 있을지 모른다.” ≪도덕적인 AI≫는 ‘AI 윤리’ 분야에서 세계적으로 손꼽히는 철학자, 신경과학자, 컴퓨터과학자 셋이 함께 쓴 책이다. 인공지능에 대한 지나친 낙관론과 두려움 사이에서 균형을 잡아주는 책이자, 윤리적인 AI 개발과 사용을 고민하는 사람들을 위한 최신 안내서다. 딥페이크, 자율주행차, 자율무기, 의료 로봇 등 격변하고 있는 AI 기술의 최신 연구를 망라하면서 알고리듬의 편향, 프라이버시 침해, 사고의 책임 문제 등 인공지능을 둘러싼 새로운 윤리 문제를 흥미로운 사례와 함께 제시한다. 특히 인간의 ‘도덕성’을 탑재한 인공지능의 개발이라는 독창적인 아이디어를 제안하면서, 그동안 사람의 생명과 신체의 안전 및 기본권 보호에 중점을 두고 논의됐던 ‘AI 윤리’ 담론을 인간의 도덕적 실수를 예방하는 기술 도구의 개발과 활용으로까지 범위를 확장한다.

AI 기술의 사용에 대한 저자들의 입장은 명확하다. “목욕물을 버리다가 ‘AI 아기’까지 버려서는” 곤란하다는 것. 이미 혜택이 증명된 AI의 개발을 중단하는 것은 오히려 ‘부도덕’할 수 있다는 생각이다. 지금은 AI 기술을 쓸지 말지 논쟁할 때가 아니라, AI가 초래할 잠재적 편익과 위험을 면밀하게 파악하고, AI 기술과 맞물린 도덕적 가치의 문제들(안정성, 공정성, 프라이버시, 투명성, 자유, 기만)을 어떻게 해결해나갈지 지혜를 모을 때라고 주장한다.

총 7장으로 구성된 이 책은, 전반부에서 주로 인공지능의 개념과 작동 원리, 그 기술의 적용 사례와 윤리적 쟁점을 검토하고 있으며, 후반부에서는 주로 ‘도덕적인 AI’의 기술을 어떻게 구현할 수 있는지 소개하고, 한편 AI 제품을 윤리적으로 만들기 위한 구체적인 실천 방안을 제시한다. AI 기술의 새로운 트렌드와 윤리적 논쟁에 관심 있는 독자, ‘AI 윤리’를 제품 개발에 적용하기 위해 치열하게 고민 중인 IT업계 종사자, 그리고 우리 사회를 더 공정하고 민주적으로 이끌 수 있는 도구로서 AI를 어떻게 활용할 수 있을지 고민하는 시민들 모두에게 요긴한 안내서가 될 것이다.

왜 ‘도덕적인 AI’인가?

‘도덕적인 AI(Moral AI)’라니, 제목이 궁금증을 자아낸다. 과학소설 팬이라면 혹시 도덕성과 자율성, 자유의지를 지닌 새로운 인공지능의 출현을 예언하는 책일까 기대할지도 모르겠다. 하지만 이 책에서 제안하는 ‘도덕적인 AI’는 그런 먼 미래의 인공지능이 아니다. 넓게 말하면, “인간의 가치를 학습하고 구현하는 AI”, 좁게 말하면 ‘인간의 도덕적 판단을 보조하는 시스템’이다. 그 가능성을 보여주는 대표적인 연구 사례가 ‘신장 이식을 받을 환자의 우선순위를 정하는 AI’이다.

병원에서 이식의 우선순위는 대체로 1) 이식 외과의의 의학적 판단, 2) 신장 이식 방침을 결정하는 병원 담당자들의 의료적·실용적 판단(적합성, 연령, 건강, 장기의 질, 대기 기간 등)으로 결정된다(여기서 도덕적 판단은 제외). ‘도덕적인 AI’는 두 가지 방향에서 학습이 이루어지는데, 먼저 이식 외과의가 신체적, 정신적으로 이상적인 상태일 때 내릴 법한 의학적 판단을 프로그래밍하고, 다음으로 병원의 이식 방침을 결정하는 집단의 판단을 모형화한다. 특히 후자의 경우에는 병원 관계자뿐 아니라 변호사, 환자, 비전문가 등 다양한 시민들을 참여시킴으로써 공동의 도덕적 판단을 자동화 시스템으로 구축할 수 있다. 이 기술 도구를 이용하면, 외과의의 실수와 편향을 방지하고, 신장 분배 우선순위 목록을 해당 집단의 도덕적 가치와 일치시킬 수 있다. 이 책은 이 기술을 시스템에 구현하기 위해, 어떻게 도덕적 특징을 뽑아내고, 가중치를 측정하고, 도덕적 판단을 모형화하고, 집단의 판단을 종합하고, 도덕적 판단을 이상화할 수 있는지 현재 연구되는 아이디어들을 제시하고 있다(239~253면 참조).

인간의 도덕성을 탑재한 AI

‘도덕성을 지닌 인공지능의 출현’을 기대했던 독자들한테는 여전히 시시해 보일지 모르지만, 이 기술의 잠재력은 어마어마하다. 핵심은 두 가지다. 첫째, 사람들의 도덕적 판단을 도울 수 있다. 불완전한 인간은 언제든 도덕적 오류를 범할 수 있다. “인지적 편향, 편애, 인종 또는 성별 편견 등 무의식적으로 의사결정에 영향을 미치는 편향”에서 벗어날 수 없기 때문이다. 그런 편향을 제거한 ‘이상화된 도덕적인 AI’는 우리가 불완전한 상태일 때에도(가령, 잠이 덜 깼거나 화가 난 상태에도) “합리적이고 편향 없는 상태에서 더 많은 정보를 갖고 내릴 만한 도덕적 판단”을 내리는 데 도움을 줄 수 있다. 둘째, 사회의 불공정을 개선하고, 비윤리적인 결정을 방지하는 데 도움을 줄 수 있다. AI에 도덕성을 탑재하는 이 기술을 다른 영역으로 확장하면, 공동체 구성원의 도덕적 판단을 자동화하는 ‘인공적으로 개선된 민주주의(AID)’ 시스템을 개발할 수 있다(254~256면 참조). 특히 의사결정 지원 도구에 AID를 탑재한다면 비단 의료 분야뿐 아니라 광범위한 영역에서 활용할 수 있다. 예를 들어, 채용 담당자가 지원자를 대상으로 면접을 보거나 채용 결정을 내릴 때, 군사 무기 운용자가 언제 어떤 표적을 향해 미사일을 발사할지 고려할 때, 그 밖에 공정성과 도덕성 시비가 생길 수 있는 분야에서 인간 행위자가 올바른 선택을 하도록 도움을 받을 수 있다.
한편 저자들은 ‘도덕적인 AI’ 기술을 다양한 영역으로 보급하는 동시에, 인공지능 개발사가 AI 제품의 개발 초기부터 윤리적 개입을 강화할 수 있는 다양한 실천 방안(‘도덕적인 AI’ 전략)을 제시하고 있다. 핵심이 되는 부문은 “기술 보급, 조직 관행, 교육, 시민 참여, 공공 정책”이며, 개발사는 이를 통해 조직 문화를 개선하고, 윤리 담당자의 역할을 강화하며, 윤리 지표를 마련하고, AI 제품에 공동체의 가치를 반영하는 등 ‘도덕적인 AI’ 전략을 구체적인 지침으로 활용할 수 있다.

AI 기술과 새로운 윤리적 쟁점

아울러 저자들은 현재 우리가 고민해야 할 인공지능 기술의 새로운 윤리적 쟁점들을 폭넓게 제시하고 있다. 이 책에서 주목하는 사례 중 핵심적인 몇 가지만 소개한다.
첫째, 책임의 문제(또는 ‘책임의 공백’ 문제). AI로 인한 안전사고의 책임은 누가 져야 할까? 2018년 우버 소유의 자율주행차 볼보 XC90가 실험 운행 도중에 보행자(허츠버그)를 쳤다. 차량의 센서와 AI 인식 시스템이 보행자를 인식하지 못했고, 운전석의 테스트 드라이버도 한눈을 팔고 있었다. 허츠버그의 죽음에 책임이 있는 대상은 누구일까? 테스트 드라이버? 자동차 제조사? AI를 만든 우버의 엔지니어? 아니면 AI가 어떤 결과를 초래할지 예상한 사람이 없었기 때문에 누구에게도 책임을 물을 수 없을까?

‘책임의 공백’ 문제는 AI가 활용되는 다양한 분야에서 일어날 수 있다. 연루되는 대상이 많아서 법적·도덕적 책임의 경중이 불분명하기 때문이다. 예를 들어, 병원에서 AI가 진단 실수를 저질러 환자가 불필요한 치료를 받거나 치료가 늦으면, 그 책임은 누구에게 있을까? 군대가 AI를 사용하여 드론 공격을 유도했는데 시민이 희생됐다면, 그 책임은 누구에게 있을까? 더 골치 아픈 예를 들자면, 신생 회사가 오픈AI의 GPT 모형을 기반으로 의료 상담 챗봇을 만들었는데 챗봇이 유해한 조언을 제공해서 사람이 죽었다면, 그 책임은 누가 져야 할까? 신생 회사일까, GPT 모형 기술을 제공한 오픈AI일까? 저자들은 우리 사회가 앞으로 이러한 책임의 문제를 해결하지 못한다면, 사회적 혼란이 불가피하다고 우려한다.

둘째, 프라이버시 침해 문제. 개인정보가 유출되기 쉽고, 범죄에 악용될 수 있다. 예를 들어 ‘얼굴 인식 AI’와 위치 추적 기술이 결합하면 단순히 길거리에서 목격하는 것만으로 누군가의 민감한 의료 정보를 알아낼 수 있고, AI 딥페이크 기술을 이용한 ‘피싱 공격’에 속수무책으로 당하기 쉽다(챗봇, 동영상, 녹음, 사진이 진짜 은행이나 국세청 직원 행세를 한다고 생각해 보라).

하지만 이 책에서 저자들이 진짜 주목하는 프라이버시 위협은 따로 있다. “최대한 많은 개인 데이터를 수집하고, 영구적으로 저장하고, 최고 입찰자에게 판매하는 것을 바탕으로 돌아가는” AI 생태계 그 자체다. 오늘날 많은 AI 기업이 개인 데이터를 모으기 위해 공을 들이는데, “훈련용 데이터가 다양하고 방대할수록 AI의 정확도가 높아지고 예측할 수 있는 내용도 많아지기” 때문이다. 수집 방법도 교묘하다. 미국의 온라인 결제 회사 페이팔의 경우, “사용자가 페이팔과 어떤 웹사이트의 통합을 동의하면 쇼핑 내역, 개인별 취향, 사진, 장애 상태가 그 웹사이트와 공유된다(개인정보 처리방침의 “당사는 귀하의 개인 데이터를 판매하지 않습니다”라는 문구에 안심했다가는 큰일난다. 이 문구는 “다른 기업과 데이터를 공유하지 않는다”는 뜻이 아니기 때문이다). 그렇게 수집된 개인 데이터는 다양한 AI 모형(얼굴 인식이나 텍스트 완성 또는 챗봇 시스템 등)을 훈련하는 데 쓰이고, 심지어 그렇게 학습된 AI 모형도 다른 기업들에 대여해주거나 팔 수 있다. 한편 훈련용 데이터의 정보 일부를 ‘기억’하는 AI 모형의 특성 때문에(‘망각불능’ 현상), 누군가의 개인정보가 튀어나오는 일도 불가능하지 않다. “마이크로소프트와 아마존은 직원들에게 챗GPT에 민감한 정보를 공유하지 말라고 경고하기도 했다. 언젠가 출력되는 내용에 해당 정보가 포함될지도 모르기 때문이다.”

셋째, 데이터의 편향 문제. AI 윤리 분야에서 데이터 편향은 오랫동안 지적되어온 문제다. “어떤 데이터를 수집할지 결정하고, AI 알고리듬에 어떤 정보를 넣을지 선택하고, AI의 예측에 어떻게 반응할지 결정할 때마다 인간의 편향이 AI에 반영될 여지가 생기기” 때문이다. 편향된 데이터를 학습한 AI 모형은 당연히 편향된 결과를 내놓는데(“편향이 입력되면 편향이 출력된다”), 한 연구 결과에 따르면 “채용과 해고, 승진, 주택 융자, 사업자금 대출에 흔히 사용되는 AI는 특히 흑인, 여성, 이민자, 빈곤층, 장애인 등 지원자에게 불리하게 작용하는 경우가 많았고, 피부암 탐지 AI는 어두운 피부(유색 인종)를 대상으로는 잘 작동하지 않았다.”

넷째, 알고리듬 처리 과정의 투명성 문제. 특히 심층학습 AI에서 꽤 골치 아픈 문제로 알려져 있다. 심층학습 AI는 다른 AI 기술보다 예측 능력이 뛰어나다고 알려져 있는데, 문제는 알고리듬의 처리 과정이 블랙박스처럼 깜깜이여서 그것을 해석하거나 이해할 수 없다는 것이다. ‘루미스 대 위스콘신 판결’ 논란이 대표적이다. 총격 사건에 가담한 혐의로 기소된 에릭 루미스는 ‘컴퍼스’(미국의 양형 법원에 사용되는 위험성 평가 도구)의 예측을 통해 “공동체에 위협이 되는 인물”로 간주되어 중형을 선고받았다. 루미스는 컴퍼스의 “예측 모형이 독점적이고 복잡해서 위험성 예측에 도달한 경로 또는 이유를 알거나, 대응할 수 있는 현실적인 방법이 없다”며 항고했지만, 결국 패소했다. 하지만 저자들의 지적처럼 “예측을 생성하는 AI를 인공지능 전문가 말고는 아무도 이해할 수 없다면 또는 심지어 전문가조차 이해하는 것이 불가능하다면… 법정 절차는 결국 공정성을 상실할 것이다”. 저자들은 AI의 불투명성 문제가 앞으로 그 기술을 활용하는 많은 분야에서 언제든 공정성 시비를 불러올 것이라고 우려한다.

‘기술의 힘’과 지혜 사이의 경쟁

2024년 노벨물리학상 수상자 제프리 힌턴은 “AI로 인해 30년 내 인류가 멸종할 수도 있다”라고 경고했지만, AI의 경제적 가치가 확인되면서 사뭇 다른 분위기도 읽힌다. 전 세계가 AI 신제품 개발에 사활을 걸고 뛰어드는 지금 윤리 문제가 대수냐고 한가한 소리 말라고 여길 사람들도 있겠다. 일단 신제품을 내고, 문제가 불거지면 그때그때 수습하면서 처리하면 될 일이라고(‘린-애자일’ 방법), 그것이 지금껏 IT 기업들의 관행이었고 성공적으로 작동해왔다고 생각할 기업들도 있겠다.

이 책이 경고하는 바가 그것이다. “기업들이 AI가 유발하는 피해에 책임감을 느끼지 않는다면, 그들은 안전성이 의심스럽지만 수익성이 높은 AI 제품을 만들어야 한다는 압박을 점점 강하게 받을 것이다.” AI의 파괴력을 고려하면 그 피해의 크기는 한 기업의 차원을 넘어설 것이다. 오늘날 많은 정부와 기관들이 서둘러 AI의 안전성과 잠재적 위험을 예측하고, ‘AI 윤리’ 원칙을 마련하고, 장기적으로 기계로부터 인간의 통제권을 잃지 않기 위한 연구와 제도적 노력을 벌이고 있는 이유이다(우리나라의 경우 2024년 말 AI안전연구소 설립, AI 기본법 본회의 통과).

어쩌면 우리가 AI에 장착하기 위해 노력해야 하는 것은 더 강력한 첨단기술이 아니라, 인류의 미래를 지켜줄 인간의 ‘도덕성’일지 모른다. 스티븐 호킹은 “우리의 미래는 점점 커져가는 기술의 힘과 그것을 사용하는 지혜 사이의 경쟁이 될 것”이라고 말한다. 인간의 가치를 학습하고 구현하는 ‘도덕적인 AI’ 개발이 그 지혜의 열쇠가 될 수 있다. 저자들의 말마따나 아직은 “도덕적인 AI의 이야기에서 감독과 주연은 둘 다 인간이다.” 그러나 우리가 인공지능에 담으려는 가치를 숙고하지 못한 채 이 이야기가 전반부가 끝난다면, 압도적인 AI가 써나갈 이야기의 후반부에서 인간의 자리는 매우 위태로울지 모른다.