생성형 인공지능을 통해 우리는 단 몇 개의 문장으로 이미지를 만들고, 그것을 변형하며, 이전에는 상상하지 못했던 형상을 만날 수 있게 되었다. 그러나 너무 많이, 너무 쉽게 나타나는 이미지들 앞에서 우리가 보고 느끼는 방식에는 어떤 변화가 일어나고 있을까?

『생성형 감각들』은 AI 이미지의 생성 원리부터 텍스트와 이미지의 관계, 역사적 재현과 문화적 기억, 스타일과 분위기를 감각하는 방식까지, 인공지능 시대의 이미지에 관한 네 편의 미학적 소고를 묶었다. 각 저자는 기술과 예술, 문학과 철학을 가로지르며 생성형 AI가 이미지의 생산뿐 아니라 의미와 감각의 형성에 어떤 질문을 던지는지 살펴본다.

인공지능 기술의 발전을 설명하는 데 그치지 않고 우리가 무엇을 새로운 이미지로 받아들이는지, 왜 특정한 형상을 그럴듯하다고 느끼는지, 하나의 스타일이나 분위기를 어떻게 알아보는지 되묻는다. 우리가 예술에서 기대하는 놀라움은 어쩌면 새로운 형상의 끝없는 생산뿐 아니라, 익숙한 것을 다르게 보고 아직 명명하지 못한 감각을 발견하는 데서 다시 시작될 수 있을 것이다.

이미지의 풍요 속에서 다시 발견하는 감각의 가능성
AI는 이미지를 어떻게 만들고, 우리의 감각은 어떻게 바꾸는가?
생성형 인공지능을 통해 우리는 단 몇 개의 문장으로 이미지를 만들고, 그것을 변형하며, 이전에는 상상하지 못했던 형상을 만날 수 있게 되었다. 그러나 너무 많이, 너무 쉽게 나타나는 이미지들 앞에서 우리가 보고 느끼는 방식에는 어떤 변화가 일어나고 있을까?

『생성형 감각들』은 AI 이미지의 생성 원리부터 텍스트와 이미지의 관계, 역사적 재현과 문화적 기억, 스타일과 분위기를 감각하는 방식까지, 인공지능 시대의 이미지에 관한 네 편의 미학적 소고를 묶었다. 각 저자는 기술과 예술, 문학과 철학을 가로지르며 생성형 AI가 이미지의 생산뿐 아니라 의미와 감각의 형성에 어떤 질문을 던지는지 살펴본다. 이 책은 인공지능 기술의 발전을 설명하는 데 그치지 않고 우리가 무엇을 새로운 이미지로 받아들이는지, 왜 특정한 형상을 그럴듯하다고 느끼는지, 하나의 스타일이나 분위기를 어떻게 알아보는지 되묻는다. 우리가 예술에서 기대하는 놀라움은 어쩌면 새로운 형상의 끝없는 생산뿐 아니라, 익숙한 것을 다르게 보고 아직 명명하지 못한 감각을 발견하는 데서 다시 시작될 수 있을 것이다.
예측, 언어, 역사, 바이브 — AI 이미지를 읽는 네 가지 경로
네 편의 글은 서로 다른 시기에 발표되었고, 기술과 미학에 접근하는 방법도 다르다. 그럼에도 함께 읽을 때 하나의 공통된 질문이 나타난다. 인공지능을 통해 무엇을 더 많이 만들 수 있는가라는 질문에서, 무엇을 어떻게 보고 느끼게 되는가라는 질문으로 시선을 옮기는 것이다. 생성형 인공지능이 만들어내는 새로운 형상에는 이미 축적된 문화의 흔적이 남아 있고, 말과 이미지 사이의 관계에는 오랜 미학적 논의가 이어져 있으며, 과거의 재현과 스타일의 인식에는 특정한 선택과 배제가 작동한다. 이 책은 이러한 관계들을 살펴보며 기술이 가능하게 하는 것과 그 과정에서 사라지거나 주변으로 밀려나는 것을 함께 사유한다.

레프 마노비치는 AI 이미지의 생성 원리를 ‘예측’이라는 개념으로 설명하며, 이를 모더니즘의 실험과 문화적 인용, 데이터베이스 아트의 역사와 연결한다. 하네스 바요어는 텍스트가 이미지를 만들어내는 과정을 통해 언어와 이미지 사이의 오래된 관계가 어떻게 변화하는지 탐구한다. 파비안 오페르트는 인공지능이 역사적 사건과 그 시대의 시각적 관습을 함께 재현하는 방식에 주목하며, 이미지와 역사적 기억의 관계를 질문한다. 펠리 그리처는 인공 신경망의 작동 원리를 미학적 사유의 모델로 삼아, 서로 다른 대상들이 하나의 스타일이나 분위기를 공유한다고 느끼는 경험의 구조를 살펴본다.

네 편의 글은 이미지의 생성과 해석, 역사적 재현과 감각의 문제를 서로 다른 관점에서 다룬다. 이를 통해 생성형 인공지능이 무엇을 만들어낼 수 있는지뿐 아니라, 우리가 무엇을 새롭다고 느끼고, 어떤 이미지를 그럴듯하다고 받아들이며, 하나의 세계를 어떻게 알아보는지 되묻는다.

이미지를 만드는 기술에서, 이미지를 감각하는 방식으로
우리는 이제 이미지가 나타나는 일에 그다지 놀라지 않는다. 몇 개의 문장을 입력하면 그럴듯한 풍경과 인물, 한 번도 본 적 없는 사물이 눈앞에 펼쳐진다. 만들어진 이미지가 마음에 들지 않으면 다시 생성하거나 다른 스타일로 바꾸면 된다. 생성형 인공지능은 이미지 제작의 가능성을 확장하는 동시에, 이미지를 경험하는 속도와 방식도 변화시키고 있다. 그러나 생성된 이미지가 무엇을 보여주는지, 그것이 왜 그럴듯해 보이는지, 우리가 어떤 조건에서 낯섦이나 아름다움을 느끼는지는 여전히 질문으로 남아 있다. 인공지능은 무엇을 학습하고, 어떤 관계를 바탕으로 이미지를 만들어낼까? 이미지를 쉽게 만들고 변형할 수 있게 된 시대에, 우리는 오히려 무엇을 놓치고 있을까? 「디자인 문예」 시리즈의 두 번째 책 『생성형 감각들』은 이러한 질문에서 출발한다. 네 편의 글은 인공지능을 하나의 독립적인 기술로 바라보기보다, 이미지와 예술의 역사, 언어와 매체의 관계, 기억과 세계 경험을 탐색하는 계기로 삼는다.

역자 후기
이번 책은 약 1년 동안 느슨히 함께 읽고 옮기는 스터디 번역으로 진행되었으며, 그 과정에서 AI 분야에서 일하는 연구원의 학술적 도움을 받았습니다. 한국어판을 만드는 동안 가장 신경 쓴 부분은 생성형 인공지능의 기술적 논의를 독자들이 무리 없이 이해하고, 이를 미학적 사유와 연결해 읽을 수 있도록 풀어내는 일이었습니다. 각 글은 인공지능의 작동 원리를 바탕으로 이미지의 생산과 의미의 형성, 역사와 스타일에 관한 질문을 던지고 있어, 기술적 설명을 지나치게 단순화하지 않으면서도 그 안에 담긴 미학적 질문들이 충분히 전달되도록 주석을 보태기도 했습니다. 이 책이 인공지능이라는 하나의 기술을 이해하는 데 그치지 않고, 우리가 이미지를 보고 세계를 감각하는 방식을 함께 생각하고 이야기 나누는 계기가 되기를 바랍니다. 

겉으로만 보면 모더니즘의 논리는 생성형 AI 시스템을 훈련하는 방식과 정반대인 듯하다. 모더니즘 예술가들은 시각적 대칭, 위계적 구성, 서사적 내용 같은 고전 미술의 특징에서 벗어나려 했다. 적어도 선언문 속 이론의 차원에서 그들의 예술은 이전에 존재한 모든 것에 대한 근본적인 거부 위에 세워져 있었다. 반면 AI 모델은 역사적으로 축적된 문화와 예술을 학습하며 훈련된다. 그런 의미에서 AI 모델은 오직 과거의 예술만 소장한 ‘메타적인 벽 없는 미술관’에서 공부하는 지극히 보수적인 예술가를 닮았다.

— 22쪽, 레프 마노비치

AI 이미지 도구는 낯설거나 드문 주제보다 대중적이고 흔한 주제와 미학을 훨씬 더 잘 생성한다. 현재의 AI 발달 단계에서는 훈련 데이터로 쓰이는 웹에 그러한 주제가 압도적으로 많기 때문이다. 그렇다면 충분히 고유한 것, 다시 말해 존재하지 않거나 드물거나 낯선 것을 만들라고 요구할 때 이 도구들은 어떻게 반응할까?

— 40쪽, 레프 마노비치

텍스트로 이미지를 만들어 시를 구성하는 대신, 이 작품은 이미지로 텍스트처럼 보이는 시를 만든다. 세 작품은 모두 시각시라는 공통점을 지닌다. 그러나 내가 관심을 두는 것은 공통점보다 차이다. 세 작품이 서로 근본적으로 다른 기술을 사용하고, 그 기술마다 텍스트와 이미지 사이에 다른 관계를 만들어내기 때문이다.

— 57쪽, 하네스 바요어

결국 DALL·E의 핵심은 의미 있는 언어적 설명을 이미지 파일로 바꿀 수 있다는 데 있다. 이것 역시 ‘말로 그림 그리기’다. 다시 말해 재현이 아니라 수행으로서의 그림 그리기다. 따라서 DALL·E 역시 ‘작동하는 에크프라시스’의 한 유형이라 부를 수 있다. 계산을 통해 이미지를 생산하는 텍스트로 작동하기 때문이다.

— 75쪽, 하네스 바요어

그렇다고 AI 열풍에 휩쓸릴 필요는 없다. 기계에 의식 같은 특성을 덧씌우거나, 그 제작자들을 공정한 경기의 규칙 밖에 선 선지자의 지위에 올려놓아서도 안 된다. 하지만 이런 발전을 외면할 수도 없다. 문화적·철학적·미학적 범주는 현장에서 벌어지는 현실을 늘 뒤늦게 따라간다. 학문은 거리를 두고 지켜볼 수도 있고 직접 손을 대며 개입할 수도 있다.

— 86쪽, 하네스 바요어

데이터셋은 선택과 배제의 과정에서 만들어진다. 그것들은 세계에 대한 특정하고 편향된 관점을 반영하는 것조차 아니다. 디지털 형태로 쉽게 이용할 수 있는 세계의 일부에 대한 특정하고 편향된 관점을 반영할 뿐이다. 데이터셋의 구성은 종종 착취적 관행과 사생활 및 저작권에 대한 의심스러운 해석에 기대고 있다.

— 95쪽, 파비안 오페르트

그럼에도 최근 대형 시각 모델의 결과를 보면, 우리가 보는 것은 직관적으로 ‘역사적’이라고밖에 할 수 없다. 인공지능 연구와 과학소설의 오랜 친연성이 암시하는 것과 달리, 파운데이션 모델은 미래보다 과거를 다시 상상하는 데 쓰인다. 그중 특히 눈에 띄는 것은 만들어진 적 없는 허구적 영화의 스틸 이미지다. 이런 이미지는 특정 감독과 시대의 미학을 포착한다.

— 97쪽, 파비안 오페르트

카프카의 독자는 은행에 가는 경험, 이별당하는 경험, 멍한 상태로 잠에서 깨어나는 경험, 낯선 도시에서 길을 잃는 경험, 경찰 심문을 받는 경험 속에서 일종의 카프카적(Kafkaesque) 미학이 작동하고 있음을 알아보는 법을 배운다. 이런 경험의 현실적 뉘앙스 가운데 놀랄 만큼 많은 부분이 카프카적 구성의 미적 규칙에 완전히 묶인 문학 세계 안에서 꽤 잘 근사될 수 있음을 배우기 때문이다. 다시 말해 우리는 현실의 특정 현상에서 카프카의 미학 논리를 알아보는 법을 배운다. 동시에 카프카의 문학 세계가 지닌 순수한 미학 논리가 현실 세계의 현상들과 놀랄 만큼 닮은 결과를 생성할 수 있음을 배우는 일이기도 하다.

— 147쪽, 펠리 그리처|

문학작품의 ‘스타일’ 또는 ‘바이브’는 처음에는 작품의 서사·서정·수사 운동을 이루는 변형과 이행 속에서 유지되는 불변 구조다. 예를 들어 게오르크 뷔히너의 「렌츠(Lenz)」를 읽을 때 플롯은 움직이고, 렌츠의 정신이 겪는 서정적 과정은 톱니바퀴처럼 돌아가며, 렌츠는 물질적·사회적 장소들을 옮겨 다닌다. 그러나 모든 변화는 더 높은 차원의 기분이 변하지 않는다는 사실을 굳히고 선명하게 한다. 앞서 주장했듯, 주어진 문학작품의 불변하는 스타일 또는 바이브는 작품 내부 가능성 공간의 미적 상관물이다.

— 153쪽, 펠리 그리처