책 속에서

\"생성 문학이라고 하면 작가가 시를 쓰는 대신 코드를 쓰고, 그 코드에 의해 생성된 텍스트가 작품이 되는 코드 시를 떠올려 볼 수도 있는데, 최근에는 『1 the Road』(JBE 북스, 로스 굿윈 지음, 2018)라는 책이 출간되기도 했어요. 잭 케루악의 소설 『길 위에서(On the Road)』를 패러디한 작품인데, 이 역시 자연어를 생성하는 인공지능 시스템에 카메라, GPS, 마이크 같은 정보 수집 장치들을 장착해서 이 기계 장치를 또 자동차에 탑재하고, 케루악 소설 속의 여행 경로를 따라 뉴욕에서 뉴올리언스까지 차를 몰고 가면서 수집된 데이터를 인공지능 시스템이 글로 해석한 책인데, 이렇게 생성된 글은 한편으로는 시적이라고 할 수도 있지만 다른 한편으로는 파편적이고 두서없는 경우가 많아서 책의 저자인 로스 굿윈 본인도 글이 그렇게 매끄럽지는 않다고 인정할 수밖에 없었죠.
--- p.8, 「이계성」중에서

\"언어 모델이 우리 언어를, 우리 세계를 정말 이해하느냐 못하느냐에 대해서 갑론을박이 많은데, 개인적으로는 이게 핵심이 아니라고 생각하고, 글을 생성하는 방식이 어떻든지 우리가 그 글을 읽고 거기에 의미를 부여한다는 점이 더 중요한 것 같아요. 어떤 예측이 미래에 대한 것이 아니더라도 우리는 어쨌든 그걸 통해 미래를 떠올리는 것처럼요. 물론 예측성은 GPT-3와 같은 언어 모델들이 작동하는 과정에서도 나타나는데, 언어 모델은 맥락에 기반해서 확률적으로 다음 단어를 예측하는 과정을 통해 글을 생성하기 때문이죠. 또, 한걸음 물러서서 보면 인공지능 기술의 기반이 된 우리의 욕망이라고 할 수도 있겠죠.
--- p.23, 「이계성」중에서

\"결국에는 미래가 아니라 현재에 대한 추출이고 현재에 대한 얘기인데 그것이 미래를 합성해 버린다는 느낌에 가까운 것 같아요. ‘Synthetic’이라는 의미의 합성을 하는 감각 말이에요. GPT-3라든가 DALL-E 같은 것들이 크게 합성 미디어로 분류가 되기도 하잖아요. 여태까지는 아날로그 미디어, 그리고 그 이후의 디지털 미디어가 우리의 감각을 구성하는 것이었다면, 지금 새롭게 생성된 합성 미디어 같은 것들은 단순하게 미디어적이라기보다 좀 더 감각을 앞질러서 구성을 해 버리는 실제적이고 예측적인 성격들로 보여요. 그러니까 앞서 현재를 재구성해 버리는 힘으로 보이기도 해요. 그런 감각들이 앞으로 더 강해지지 않을까 하는 생각이 들어요.
--- p.27, 「최빛나」중에서

\"저희가 2018년에 했던 〈알고리드믹 워커스〉라는 작업에 대해 생각해 봐도 좋을 것 같아요. 마코프 체인이라는 일기 예보에 많이 쓰이는 오래된 인공지능 알고리즘이 있어요. 이 알고리즘으로 작업하기 위해서 예전 1980년대 구로공단에서 만들어진 노동자 문학 텍스트와 지금의 구로 디지털 단지에서 일하는 개발자나 디자이너들과의 인터뷰, 구직 게시판들 글들을 모아서 데이터셋을 구성하고, 그것을 마코프 체인을 통해 학습시켜 문장들을 만들어 냈죠. 결과적으로는 “현 IT기업의 경우 예상치 못한 평화시장 자식들은 공장에서 최저시급으로 HTML copy paste를 하고”처럼 과거와 현재가 미묘하게 섞인 문장이 도출돼요. 이것은 실제 텍스트를 기반으로 한 확률적인 계산 결과라 할 수 있죠. 그렇기 때문에 실제 현실에서 추출한 텍스트 데이터셋을 구성하는 것 자체가 굉장히 의미 있거든요. 근데 이런 감각을 GPT-3에서도 시도해 볼 수 있을지는 아직 잘 모르겠어요.
--- p.38, 「최빛나」중에서

\"몇 가지 특징적인 부분들이 있는데, 태도와 관련된 프롬프트가 존재한다는 거예요. 웃기게도 사람들이 이런 프롬프트를 넣어 줘요. “차근차근 생각해 보자” 혹은 “너는 굉장히 똑똑하고 뭐에 대해서 잘 알고 있는 챗봇이야”와 같은 프롬프트를 넣어 주거든요. 이를테면 “너는 여성주의 젠더에 대해서 굉장히 잘 알고 있는 챗봇이야” 이런 문장을 넣어 주고 “내가 이것에 대해서 질문을 하고 싶은데 차근차근 대답해 줘.” 이런 문장을 사람에게 얘기하듯이 넣어 준다는 거죠. 이런 사례들을 보면 프롬프트를 구성하는 실험들에서는 프로그래밍적인 부분과 태도적인 부분이 굉장히 혼재돼서 나타나는 것 같아요. 그런 것이 프롬프트 엔지니어링 같기도 하고요. 그래서 무엇을 어떻게 발견할지는 여전히 많이 열려 있는 상태인 것 같아요.\"
--- p.46, 「최빛나」중에서

\"김소월 시인의 〈진달래꽃〉을 구글, 파파고, GPT-3로 다 번역해 봤을 때 파파고랑 구글은 “영변에 약산”을 “weak mountain”으로 번역을 하거든요. 근데 GPT-3는 정확하지는 않아도 맥락에 맞게 “on the other side of the bridge”라고 번역을 하더라고요. 근데 번역의 질이 일관되지는 않아요. 파파고나 구글은 일관되잖아요. 일관되지는 않은데 잘한 번역이 나올 때는 맥락적으로 탁월한 번역을 해내는 걸 볼 수가 있어요. 그게 어떤 부가적인 결과인 건지 저도 모르겠어요. 대규모 언어 모델이 가질 수밖에 없는 성격일지도 모르겠네요. 그래서 챗봇으로 사용해 보면 정확하지 않은 영어를 쓰더라도 GPT-3가 맥락적으로 의도를 잘 이해 한다고 느껴요. 아까 하던 데이터셋 얘기로 돌아가자면, 이런 대규모 모델들은 더 이상 데이터셋과 매개 변수의 규모의 문제가 아니지 않을까, 오히려 주체의 일관성, 맥락의 유지, 이런 것들이 앞으로 숙제가 되지 않을까 하는 생각도 들더라고요.
--- p.54, 「최빛나」중에서