언어 빅데이터와 디지털 기술이
언어학 연구의 도구와 양상을 바꾼다!
역대 대통령들의 취임사를 언어기호의 사용과 빈도 데이터를 기준으로 분석하면 흥미로운 결과가 나온다. 김대중 대통령과 노무현 대통령의 취임사가 가장 근접성이 높다. 그런데 놀랍게도 박근혜 대통령의 취임사는 이 두 대통령의 취임사와 높은 근접성을 나타낸다. 이로써 정책 비전의 제시에서 보수와 진보라는 이념적 기준이 절대적으로 작용하기보다는 시대정신이 핵심적 역할을 수행함을 엿볼 수 있다.
이런 분석은 어떻게 가능할까? 대통령 취임사라는 ‘언어 집합체’를 컴퓨터 기술을 활용해 파고든 결과이다. 구체적인 언어생활을 통해 형성된 일종의 언어학적 빅데이터를 기반으로 삼음으로써 다양한 언어학 연구를 할 수 있게 된 것이다.
현대인의 실제 언어생활은 그 자체로 빅데이터이다. 특히 한 편의 연설, 시집이나 소설책 1권 등과 같이 일정한 분량과 체계를 갖춘 말의 덩어리는 그 속에서 여러 언어 특성을 추출하고 분석하는 기반이 된다. 이런 말의 덩어리를 코퍼스(corpus)라 하는데 이를 디지털 기술과 도구를 통해 언어학 연구에 활용할 수 있다. 코퍼스를 기반으로 하는 언어 연구에서는 검색 엔진의 구축이 필수적이다. 이 책은 언어학 연구자가 자신의 연구 목적에 맞게끔 검색 엔진을 만들고 활용할 수 있도록 돕는다. 또한, 다양한 연구 분야에 걸쳐 상세한 방법론과 함께 다양한 사례를 제시함으로써 연구에 체계적으로 적용할 수 있도록 했다.

출판사 서평
언어 빅데이터와 디지털 기술이
언어학 연구의 도구와 양상을 바꾼다!
역대 대통령들의 취임사를 언어기호의 사용과 빈도 데이터를 기준으로 분석하면 흥미로운 결과가 나온다. 김대중 대통령과 노무현 대통령의 취임사가 가장 근접성이 높다. 그런데 놀랍게도 박근혜 대통령의 취임사는 이 두 대통령의 취임사와 높은 근접성을 나타낸다. 이로써 정책 비전의 제시에서 보수와 진보라는 이념적 기준이 절대적으로 작용하기보다는 시대정신이 핵심적 역할을 수행함을 엿볼 수 있다.
이런 분석은 어떻게 가능할까? 대통령 취임사라는 ‘언어 집합체’를 컴퓨터 기...
언어 빅데이터와 디지털 기술이
언어학 연구의 도구와 양상을 바꾼다!
역대 대통령들의 취임사를 언어기호의 사용과 빈도 데이터를 기준으로 분석하면 흥미로운 결과가 나온다. 김대중 대통령과 노무현 대통령의 취임사가 가장 근접성이 높다. 그런데 놀랍게도 박근혜 대통령의 취임사는 이 두 대통령의 취임사와 높은 근접성을 나타낸다. 이로써 정책 비전의 제시에서 보수와 진보라는 이념적 기준이 절대적으로 작용하기보다는 시대정신이 핵심적 역할을 수행함을 엿볼 수 있다.
이런 분석은 어떻게 가능할까? 대통령 취임사라는 ‘언어 집합체’를 컴퓨터 기술을 활용해 파고든 결과이다. 구체적인 언어생활을 통해 형성된 일종의 언어학적 빅데이터를 기반으로 삼음으로써 다양한 언어학 연구를 할 수 있게 된 것이다.
현대인의 실제 언어생활은 그 자체로 빅데이터이다. 특히 한 편의 연설, 시집이나 소설책 1권 등과 같이 일정한 분량과 체계를 갖춘 말의 덩어리는 그 속에서 여러 언어 특성을 추출하고 분석하는 기반이 된다. 이런 말의 덩어리를 코퍼스(corpus)라 하는데 이를 디지털 기술과 도구를 통해 언어학 연구에 활용할 수 있다. 코퍼스를 기반으로 하는 언어 연구에서는 검색 엔진의 구축이 필수적이다. 이 책은 언어학 연구자가 자신의 연구 목적에 맞게끔 검색 엔진을 만들고 활용할 수 있도록 돕는다. 또한, 다양한 연구 분야에 걸쳐 상세한 방법론과 함께 다양한 사례를 제시함으로써 연구에 체계적으로 적용할 수 있도록 했다.
[출판사 서평]
언어학적 관점에서 박근혜 대통령의 취임사는
김대중 · 노무현 대통령의 취임사와 근접성이 높다!
현대 사회를 빅데이터 시대라 한다. 디지털 환경을 살아가는 현대인들은 일상을 통해 엄청난 양과 다양한 종류의 흔적을 남기는데 이것의 분석을 통해 여론과 정서, 행동 양상과 변화의 흐름을 파악할 수 있다. 사람들의 언어생활에서도 수없는 빅데이터가 생성된다. 언어학에서의 빅데이터는 ‘말뭉치’ 또는 ‘코퍼스(corpus)’로 불린다. 이것은 말 그대로 말의 뭉치를 뜻하는데, 한 덩어리로 볼 수 있는 언어의 집합체로 보면 된다. 언어학에서는 “일정 분량 이상이 되고 내용상으로 다양성과 균형이 확보된 언어 자료의 집합체”로 정의하고 있다.
이러한 코퍼스를 발전된 컴퓨터 기술을 통하여 분석함으로써 언어 사용의 양상과 현실 등 언어학 연구를 위한 유용한 자료를 체계적으로 획득할 수 있다. 1990년대 초반 이후로 코퍼스를 이용해 언어의 특성을 밝히는 연구가 연구방법론의 중요한 트렌드를 형성하고 있다.
코퍼스 기반 언어 연구에서는 디지털화된 언어 텍스트를 검색하고 분석하는 기능이 핵심이 되며 이를 위한 검색엔진 구축이 매우 중요하다. 그런데 언어학 연구자에게 검색엔진을 직접 만드는 일은 생소하게 느껴지는 분야이다. 이런 점에서 『빅데이터 시대의 언어 연구』(이민행 지음, 21세기북스)는 언어학 연구자에게 매우 유용한 지식을 선사한다. 쉽고 체계적으로 디지털화된 텍스트를 CWB 검색 시스템으로 구축할 수 있는 방법론을 제공하기 때문이다. 그리고 이 검색 시스템을 통해 다양한 정보를 추출하고 활용하는 방안과 사례를 함께 제시한다. CWB는 독일 슈투트가르트대학에서 개발하여 오픈소스로 공개한 코퍼스 작업대(Corpus WorkBench)를 줄여서 말한 것이다.
이 책은 6개 언어(영어·한국어·독일어·프랑스어·스페인어·인도네시아어)를 대상으로 삼아 파생어, 연어 관계, 구문과 어휘의 상관관계, 텍스트의 핵심도와 문서 유사도 등의 언어현상을 탐구한다. 또한 코퍼스로부터 추출한 빈도와 용례를 기초로 하여 6개 언어에 대해 여러 층위의 언어현상을 분석했으며 필요에 따라 Perl-스크립트와 R-스크립트를 이용하여 통계적 분석을 추가했다.
공연구조적 분석, 변별적 공연어휘소 분석, 군집분석 및 대응분석 방법론 등의 연구방법론을 적용한 이 연구서는 일반 언어학자들과 외국어 교육자들이 자신들의 연구나 교육에 필요한 다양한 데이터 및 용례를 효율적으로 추출하는 데 유용한 지식을 제공해줄 것이다.

CWB 기반 코퍼스는 몇 가지 장점을 가지고 있다. 그중의 하나는 대용량 데이터를 처리할 수 있는 효율적인 검색 시스템 CQP를 내장하고 있다는 점이다. 이 검색 시스템은 2GB까지 처리 가능하다. 두 번째 장점은 유니코드를 지원하기 때문에 여러 언어의 코퍼스 구축을 가능하게 하여 언어 보편적으로 활용된다는 것이다. 세 번째 장점은 원천 텍스트의 포맷을 폭넓게 수용하기 때문에 부가되는 언어적 정보에 있어 차이가 있는 자료들도 하나의 코퍼스로 통합할 수 있다는 데서 찾을 수 있다. 넷째는 검색 시에 정규 표현식을 지원한다는 장점을 갖는다. 이러한 여러 가지 장점 때문에 많은 언어들이 이미 CWB 기반 코퍼스로 구축되어 웹을 통해 서비스되고 있다. 예를 들어 BNCweb이라는 이름으로 웹상에서 서비스되고 있는 영어 코퍼스 BNC는 바로 CWB 기반 코퍼스이다. (22쪽)

위의 예에서 확인할 수 있듯이 존재를 표현하는 ‘there’와 함께 한 문장 내에 나타나는 동사들 가운데 출현빈도가 높은 것은 ‘seem’, ‘appear’, ‘remain’이다. 이 통계를 뒷받침하는 용례들 가운데 일부는 앞서 50에 제시된 바 있다. 위의 검색식 60에 쓰인 준거점(target) 바로 뒤에는 ‘hw’가 나타나 있는데, ‘hw’ 대신에 ‘word’나 ‘pos’ 등 위치속성이 쓰일 수도 있다. 이와 관련한 선택은 검색을 통해 달성하고자 하는 검색의 목적과 결부되어 있다. (91쪽)

이 표에 따르면 소통동사(vc4), 심리동사(vc9) 및 사회관계동사(vc13) 부류가 into 사역구문과 공연하는 정도가 매우 높은 것으로 나타난다. 이 부류의 동사들은 워드넷 내에서의 평균값과 비교하여 2∼3배 정도 자주 이 구문에 출현한다. 선구적으로 이 구문에 대한 연구를 시작했던 Huston·Francis (2000)에서도 frighten, scare 및 terrify 등 부정적인 심리동사들이 이 구문을 매우 선호한다는 점을 지적한 바 있다. 이들은 이외에도 coax나 charm 등 비이성적인 설득을 시도하는 소통동사와 force나 coerce 등 강요를 의미하는 동사들도 이 구문에 빈번히 나타난다는 사실을 밝혀낸 바 있다. (222쪽)

여기에서 우리는 한국어의 네 가지 구문과 어휘의 상관관계에 대해 논의했다. 여기서 다룬 구문들은 이중목적어 구문, ‘밀다·끌다’ 구문, ‘크기·수량’ 구문, ‘-게 만들다’ 구문이었다. 분석을 통해 공통으로 확인한 사실은 각 구문의 특정 슬롯에 출현하는 어휘들은 제한된 범위 내에서만 선택적이라는 점이다. 구문과 어휘와의 호응관계를 결정하는 데 중요한 요인은 무엇보다도 어휘들이 어떠한 의미부류에 속하느냐이다. 따라서 의미 있는 일반화를 이끌어내기 위해서는 한국어도 영어의 워드넷에서 제공하는 것과 같은 탄탄한 의미분류 체계가 필요하다는 결론을 내릴 수 있다. (336쪽)

각 언어의 코퍼스를 활용하여 분석을 시도하는 영역은 크게 네 가지다. 어휘 층위의 통계적 분석, 형태론 층위, 연어관계 및 구문과 어휘의 상관관계이다. 코퍼스로부터 추출한 빈도와 용례를 기초로 하여 6개 언어에 대해 각 영역과 관련된 언어현상을 분석했다. 필요에 따라 Perl 스크립트와 R 스크립트를 이용하여 분석을 더 깊이 있고 넓게 만들었다. 누적백분율을 구할 때와 영어 워드넷(WordNet)의 명사 의미부류 체계와 동사 의미부류 체계를 이용하여 심화분석을 시도할 때 Perl 스크립트를 실행했다. 한편 구문과 어휘의 상관관계를 분석하고 문서유사도를 구할 때와 단어구름을 그릴 때에는 R 스크립트를 실행시켰다. (447쪽)

목차
책머리에
1 서론
2 CWB 기반 코퍼스의 구축 방법: 단일어 코퍼스, 통합 코퍼스, 병렬 코퍼스
2.1 단일어 코퍼스의 구축 방법
2.2 통합 코퍼스 MILCA의 구축 방법
2.3 병렬 코퍼스 FA-EN/FA-KO의 구축 방법
3 CQP 검색언어의 이해
3.1 기본 검색식의 활용
3.2 정규 표현식의 활용
3.3 고급 검색식의 이해
4 영어 분석
4.1 어휘 층위의 통계적 분석
4.2 파생어 연구
4.3 연어관계 연구
4.4 구문과 어휘의 상관관계
5 한국어 분석
5.1 어휘 층위의 통계적 분석
5.2 파생어 연구
5.3 연어관계 연구
5.4 구문과 어휘의 상관관계
6 독일어 분석
6.1 어휘 층위의 통계적 분석
6.2 파생어 연구
6.3 연어관계 연구
6.4 구문과 어휘의 상관관계
6.5 텍스트의 핵심도와 문서유사도
7 다중언어 코퍼스 MILCA의 활용
7.1 프랑스어 분석
7.2 스페인어 분석
7.3 인도네시아어 분석
8 종합
참고문헌
부록
찾아보기