덕질도 신박하게! R을 활용한 텍스트 마이닝 도전기
좋아하는 가수로 텍스트 마이닝을 하면 어떤 결과가 나올까?
김우경
2018-06-10
Overview
대학원에서 소프트웨어 공학을 전공하고 있습니다. 이번 학기엔 ‘빅데이터 분석’ 과 ‘대용량데이터베이스관리론’ 과목을 수강하면서 생애 처음으로 R Studio 프로그램을 설치해봤는데요. 머신 러닝을 다뤄본 적도, 자연언어처리 분야를 개발한 적도 없지만 어느 날 텍스트 마이닝 관련 강의에서 불현듯 이런 생각이 떠올랐습니다.
“내가 좋아하는 가수로 텍스트 마이닝을 하면 어떤 결과가 나올까?”
머릿속으로 생각하는 것과 내가 직접 구현을 해보는 것은 절대 다른 법! 일단 도전해보기로 했습니다. 개발 3년과 덕질 10년의 실력을 쏟아 부을 겁니다.
Step1. 트위터 Developer 에서 인증키 받기
트위터 Developer (Twitter Developer Platform — Twitter Developers) 에 접속해서 개인 계정으로 로그인하고, 오른쪽 위의 Apply를 클릭합니다.
Twitter standard APIs > Get started with standard access를 클릭합니다.
등록된 개발자 앱이 없으면 Create an app의 apps.twitter.com을 클릭합니다.
Create New App을 클릭합니다.
각 항목을 입력합니다. 저는 Website 가 없기 때문에 로컬 호스트를 기재했습니다.
약관에 동의한 후 Create your Twitter application을 클릭합니다.
만약 어플리케이션 이름이 중복된다면 위와 같은 에러 메세지가 나올 겁니다.
정상적으로 어플리케이션이 등록되면 위의 화면과 함께 API Key를 발급받을 수 있습니다. Consumer Key (API Key) 옆의 내용 (캡쳐화면에는 비공개)을 클릭하면 API Key 뿐만 아니라 API Secret, Access Token 등 세부 내용을 관리할 수도 있습니다.
Step2. R Studio 설치하기 (Mac OS 기준)
구글에서 R for macOS를 검색을 하면 맨 위에 설치 페이지가 보입니다. 1)
먼저 R 패키지를 설치해야, 나중에 R Studio를 설치했을 때 실행이 가능합니다.
R Studio 홈페이지에서 R Studio를 다운받습니다. 다운로드 링크는 여기를 클릭하세요.
RStudio가 정상적으로 실행이 된다면, 이제 준비는 끝났습니다!
Step 3. 필요한 패키지를 먼저 설치하기
따로 설치가 필요한 패키지는 RStudio에서 명령어로 설치할 수 있습니다.
—
한 개씩 설치하는 법
install.packages(“packageName”)
—
여러 개의 패키지를 한 번에 설치하고 싶을 땐 위와 같이 설치할 수 있습니다.
—
여러 개를 한꺼번에 설치하는 법
install.packages(c(“package1”, “package2”,”package3”))
—
설치를 했다고 해서 바로 사용할 수는 없습니다. 이 패키지를 사용하겠다는 명령어를 다시 입력해야 합니다.
—
설치한 패키지를 사용하기
library(“packageName”)
—
이번 글에서는 아래와 같은 패키지들이 필요합니다.
- ROAuth
- base64enc
- httpuv
- tm
- SnowballC
- wordcloud
- RColorBrewer
Step 4. 트위터 api와 연동하여 WordCloud 생성하기
먼저 각자 API 관련 Key 들로 객체를 생성해주고, setup_twitter_oauth() 메소드를 사용하여 Twitter API에 접근합니다.
searchTwitter 4) 라는 함수를 사용하면, 트위터 API 를 통해 관련 트윗 내용을 추출할 수 있는데요. 좋아하는 일본 아이돌 가수인 “아라시”를 키워드로 추출하려고 첫 번째 파라미터에 “Arashi”를 넣었습니다. 그 뒤의 내용은 영문으로 작성된 최근(Recent) 트윗을 최대 1500개까지 리턴 받겠다는 의미입니다. resultType에는 popular를 넣으면 가장 인기있는 트윗을 받을 수도 있습니다.
데이터를 가져오면, 위와 같이 데이터가 추출된 것을 확인할 수 있습니다.
이제 matchTweets에 있는 내용으로 분석가가 되어 마음대로 데이터를 가공할 수 있습니다. class 등으로 구조와 클래스를 확인할 수 있을 뿐만 아니라, nchar() 를 이용해 트윗당 문자 수를 계산할 수도 있습니다. 이번 글에서는 위와 같이 트윗을 20개 추출했습니다.
각각의 트윗을 보면, 이상한 코드나 슬래시 등 필요 없는 데이터들이 포함되어 내려온 것을 확인할 수 있습니다. 이 부분들을 제거해 깔끔한 데이터로 가공해보겠습니다. 그리고 텍스트 집합이라고 볼 수 있는 Corpus를 생성한 후, WordCloud 까지 생성해볼게요.
데이터를 Corpus 로 만들 때는 Corpus() 를 사용하면 됩니다. 저는 VectorSource 라는 명령어를 사용해 단어들을 Vector로 바꿔주었고, 데이터가 잘 들어갔는지 확인하기 위해 inspect() 를 사용했습니다.
사람이 읽기 불편한 단어들을 제거하는 건 tm_map 함수 하나면 충분합니다.
위의 이미지를 보면, 각 행마다 특정 특수문자들을 제거하기 위한 명령어가 있습니다. 중간 부분엔 stopwords 라는 단어가 있는데, 영어 문장에 들어가는 i.e 나 etc 같은 표현들을 제거할 수 있는 겁니다. 그 외에도 대문자를 소문자로 바꾸거나 번호를 제거하는 등의 옵션들이 이미 R에서는 제공되고 있기 때문에, 우리는 입맛에 맞게 가져다 쓰기만 하면 됩니다.
이제 대망의 WordCloud를 만들 차례입니다.
max.words는 최대 N개의 단어를 고르는 옵션이며, min.freq는 최소 N번 이상 나온 단어, random.order = FALSE는 제일 많이 나온 단어가 먼저 나오도록 지정하는 옵션입니다. colors는 지정하지 않으면 검정색으로만 나오지만, 알록달록 예쁘게 표현하고 싶다면 여러 옵션을 지정해서 Frequency 에 따라 다른 색이 나오도록 할 수도 있습니다. 5)
첫 번째 이미지가 이번 글의 예제로 얻은 결과인데요. 추출 언어를 영어로만 한정했더니 일본어 발음을 영문으로 표현한 데이터가 많았습니다. 기타 설정을 변경하여 다시 추출한 게 바로 두 번째 이미지입니다.
큼직큼직하게 나온 단어들을 보면 DVD 나 블루레이 출시와 관련된 트윗이 대다수인 것을 볼 수 있는데요, 검색 결과 최근 2017-2018 라이브 투어 ‘Untitled’가 출시된 것을 확인할 수 있었습니다. 기타 작게 표현된 단어들을 보면 아라시의 노래 제목들도 확인 가능한데, 이 노래들이 인기있다는 것도 예측할 수 있습니다.
Conclusion
지금까지 R을 이용해 트위터 API 와 연동한 텍스트 마이닝을 했습니다. 데이터를 WordCloud로 생성하는 것도 해봤고요. 이번 글에서는 기본적인 예제를 다뤘지만 텍스트 마이닝의 세계는 아주 깊고 넓습니다. 만약 이 글로 텍스트 마이닝에 조금이라도 흥미가 생겼다면 일단 도전해보세요! 좋아하는 것과 연관 지어서 따라 하다 보면 꽤 즐거운 시간이 될 겁니다.
참고
1) 18년 6월 6일 기준이다.
2) Twitter Sentiment Analysis Tutorial
3) Text mining: Twitter extraction and stepwise guide to generate a word cloud
4) R 함수 관련 설명은 R Documentation 사이트에서 확인할 수 있다.
5) 색상 옵션이 궁금하다면 여기에서 참고할 수 있다.
6) 머신러닝 언어처리 - R로 WordCloud 만들어보기 - 데이터 사이언스 랩
김우경 | 커머스 개발팀
kimwk@brandi.co.kr
