파이썬 네이버 데이터랩 크롤링 3분 완전정복(코드 포함)

You are currently viewing 파이썬 네이버 데이터랩 크롤링 3분 완전정복(코드 포함)
  • Post category:파이썬
  • Reading time:3 mins read

매년 3월이 되면 파이썬 배우려는 사람들이 많아진다는 사실 알고 있었나요? 아 물론… 파이썬 말고도 다양한 언어들이 3월만 되면 키워드 검색량이 늘어납니다만 🙂
도대체 어떻게 알았냐구요?

네이버 데이터랩은 키워드의 트렌드를 알려주니까요

네이버 데이터랩 / 파이썬 키워드의 월간 검색 트렌드

이런식으로 조사할 수 있는데 조사 기간이 길거나 키워드가 다양한 걸로 분석을 하고싶을 수 있습니다. 특히 네이버 검색 트렌드는 어차피 빈도 수를 가지고 추정을 하는 것이기 때문에 다양한 키워드를 놓고 빠르게 판단하는게 더 좋은데요.

파이썬으로 한번~ 가져와봅시다.

네이버 데이터랩 크롤링 코드 [구글 코랩]

원래대로라면 post 방식으로 복잡한 통신을 이해해야 하지만 이걸 단번에 해결해주는 라이브러리를 활용 + 구글 코랩을 활용해서 딱 3분만에 네이버 데이터랩 데이터를 가져와 볼텐데요.

위 링크로 접속한 후 하나씩 실행하면 되는데요.

메뉴 상단에 보시면 'Drive로 복사' 버튼을 살포시 눌러주세요.

이제 자신의 드라이브에 코랩 파일이 옮겨졌기 때문에 각각의 코드 블럭에서 하나씩 실행시키면 됩니다.

가장 먼저 pip install PyNaver 라는 명령어를 통해서 필요한 라이브러리를 설치하구요.

from PyNaver import Naver

# 애플리케이션 인증 정보
client_id = ""
client_secret = ""
# 네이버 API 인스턴스 생성
naver = Naver(client_id, client_secret)
# 파라미터
startDate = "2022-01-01"
endDate = "2022-08-31"
timeUnit = "date"
keywordGroups = [{"groupName": "미국","keywords": ["나스닥","NASDAQ","S&P500"]},]
# 실행
df = naver.datalab_search(startDate=startDate,endDate=endDate, timeUnit=timeUnit, keywordGroups=keywordGroups)
print(df)

이런 코드 블럭에서 수정해주셔야 할 것은 바로 client id 값과 client secret 입니다.

원래는 이 두값을 헤더에 넣고 post란 방식으로 요청해야 하는데 라이브러리 덕분에 그런 불편함 없이 빠르게 데이터를 가져올 수 있는게 매우 큰 장점입니다.

네이버 어플리케이션 인증 정보는 코랩 파일 하단에 잘 적어놓았으니 등록 후 ID, Secret 정보를 기입해주시면 됩니다.

그 다음은 startDate 와 endDate 파라미터인데요. 필요한 날짜로 yyyy-mm-dd 형식을 지켜서 변경해줍니다.

timeUnit 의 경우 "date" 또는 "month"가 가능합니다.

한가지 키워드 데이터만 찾고 싶을 수도 있을 텐데요 이때엔 주제어 키워드 부분인 "keywords" :["요청 키워드"]로 바꿔주시면 됩니다.

불편 하더라도 groupName과 keywords 모두 일치 시켜주셔야 해요.

코랩이외에도 파이썬 2.7버전, 3.7버전에서도 동일하게 해당 코드를 붙여넣기 해보시면 똑같이 데이터를 출력하실 수 있습니다.

답글 남기기