네이버 뉴스기사 3분만에 수집하는 법
네이버 뉴스와 검색어트렌드 데이터를 수집하는 가장 간편한 방법
Last updated
네이버 뉴스와 검색어트렌드 데이터를 수집하는 가장 간편한 방법
Last updated
아웃코드 자동화를 이용해 특정 키워드의 뉴스 데이터를 수집해 보겠습니다.
Naver Open API 커넥터 연결
원하는 검색어와 관련된 뉴스기사를 가지고 올 Open API는 네이버에서 무료로 이용가능합니다. 먼저 비로그인 방식의 네이버 뉴스 API를 신청하세요. (https://developers.naver.com/apps/#/register )
애플리케이션의 이름 : 원하는 이름으로 입력
사용 API : "검색" (선택되어 있지 않은 경우는 "검색"을 선택)
비로그인 오픈 API 서비스 환경 : "WEB 설정"을 선택. 웹서비스 URL은 https://naver.com을 입력하세요.
등록절차를 마치면 클라이언트 ID와 클라이언드 시크릿을 받아 아웃코드에 연결하세요.
아웃코드와 네이버 오픈 API를 연결하는 방법은 아래를 참조하세요
자동으로 수집된 데이터를 저장하기 위한 구글시트를 만들어야 해요.
네이버 뉴스는 아래와 같이 데이터를 보내줘요
Title: 기사 제목
Origniallink: 기사 링크
link: 네이버 상의 기사 링크
Description: 기사 요약
pubDate: 기사 발행 날짜시간
위의 데이터의 칼럼(열)를 참조해서 뉴스 기사를 저장할 구글시트를 미리 만들어 놓아요.
그리고 아웃코드와 구글시트 계정을 연결합니다. 연결방법은 아래를 참조하세요
이제 모든 준비 작업을 마쳤습니다. 아웃코드 자동화앱을 이용하여 네이버에서 뉴스를 구글시트에 자동저장해볼게요
아웃코드에 접속 후 우측 상단의 메인 메뉴에서 자동화툴
을 선택하고 직접만들기
를 선택하면 새로운 창이 열립니다.
아래와 같은 자동화툴 만들기 창이 나타나요. 모든 자동화 설정은 오른쪽 영역에서 해요.
뉴스
블로그
트렌드 데이터 를 불러올 수 있어요.
오른쪽 설정 창에서 네이버오픈API
을 선택하고, 아래 앱리스트에서 + 새 추가하기
를 누르세요
네이버 오픈 API
연결창이 나타나요. 연결의 이름을 설정하고 키값을 입력하세요.
연결된 네이버 오픈 API가 있다면 + 새 추가하기
를 건너뛰세요
검색어를 입력하세요. (네이버 오픈 API를 이용한 데이터 수집은 검색 키워드 1개만 설정할 수 있습니다. )
정렬방식을 선택하세요. (날짜순 또는 정확도로 정렬)
(옵션) 출력건수를 입력하세요. 한번에 가지고 오고 싶은 기사 수 (최대: 100개)
오른쪽에 앱추가하기
버튼을 누르면 설정영역이 뜹니다.
제목
을 입력하고, 구글시트
를 선택합니다.
구글시트에 원하는 뉴스만 저장하기 위해서 앱 추가하기를 선택하고 아래와 같이 설정합니다.
앱에서 구글시트 선택
앱 리스트에서 연결된 구글 계정 선택
동작은 데이터삽입
선택
구글시트 목록
은 뉴스 기사를 저장할 구글시트 파일 선택
시트 목록
은 선택한 구글시트 파일에 있는 탭(시트) 중에서 하나를 선택
데이터 삽입 방식은 상관없이 삽입하기
선택(권장)
칼럼(열) 별로 삽입된 데이터 선택
마지막으로 저장을 누릅니다.
뉴스기사를 구글시트에 저장하는 방법(자동화앱을 실행하는 방법)은 두 가지가 있어요.
원하는 열을 선택하여 수동으로 구글시트로 보내기
원하는 스케줄에 맞춰 자동으로 보내기
자동 스케줄이 필요없거나 테스트용으로 보내고 싶은 경우에는 수동 실행하기
를 해보세요.
먼저, 왼쪽 테이블에서 사용하고 싶은 데이터를 선택해 주세요. 전체 선택도 가능해요.
▶️ 버튼을 누르면 선택한 레코드별로 구글시트로 보내져요(저장되요)
내가 원하는 시간에 원하는 데이터만 보낼 수 있도록 설정할 수 있어요.
예를 들어,
매일 아침 9시마다
(오늘 기준) 항상 어제 추가된 뉴스 데이터를
구글시트로 자동 저장/보내보도록 할게요.
위의 시나리오처럼 내가 원하는 조건의 데이터만 자동으로 선별(필터링)하도록 설정할게요.
오른쪽 설정창에서 5번째에 있는 필터추가하기
를 누릅니다.
+ 필터 추가하기를 누르고, 필터를 적용할 칼럼(열)을 선택합니다. 칼럼(열)별로 필터를 추가할 수 있어요.
위의 화면의 맨 밑에 전체 100개 뉴스기사 데이터 중에 23개를 필터링했다고 보여집니다.
pubDate(날짜시간) 칼럼을 선택하고 특정일로 선택
을 누르세요.
pubDate 칼럼의 데이터 형식
을 선택해주세요. 만약 보여지는 형식이 Mon, 22 Jan 2024 20:44:00 +0900
이라면 비슷한 것을 선택하면 됩니다.
오늘 기준 -1일(
어제)를 선택하세요.
저장을 누르면 현재 데이터에서 필터가 적용된 데이터만 왼쪽에 보여집니다. 데이터가 안보인다면 해당되는 데이터가 없는 것입니다. (필터 조건에 해당되는 데이터가 추가되면 나타납니다)
자동화앱이 실행되는 시간을 선택합니다.
스케줄 추가하기(반복주기) - 분, 시간, 일 단위로 자동반복 실행
요일별로 설정하기 - 매주 수요일 오전 9시, 매월 말일 등
시계 모양을 누르고 + 스케줄 추가하기
를 눌러주세요.
매일 오전 9시에 구글시트로 자동저장하고 싶다면, 아래와 같이 입력하고 저장을 누르면 끝!
필터와 스케줄 설정 TIP입니다. 자주 물어보시는 질문이신데요, 예를 들어, 만약 매 3분마다 구글시트의 데이터를 불러서, 최근 3분에 해당하는 데이터가 있는 경우에만, 알림톡을 발송하시고 싶다면 스케줄과 날짜시간 필터의 주기를 동일하게 설정하세요. 날짜시간 필터: -3분전까지 스케줄 : 3분 주기 위와 같이 설정하면 매 3분마다 구글시트의 전체 데이터를 읽어서 필터를 적용하고, 알림톡을 보냅니다. 매 3분마다 현재시점 기준 최근 3분 데이터만 발송되기 때문에 중복이나 누락이 발생하지 않습니다.
이제 자동화앱이 완성되었습니다. 모든 작업은 아웃코드가 알아서 자동으로 처리합니다.
아웃코드 자동화의 사용법은 항상 똑 같습니다. 무엇이든 원하시는 앱을 연결하시고 원하는 조건을 설정하면 아웃코드가 자동으로 실행합니다.
특정 기사, 기자, 매체 등 다양하게 필터링할 수 있습니다. 예를 들어, 넷플릭스 스위트홈의 뉴스를 검색하면 아래와 같이 만들어집니다.
이제 여기서 특정 매체 (스포츠서울)만 찾으려면 매체마다 고유한 URL 도메인을 가지므로 orginallink 칼럼에 sportsseoul 로 필터를 걸어주면 완성입니다.