크롤링 - webdriver(selenium)으로 네이버 카페 페이지 넘기기

크롬 브라우저로 실행한다.

 

 

방법은 간단하다. 

 

크롬 브라우저를 browser 라는 변수명으로 넣어주고

 

browser.get(url)을 이용하면된다.

 

 

중요한 것은 url을 찾아내는 것이다.

 

 

 

검색어	비건 디저트
사이트	네이버 카페

 

 

 

 

네이버 카페 검색 1페이지 url

 

 

search.naver.com/search.naver?

where=article&ie=utf8&query=%EB%B9%84%EA%B1%B4+%EB%94%94%EC%A0%80%ED%8A%B8&

prdtype=0&t=0&st=rel&date_option=0&date_from=&date_to=&srchby=text&dup_remove=1&cafe_url=&

without_cafe_url=&board=&sm=tab_pge&start=1

 

 

 

 

네이버 카페 검색 2페이지 url

 

 

search.naver.com/search.naver?

where=article&ie=utf8&query=%EB%B9%84%EA%B1%B4+%EB%94%94%EC%A0%80%ED%8A%B8&

prdtype=0&t=0&st=rel&date_option=0&date_from=&date_to=&srchby=text&dup_remove=1&cafe_url=&

without_cafe_url=&board=&sm=tab_pge&start=11

 

 

 

query가 바로 검색어를 의미하고

 

start가 페이지를 의미한다.

 

 

단, start는 페이지 번호가 아니라 게시글의 번호이다.

 

한페이지에 10개의 게시물이 있으므로 

 

 

1페이지 → start=1

2페이지 → start=11

3페이지 → start=21

 

이렇게 되는 것이다.

 

 

 

이를 문자열 포매팅을 이용해서 함수로 정의하자.

 

 

 

 

 

그리고 for loop와 range 함수를 이용해서

 

 

 

1페이지부터 10페이지까지 브라우저를 이동해보자

 

 

 

 

 

 

영상으로 확인

 

 

영상 광고는 자동으로 설정된 것이며 블로그의 수익과 관계 없습니다.