Skip to content
조회 수 812 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 Beautifulsoup 웹크롤링 차단시 해결방법

 

크롤링이 차단되었다면 유저 에이전트(User Agent)를 지정해보자

 

크롤링을 하다 보면 종종 페이지에서 아무것도 받아오지 못해서 막히는 경우가 생깁니다.

서버에서 차단을 당했기 때문입니다. 

 

서버는 User Agent 검사 등의 방법으로 일반 사용자(사람)와 봇을 구분하여 차단할 수 있습니다. 

 

가장 쉬운 방법은 Header에 User Agent 정보를 만들어서 보내는 겁니다.

 

 

유저 에이전트란

브라우저가 웹사이트에 연결을 시작할 때 전달되는 기기 정보로 브라우저의 유형, 운영체제 등의 정보가 담겨있습니다. 예를 들면 다음과 같이 생겼습니다.

 

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36

 

유저 에이전트를 담아서 get 요청보내기

url = '웹페이지 주소'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')

 

user-agent 값에 어떤 문자열을 넣어야 할지 모르겠다면 http://www.useragentstring.com/에 들어가서 본인의 정보를 확인하고 그대로 붙여 넣어도 무방합니다.

 

로그인 후 댓글쓰기가 가능합니다.

?

List of Articles
번호 분류 제목 날짜 조회 수
764 컴퓨터잡담 마인크래프트 게임충돌 해결방법 file 2018.07.03 22417
763 AutoHotKey autohotkey command-line 실행시 파라미터 설정 2018.02.14 6152
762 HTMLPHPMSQL 자바스크립트 내가 자주 사용하는 함수모음 2018.02.08 6764
761 HTMLPHPMSQL 자바스크립트 명령어 2018.01.31 11448
760 [Docs]스프레드시트 스프레드시트 autohotkey html gmail 스마트폰 이용하여 핑로스 즉시 알림받기 file 2018.01.25 8256
759 HTMLPHPMSQL javascript만으로 html간 변수값 주고받기 2018.01.25 15290
758 [Docs]스프레드시트 google spreadsheets html form post로 전달받기 file 2018.01.23 5532
757 HTMLPHPMSQL 자주 쓰이는 정규식(Regular Expression) 2018.01.23 7114
756 [Docs]스프레드시트 스프레드시트의 내용이 수정될 경우 즉시 메일발송하는 스크립트 테스트 중 file 2018.01.19 5933
755 AutoHotKey ahk) Send an email 메일발송하기 2018.01.17 7066
754 Excel 독서감상문 EBS교육방송 체험학습 양식 file 2018.01.17 4487
753 [Docs]스프레드시트 구글 스프레드시트 ajax POST를 통한 기록 따라해보기 file 2018.01.13 4967
752 Excel 엑셀 파일을 utf-8 유니코드로 csv 파일로 저장하기 file 2017.12.22 9395
751 Server 초간단 웹서버와 파일서버 프로그램 file 2017.12.12 4928
750 HTMLPHPMSQL mysqli로 DB 검색 조회 2017.11.08 5375
749 컴퓨터잡담 핑테스트(PINGINFOVIEW)와 TCPVIEW file 2017.09.21 2005
748 Server 우린친구블로그 서버 다운해결방법과 MYSQL 실행 안될 때 복구방법 file 2017.06.21 4767
747 Server XE 모바일 default 기본스킨 views 값 나타내기 file 2017.05.06 5679
746 Server 서버 다운시 알람 기능 사용방법(http ping port) file 2017.05.04 9089
745 [Docs]스프레드시트 구글 스프레드시트를 이용한 지메일 예약발송 방법 file 2017.04.30 9357
Board Pagination Prev 1 ... 4 5 6 7 8 ... 44 Next
/ 44

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소