Skip to content
조회 수 1418 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 Beautifulsoup 웹크롤링 차단시 해결방법

 

크롤링이 차단되었다면 유저 에이전트(User Agent)를 지정해보자

 

크롤링을 하다 보면 종종 페이지에서 아무것도 받아오지 못해서 막히는 경우가 생깁니다.

서버에서 차단을 당했기 때문입니다. 

 

서버는 User Agent 검사 등의 방법으로 일반 사용자(사람)와 봇을 구분하여 차단할 수 있습니다. 

 

가장 쉬운 방법은 Header에 User Agent 정보를 만들어서 보내는 겁니다.

 

 

유저 에이전트란

브라우저가 웹사이트에 연결을 시작할 때 전달되는 기기 정보로 브라우저의 유형, 운영체제 등의 정보가 담겨있습니다. 예를 들면 다음과 같이 생겼습니다.

 

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36

 

유저 에이전트를 담아서 get 요청보내기

url = '웹페이지 주소'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')

 

user-agent 값에 어떤 문자열을 넣어야 할지 모르겠다면 http://www.useragentstring.com/에 들어가서 본인의 정보를 확인하고 그대로 붙여 넣어도 무방합니다.

 

로그인 후 댓글쓰기가 가능합니다.

?

List of Articles
번호 분류 제목 날짜 조회 수
117 파이썬 키움 증권 API를 이용하여 주식 자동 매매 프로그램 개발 3 2021.09.07 3837
116 파이썬 키움증권 OpenAPI 당황스러움 file 2021.09.06 1691
115 파이썬 키움증권 openAPI 지정가분할매수주문.py 2021.09.13 3488
114 컴퓨터잡담 타지역 농지매입 2021.06.01 1108
113 컴퓨터잡담 탐색기 다른 이름으로 저장하기 저장위치 즐겨찾기 폴더 변경하기 2 file 2012.03.02 5290
112 컴퓨터잡담 탐색기 속성 변경하여 특정 폴더 열기 3 2011.12.18 6833
111 WindowsTip 탐색기로 ftp 폴더 바로열기 file 2013.12.03 19640
110 컴퓨터잡담 테블릿을 세컨트모니터로??? 2023.04.26 37857
109 컴퓨터잡담 텍스트를 한글로 읽어주는 사이트 1 file 2013.04.18 9525
108 컴퓨터잡담 토렌트 다운로드한 파일이 실행되지 않을경우 2010.11.11 5405
107 컴퓨터잡담 툴바제작사이트 1 2011.09.15 4055
106 컴퓨터잡담 트랜지스터의 종류와 특정 2013.10.12 28522
105 컴퓨터잡담 트위터 개발하기 3 2010.04.26 13794
104 컴퓨터잡담 특정 파일을 제외한 현재 디렉토리 내의 모든 파일을 삭제하는 배치파일 2022.07.14 32445
103 Server 특정범위 안의 모든 문자 수 찾기 3 2012.06.19 7587
102 컴퓨터잡담 특정사이트 접속 느려질 경우 대처방법 1 2011.08.09 4552
101 컴퓨터잡담 티맥스 앞날이 깜깜 2009.07.08 17159
100 컴퓨터잡담 티맥스 윈도우가 살아남는 방법 5 1 2009.07.24 22700
99 컴퓨터잡담 티맥스OS 무료배포도 판매 수익의 세배이상 가능하다 2 2009.07.26 24565
98 파이썬 파이썬 any, all 사용하기(배열데이터 안에 값이 하나라도 있는지 또는 모두 있는지 비교) 2021.09.11 1938
Board Pagination Prev 1 ... 39 40 41 42 43 ... 46 Next
/ 46

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소