Skip to content
조회 수 1024 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 Beautifulsoup 웹크롤링 차단시 해결방법

 

크롤링이 차단되었다면 유저 에이전트(User Agent)를 지정해보자

 

크롤링을 하다 보면 종종 페이지에서 아무것도 받아오지 못해서 막히는 경우가 생깁니다.

서버에서 차단을 당했기 때문입니다. 

 

서버는 User Agent 검사 등의 방법으로 일반 사용자(사람)와 봇을 구분하여 차단할 수 있습니다. 

 

가장 쉬운 방법은 Header에 User Agent 정보를 만들어서 보내는 겁니다.

 

 

유저 에이전트란

브라우저가 웹사이트에 연결을 시작할 때 전달되는 기기 정보로 브라우저의 유형, 운영체제 등의 정보가 담겨있습니다. 예를 들면 다음과 같이 생겼습니다.

 

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36

 

유저 에이전트를 담아서 get 요청보내기

url = '웹페이지 주소'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')

 

user-agent 값에 어떤 문자열을 넣어야 할지 모르겠다면 http://www.useragentstring.com/에 들어가서 본인의 정보를 확인하고 그대로 붙여 넣어도 무방합니다.

 

로그인 후 댓글쓰기가 가능합니다.

?

List of Articles
번호 분류 제목 날짜 조회 수
72 컴퓨터잡담 파이썬 아나콘다 설치시 오류발생 대처방법 2021.06.16 5103
71 컴퓨터잡담 파이썬 문자열b 안에 변수 a를 대치시키려면 크게 세 가지 방법 2021.06.18 1710
70 컴퓨터잡담 파이썬 리스트에 데이터 삽입하기 2021.06.22 1515
69 컴퓨터잡담 파이썬 멀티라벨 소스 줄이기 2021.06.23 1420
68 컴퓨터잡담 파이썬 for문으로 자동변수 생성하기 2021.06.24 2806
67 컴퓨터잡담 파이썬 gspread 사용법 file 2021.06.25 4606
66 컴퓨터잡담 2021년 플래시 플레이어 웹사이트 크롬에서 접속하는 방법 2021.07.05 2011
65 컴퓨터잡담 KM Wakeup 절전모드 예약 및 깨우는 프로그램 file 2021.07.08 1368
64 Excel 엑셀에서 "따옴표" 입력하기 2021.07.09 2805
63 컴퓨터잡담 파이썬 에러 해결방법 모음 2021.07.19 1248
62 컴퓨터잡담 파이썬 엑셀 다루기 - openpyxl 사용법 2021.07.19 2417
» 컴퓨터잡담 파이썬 Beautifulsoup 웹크롤링 차단시 해결방법 2021.07.23 1024
60 HTMLPHPMSQL html testing 2021.07.24 3285
59 컴퓨터잡담 파이썬 최대값 두번째 큰값 세번째 큰값 구하기 2021.07.27 1424
58 컴퓨터잡담 파이썬 변수값에서 숫자만 추출하기 2021.07.28 911
57 컴퓨터잡담 윈도우 10 절전모드(슬립모드) 예약해제 방법 secret 2021.07.28 13
56 컴퓨터잡담 파이썬 find, select 사용법 2021.07.30 962
55 컴퓨터잡담 파이썬 FTP 업로드/다운로드 하기 2021.07.31 1881
54 HTMLPHPMSQL CCS 메뉴 스타일 링크 2021.08.04 3496
53 컴퓨터잡담 카카오 인증관련 오류 file 2021.08.08 2197
Board Pagination Prev 1 ... 39 40 41 42 43 44 Next
/ 44

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소