Skip to content

Blog 우린친구 블로그에 오신것을 환영합니다.

✔ 뷰어로 보기
컴퓨터잡담
2023.09.29 20:32

파이썬 request, beautifulshop으로 정액정보 받아오기

nanumi
조회 수 80153 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 request, beautifulshop으로 정액정보 받아오기

 

 

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

 

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

 

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

 

 

import requests
from bs4 import BeautifulSoup
 
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
 
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
 
# POST 요청 보내기
response = requests.post(url, data=data)
 
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)

 

 

 

 

 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

Facebook Twitter Google Pinterest
위로 아래로 댓글로 가기 인쇄
로그인 후 댓글쓰기가 가능합니다.

에디터 선택하기
?
에디터 사용하기 닫기
List of Articles
번호 분류 제목 날짜 조회 수
917 컴퓨터잡담 자바스크립트/CSS 트리를 이용한 예제 프로그램 쉽게만들기 2 2009.06.30 35636
916 컴퓨터잡담 CURL 을 이용한 GET/POST 값 넘기기 3 2009.06.30 32810
915 컴퓨터잡담 .htaccess와 워터마킹을 이용한 이미지 링크 방지 2009.06.30 34918
914 컴퓨터잡담 현재 쿠키,세션 값 전부 보기 2009.06.30 32613
913 컴퓨터잡담 curl로 다음 자동로그인 가능하다. 2 5 2009.06.30 28914
912 컴퓨터잡담 제 2의 안철수? 티맥스 윈도우 2 2009.07.07 18879
911 컴퓨터잡담 티맥스 앞날이 깜깜 2009.07.08 17160
910 컴퓨터잡담 DIV 라운드박스 쉽게 만들자. 1 1 file 2009.07.24 28592
909 컴퓨터잡담 티맥스 윈도우가 살아남는 방법 5 1 2009.07.24 22701
908 컴퓨터잡담 티맥스OS 무료배포도 판매 수익의 세배이상 가능하다 2 2009.07.26 24566
907 컴퓨터잡담 네이버, 다음지식 php로 RSS 출력 만들기 1 file 2009.08.05 31009
906 컴퓨터잡담 네이버 만화 PHP로 RSS 출력 만들기 file 2009.08.05 31787
905 컴퓨터잡담 네이버 많이 본 뉴스 PHP로 RSS 출력 만들기 1 file 2009.08.05 33674
904 컴퓨터잡담 PHP 시간관련 함수 2 4 2009.08.06 21208
903 컴퓨터잡담 절전모드의 종류와 빠른 복귀 2009.08.07 15687
902 컴퓨터잡담 컴퓨터 OS부팅도 이젠 초고속 전쟁이다. 3 2009.08.07 31754
901 컴퓨터잡담 익스프레스 엔진이 있어 더욱 밝은 네이버의 미래 1 2 2009.08.07 19916
900 컴퓨터잡담 주식투자, 성공투자 원칙을 지키는 방법 1 2 2009.08.09 19422
899 컴퓨터잡담 [PHP] 원격지의 이미지 사이즈 구하는 방법 2 2009.08.11 44528
898 컴퓨터잡담 MySQL TABLE 손상시 대응방법(db 내용이 안 나올때) file 2009.08.24 31833
Board Pagination Prev 1 2 3 4 5 ... 46 Next
/ 46

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소