Skip to content

Blog 우린친구 블로그에 오신것을 환영합니다.

✔ 뷰어로 보기
컴퓨터잡담
2023.09.29 20:32

파이썬 request, beautifulshop으로 정액정보 받아오기

nanumi
조회 수 75706 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 request, beautifulshop으로 정액정보 받아오기

 

 

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

 

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

 

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

 

 

import requests
from bs4 import BeautifulSoup
 
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
 
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
 
# POST 요청 보내기
response = requests.post(url, data=data)
 
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)

 

 

 

 

 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

Facebook Twitter Google Pinterest
위로 아래로 댓글로 가기 인쇄
로그인 후 댓글쓰기가 가능합니다.

에디터 선택하기
?
에디터 사용하기 닫기
List of Articles
번호 분류 제목 날짜 조회 수
61 사건사고 진실이 궁금하다. 2021.09.17 2212
60 사건사고 문재인 고위고직자 임명기준 2018.10.03 5379
59 사건사고 하동지역 무허가 축사 적법화 강력 추진 2018.06.28 5817
58 사건사고 다스는 누구겁니까 2017.10.27 5599
57 사건사고 프렌치불독 자나깨나 개조심 file 2017.10.24 6060
56 사건사고 김대중 북한 핵개발 발언 secret 2017.10.13 450
55 사건사고 박근혜 대통령 탄핵심판 파면 결정 file 2017.03.10 4991
54 사건사고 박근혜 대통령 생각 file 2016.12.15 4429
53 사건사고 탄핵 소추안 가결 직후 정치변화 file 2016.12.09 4099
52 사건사고 김윤석 무릎담요 성희롱 논란 김윤석이 이상한건가? file 2016.12.05 7894
51 사건사고 정유섭 세월호 7시간 대통령은 노셔도 되는 사람 file 2016.12.05 4145
50 사건사고 정윤회 아들 정우식 옥중화 출연소감 file 2016.12.02 12999
49 사건사고 표창원 탄핵추진 반대 의원 명단 공개 file 2016.11.30 5191
48 사건사고 문재인 손석희 예리한 질문에 무너졌다 file 2016.11.28 21211
47 사건사고 소율 문희준 결혼 쇼킹하다 file 2016.11.24 5539
46 사건사고 청와대 비아그라 고산병 효능 검증실험 중 2 file 2016.11.23 6624
45 사건사고 박근혜 길라임 내가 이럴려고 차움병원 다녔나? file 2016.11.16 4361
44 사건사고 박근혜 대통령 트럼프 통화의 진실 file 2016.11.11 4727
43 사건사고 최순실 정맥주사 청와대로 외부반출 핫이슈 file 2016.11.10 4588
42 사건사고 김병준 교수 새 국무총리 누구시더라? file 2016.11.02 7489
Board Pagination Prev 1 2 3 4 Next
/ 4

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소