Skip to content

Blog 우린친구 블로그에 오신것을 환영합니다.

✔ 뷰어로 보기
컴퓨터잡담
2023.09.29 20:32

파이썬 request, beautifulshop으로 정액정보 받아오기

nanumi
조회 수 75705 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 request, beautifulshop으로 정액정보 받아오기

 

 

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

 

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

 

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

 

 

import requests
from bs4 import BeautifulSoup
 
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
 
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
 
# POST 요청 보내기
response = requests.post(url, data=data)
 
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)

 

 

 

 

 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

Facebook Twitter Google Pinterest
위로 아래로 댓글로 가기 인쇄
로그인 후 댓글쓰기가 가능합니다.

에디터 선택하기
?
에디터 사용하기 닫기
  1. No Image 11Jul
    by
    2012/07/11 in 유용한상식
    Views 73425 

    물 전기분해로 수소와 산소 추출

  2. No Image 11Jul
    by
    2012/07/11 in 유용한상식
    Views 72379 

    [KISTI의 과학향기] 철길 구르는 바퀴 만들기

  3. 04Oct
    by
    2023/10/04 in 파이썬
    Views 72041 

    파이썬 랜덤으로 시험문제 풀기

  4. No Image 11Jul
    by
    2012/07/11 in 유용한상식
    Views 70747 

    KISTI의 과학향기

  5. 11Jul
    by
    2012/07/11 in 유용한상식
    Views 69790 

    숯으로 전지 만들기

  6. No Image 11Jul
    by
    2012/07/11 in 유용한상식
    Views 69390 

    돼지비계로 자동차 움직인다구!?

  7. 10Apr
    by
    2016/04/10 in 연예정보
    Views 65746 

    설리 최자 결혼 커플사진으로 암시하는 것?

  8. No Image 28Jul
    by
    2010/07/28 in 컴퓨터잡담
    Views 65609  Replies 1

    엑셀 색깔 지정 함수

  9. 26May
    by
    2016/05/26 in 연예정보
    Views 64489  Replies 1

    김세아 회계법인으로 부터 받은 혜택

  10. No Image 21Nov
    by
    2009/11/21 in 컴퓨터잡담
    Views 64231  Replies 3

    MYSQL 미 해결 과제 : Can't connect to MySQL server on 'localhost'(10055)

Board Pagination Prev 1 2 3 4 5 6 ... 235 Next
/ 235

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소