Skip to content

Blog 우린친구 블로그에 오신것을 환영합니다.

✔ 뷰어로 보기
컴퓨터잡담
2023.09.29 20:32

파이썬 request, beautifulshop으로 정액정보 받아오기

nanumi
조회 수 75711 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄
?

단축키

Prev이전 문서

Next다음 문서

가 크게 작게 위로 아래로 댓글로 가기 인쇄

파이썬 request, beautifulshop으로 정액정보 받아오기

 

 

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

 

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

 

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

 

 

import requests
from bs4 import BeautifulSoup
 
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
 
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
 
# POST 요청 보내기
response = requests.post(url, data=data)
 
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)

 

 

 

 

 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

Facebook Twitter Google Pinterest
위로 아래로 댓글로 가기 인쇄
로그인 후 댓글쓰기가 가능합니다.

에디터 선택하기
?
에디터 사용하기 닫기
List of Articles
번호 분류 제목 날짜 조회 수
211 주식 황우석 사태에 대한 아이러브 황우석 입장 2009.08.26 11022
210 주식 황우석 박사 1심 최후 진술 전문 2009.08.25 6914
209 주식 황사테마 미세먼지 관련 테마주 2016.01.27 1613
208 주식 환율조작국 대한민국 본격적 구조조정 file 2016.04.25 2284
207 주식 현우산업 / 광전자 오늘의 추천주 2016.08.24 2017
206 주식 현대차 상대로 등친 중소기업 뉴스를 보고 1 file 2017.04.30 8724
205 주식 현대차 기아차 악재 쏟을만큼 쏟았다. file 2016.09.17 1686
204 주식 향후 눈여겨 봐야 할 10종목 1 2010.05.04 4300
203 주식 해외주식 재무제표 2014.10.27 3681
202 주식 해외주식 양도소득세 2016.01.21 2131
201 주식 해외주식 고배당주 file 2014.10.27 3320
200 주식 한창산업 - 아연분말,인산아연,제올라이트,바나듐 생산업체 2023.04.13 38467
199 주식 한국주철관 현시점 매수타이밍 file 2014.04.17 3266
198 주식 한국주철관 이젠 갈때가 되었다. file 2016.08.31 1538
197 주식 한국주철관 싱크홀 관련주 file 2016.09.11 2388
196 주식 한국주철관 배당금 수령일 등 1 file 2017.07.05 4897
195 주식 한국주철관 2016년 놀라운 실적발표에 2017년도 기대만발 file 2017.06.02 4698
194 주식 한국주철관 2017.10.13 4541
193 주식 한국 주식 사는 외국인 11조, 9개월 째 순매수 file 2016.10.20 1565
192 주식 팍스넷 좋은글 2015.08.14 1466
Board Pagination Prev 1 2 3 4 5 ... 11 Next
/ 11

http://urin79.com

우린친구블로그

sketchbook5, 스케치북5

sketchbook5, 스케치북5

나눔글꼴 설치 안내


이 PC에는 나눔글꼴이 설치되어 있지 않습니다.

이 사이트를 나눔글꼴로 보기 위해서는
나눔글꼴을 설치해야 합니다.

설치 취소