파이썬 request, beautifulshop으로 정액정보 받아오기

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

import requests
from bs4 import BeautifulSoup
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
# POST 요청 보내기
response = requests.post(url, data=data)
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)
 
 
 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

List of Articles
번호	분류	제목	날짜	조회 수
917	HTMLPHPMSQL	지정한 이미지파일명을 출력 시키는 시험문제풀이 html 1	2023.12.13	53917
916	파이썬	파이썬 requestsbeautifulsoup 으로 웹 input에 입력값 대입한 뒤 결과값 파일로 저장하기	2023.11.13	63480
915	파이썬	파이썬 랜덤으로 문제풀기 #2	2023.10.04	75546
914	파이썬	파이썬 랜덤으로 시험문제 풀기	2023.10.04	72039
»	컴퓨터잡담	파이썬 request, beautifulshop으로 정액정보 받아오기	2023.09.29	75703
912	컴퓨터잡담	2023-09-23 서버다운 후 복구완료	2023.09.23	42526
911	컴퓨터잡담	CANON PRINTER ERROR CODE B203, B204 해결방법	2023.09.17	75021
910	파이썬	파이썬에서 인식이 잘되는 OCR 종류	2023.09.15	76205
909	파이썬	한우경매낙찰 유튜브 영상의 이미지에서 특정 문자 가져와서 저장하기	2023.09.14	75490
908	컴퓨터잡담	H734GP 공유기 시스템로그 중 >>> Send Offer / Receive Discover /	2023.06.04	51486
907	파이썬	python AttributeError: 'WebDriver' object has no attribute 'find_element_by_css_selector' 해결방법	2023.05.07	47493
906	컴퓨터잡담	테블릿을 세컨트모니터로???	2023.04.26	38043
905	파이썬	DiffusionWrapper has 859.52 M params.	2023.04.21	37375
904	[Docs]스프레드시트	구글 스프레드시트에서 셀값이 특정일에서 현재일과 3일 이내의 범위에 들어오면 이메일을 발송하는 방법	2023.03.26	40472
903	파이썬	파이썬으로 captCha 분석하여 웹사이트 소스 가져오기	2023.03.25	19019
902	컴퓨터잡담	윈도우10 운영체제에 크롬브라우저를 사용할 때 웹사이트 인증서 설치하는 방법	2023.03.25	15610
901	파이썬	파이썬에서 captCha 분석 프로그램을 만들 수 있을까?	2023.03.25	11722
900	[Docs]스프레드시트	구글 스프레드시트에서 O열=입금완료 가 있는 행은 행 전체가 노란색으로 변하게 하기	2023.03.24	10050
899	컴퓨터잡담	녹화기 Play Mode	2023.03.17	6803
898	파이썬	웹 페이지에서 동적으로 생성되는 데이터 가져오는 방법	2023.03.15	6937

분류

917

HTMLPHPMSQL

지정한 이미지파일명을 출력 시키는 시험문제풀이 html 1

2023.12.13

53917

916

파이썬