파이썬 request, beautifulshop으로 정액정보 받아오기

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

import requests
from bs4 import BeautifulSoup
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
# POST 요청 보내기
response = requests.post(url, data=data)
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)
 
 
 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

List of Articles
번호	분류	제목	날짜	조회 수
253	회로도전자부품	전기선 + PIR 감지기 + LED 결선도	2023.03.13	3646
252	회로도전자부품	LG전자 스마트폰 ‘통화 먹통’ 오류..불안한 LG폰 사용자들	2021.08.30	1933
251	회로도전자부품	파이썬 os 모듈, 파일(file)과 디렉토리(directory)활용	2021.08.01	2049
250	회로도전자부품	파이썬 Python tkinter 강좌	2021.06.23	3075
249	회로도전자부품	아두이노NANO 스위치로 릴레이 제어하기	2020.06.13	7214
248	회로도전자부품	아두이노 스위치 제어 알람 릴레이 조정기	2020.05.10	6235
247	AVR	아두이노 PIR 센서를 이용하여 경고음 발생시키기	2020.04.30	8560
246	회로도전자부품	2n2222 Esaki Effect 트랜지스터 주파수 발생기	2019.08.22	6801
245	회로도전자부품	아이노트 FS-PB100SQ 보조배터리 퀵차지3.0 보조배터리	2019.07.20	6570
244	회로도전자부품	아두이노 시간함수 BlinkWithoutDelay 함수	2019.06.26	6085
243	AVR	아두이노 스위치로 LED 제어하기	2019.06.23	8336
242	AVR	아두이노 업로드 통신 설정방법	2019.06.13	15745
241	AVR	Arduino 특정시간 제어와 릴레이 다루기	2019.06.13	11935
240	회로도전자부품	햇빛은 비타민 D를 어떻게 만들까?	2019.04.18	6012
239	회로도전자부품	광플라즈마 자외선의 살균효과	2019.04.18	6109
238	회로도전자부품	SERVO MOTOR SG90 DATA SHEET	2018.11.27	6142
237	회로도전자부품	AC 모터 정역회전	2018.11.06	12311
236	회로도전자부품	알리익스프레스 부품구입 리스트	2018.08.17	5048
235	회로도전자부품	세탁기 모터 3상 모터에 대해 알아보기와 용도	2018.08.12	514
234	회로도전자부품	트랜지스터 워터센서 회로도	2018.06.01	5392

분류

253

회로도전자부품

전기선 + PIR 감지기 + LED 결선도 file