파이썬 request, beautifulshop으로 정액정보 받아오기

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

import requests
from bs4 import BeautifulSoup
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
# POST 요청 보내기
response = requests.post(url, data=data)
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)
 
 
 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

List of Articles
번호	분류	제목	날짜	조회 수
75	일상	실업급여 신청조건과 방법 3	2009.07.19	45629
74	일상	추신수 만루홈런까지? 클리블렌드의 영웅! 이렇게 잘해도 되는거니?	2010.04.19	36915
73	일상	Div 사용한 테이블 숨기고 감추기 8	2010.07.03	36554
72	일상	선덕여왕 나오는 서라벌 10화랑 3	2009.06.29	31310
71	일상	도박에 빠져있는 국민연금 7	2010.11.28	30127
70	일상	북한의 해적방송을 FIFA와 SBS는 북한 나무랄 자격있나? 6	2010.06.14	29340
69	일상	나마스테! 옴 싯띠안뚜! 2	2009.06.30	24900
68	일상	어느 의사의이야기입니다 7	2010.12.19	23558
67	일상	한나라당이 미디어법 처리만큼 쌍용차에 힘썼다면 하는 안타까움이 3	2009.08.07	23310
66	일상	저작권법 때문에 MP3가 무료화 될 수밖에 없는 이유 3	2009.07.25	22967
65	일상	40대의 고백	2010.12.19	22652
64	일상	MSG 첨가물 제대로 알자. 1	2013.04.09	22510
63	일상	거대한 살인마 독감이 세계를 덮친다.	2009.08.17	21844
62	일상	농업인 확인서	2013.04.06	21541
61	일상	한국 네티즌 고소사건, 공유자들만의 문제인가? 1	2009.08.13	20639
60	일상	원조교제는 남성들의 처벌만으로 해결될 문제가 아니다. 3	2009.10.21	20569
59	일상	(펌)개성공단에서 4월 13일 나온 근무자입니다	2013.04.17	20468
58	일상	다이어트 더블효과를 이용하는 방법 2	2009.07.12	19897
57	일상	현대자동차 NF소나타 디젤 주행 중 시동꺼짐 현상에 대한 뿔나는 체험기 3 2	2010.04.21	19648
56	일상	힘들어하는 당신에게 위로합니다.	2009.07.02	18969

분류

일상

실업급여 신청조건과 방법 3 file