파이썬 request, beautifulshop으로 정액정보 받아오기

Requests와 BeautifulSoup 사용:

웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다.

그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다.

이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다.

import requests
from bs4 import BeautifulSoup
# 웹 페이지 URL
url = "http://www.limc.co.kr/KpnInfo/KpnResultList_Rsult.asp?search_check=1"
# POST 요청을 보낼 데이터
data = {
    "search_value": "1527",  # 검색어 설정
}
# POST 요청 보내기
response = requests.post(url, data=data)
# 요청이 성공적으로 완료되었는지 확인
if response.status_code == 200:
    # 인코딩 설정을 변경하여 한글 깨짐을 방지하고 응답 내용을 BeautifulSoup을 사용하여 파싱
    response.encoding = 'euc-kr'  # 또는 'utf-8' 또는 해당 웹 페이지의 인코딩에 맞게 설정
   
    soup = BeautifulSoup(response.text, 'html.parser')
   
    # 원하는 정보를 찾아서 출력 또는 저장
    # 예를 들어, 페이지의 전체 내용을 출력하려면:
    print(soup.prettify())
   
    # 또는 특정 태그를 찾아서 그 내용을 출력하려면:
    # element = soup.find('tag_name')
    # if element:
    #     print(element.text)
   
    # 페이지 소스를 Res.html 파일로 저장
    with open("Res.html", "w", encoding="utf-8") as f:
        f.write(response.text)
else:
    print("요청 실패: ", response.status_code)
 
 
 

웹 스크래핑에는 다양한 방법이 있지만, 웹 페이지의 동적 상호작용 및 JavaScript 실행과 같은 복잡한 작업을 수행하는 경우에는 웹 드라이버를 사용하는 것이 가장 효과적입니다. 그러나 다른 방법으로도 시도할 수 있는 몇 가지 대안이 있습니다. Requests와 BeautifulSoup 사용: 웹 페이지의 정적 내용을 가져오려면 requests 라이브러리와 BeautifulSoup을 사용하여 페이지를 가져올 수 있습니다. 그러나 해당 웹 페이지는 JavaScript를 사용하여 데이터를 불러오기 때문에 이러한 방식으로는 동적 데이터를 가져올 수 없습니다. 이 방법은 페이지의 정적인 부분만 스크랩할 때 유용합니다. API 활용: 웹 페이지가 데이터를 제공하는 API를 사용할 수 있는 경우, 이를 활용하여 데이터를 가져올 수 있습니다. 웹 페이지의 API를 확인하고 요청을 보내는 방법을 알아야 합니다. 그러나 대부분의 웹 페이지는 API를 공개하지 않으며, API를 사용하는 데 인증이 필요한 경우가 많습니다. Headless 브라우저 사용: Selenium 대신 headless 브라우저를 사용할 수도 있습니다. 예를 들어, Headless Chrome 또는 Puppeteer를 사용하여 웹 페이지를 조작하고 데이터를 가져올 수 있습니다. 이러한 도구는 브라우저를 실제로 표시하지 않고 백그라운드에서 실행되므로 더 빠르고 안정적입니다. 웹 스크래핑 서비스 사용: 웹 스크래핑을 자동화하려는 경우 웹 스크래핑 서비스를 고려할 수 있습니다. 이러한 서비스는 대상 웹 사이트를 모니터링하고 데이터를 추출하여 제공하는 편리한 방법을 제공합니다. 그러나 서비스 이용료가 발생할 수 있습니다. 그러나 대부분의 경우 웹 페이지의 동적 데이터를 가져오려면 웹 드라이버나 headless 브라우저와 같은 도구를 사용해야 합니다. 이러한 방법은 웹 페이지가 JavaScript를 활용하는 경우에 효과적입니다.

List of Articles
번호	분류	제목	날짜	조회 수
204	연예정보	카카오 오목에서 레벨 10급에서 자주 당하는 패턴	2017.08.24	5073
203	연예정보	이부진 임우재 이혼을 보면 돈 많은 것이 결코 행복의 지표가 되긴 어려울 것 같다.	2017.07.20	7609
202	연예정보	도깨비 간신 기타누락자는 무슨 사연	2017.01.07	4751
201	연예정보	현빈 강소라 커플 지금 열애 중	2016.12.15	6038
200	연예정보	김주혁 이유영 영화 속 커플이 실제열애 상대로 발전하다	2016.12.13	4682
199	연예정보	최두호 컵 스완슨 최고의 명경기 감상하다	2016.12.11	6081
198	연예정보	최두호 컵스완슨 경기일정과 경기분석	2016.12.08	4014
197	연예정보	김고은 공유 도깨비 신부 새드엔딩	2016.12.04	15796
196	연예정보	제이민 문제적남자에서 변요한과는 어떤관계 1	2016.11.28	7885
195	연예정보	정우성 박근혜 앞으로 나와 시국선언	2016.11.21	4279
194	연예정보	엄마부대 주옥순 말말말 5	2016.11.06	8695
193	연예정보	박희본 윤세영에 다섯번 XX다.	2016.11.03	11144
192	연예정보	크라운제이 서인영 최고의사랑 결혼 가능성	2016.11.01	6402
191	연예정보	최정윤 임신 출산 이랜드는 어떤집안	2016.10.31	28250
190	연예정보	박근혜를 지지했던 사람들 마저 반대한다. 1	2016.10.24	5690
189	연예정보	지리산 소울 김영근 슈퍼스타K 2016을 대표하는 목소리	2016.10.21	6559
188	연예정보	최두호 컵스완슨 UFC 죽음을 두른 손의 맞대결 2	2016.10.13	15377
187	연예정보	정채연 때문에 혼술남녀 볼줄이야 5	2016.10.12	60104
186	연예정보	한국 카타르 골장면 하이라이트	2016.10.07	5845
185	연예정보	20% 요금할인 선택약정할인으로 스마트폰 저렴하게 사용하기	2016.10.04	4308

분류

204

연예정보

카카오 오목에서 레벨 10급에서 자주 당하는 패턴 file