사이트 긁어오기

http://www.moonseller.net/273

현재 내가 발견한 사이트 긁어오기가 안되는 사이트의 유형은 세가지다. 세션을 물고 들어가야지만 페이지가 열리는 경우와 자기 자신의 도메인에서 오지 않을 경우 정상적인 접근이 아니라고 하는 경우 , 그리고 특정 국가의 아이피를 아예 차단시킨경우다.

1. 세션을 물고 들어가야 하는 경우

스누피 fetch 하기전에 아래와 같이 세션값을 임의로 먹여준다.

$snoopy->cookies["SessionID"] = 세션값;

2. 자기 자신의 도메인으로 부터 들어오지 않으면 막아버리는 경우

위와 마찬가지로 fetch 하기전에 아래와 같이 값을 먹여준다.

$snoopy->referer = “접속한 도메인";

3. 외국 사이트가 한국 ip를 아예 차단한 경우

http://nntime.com/proxy-country/United-States-01.htm

www.cybersyndrome.net/plr5.html

위 사이트들에서 좋은 프록시 서버를 찾았으면 아래와 같이 세팅해준다.

$snoopy->proxy_host = “프록시서버";
$snoopy->proxy_port = "프록시 서버 포트번호";

네이버 카페에의 글 목록의 소스를 가져와서 파싱,

iframe을 가져오는 방법.

$szServer = "www.naver.com";

$fp = fsockopen($szServer, 80, $errorno, $errstr, 30);

// Getting string

$string = "";

if(!$fp){

echo "$errstr ($errno)<br>\n";

}else{

fputs ($fp, "GET / HTTP/1.0\r\n\r\n");

while(!feof($fp)) {

$string .= fgets($fp, 128);

}

fclose($fp);

}

echo "<textarea>$string</textarea>";

헤더까지 받아오므로 헤더는 적절히 잘라주세요.

iframe의 src값을 받아오려면 받아온 $string을 적절하게 검색하시면 됩니다.

$iFrameIndex = stripos($string, "<iframe");

  if($iFrameIndex !== false){
   $iFrameEndIndex = stripos($string, ">", $iFrameIndex);
   $szFrame = substr($string, $iFrameIndex, $iFrameEndIndex - $iFrameIndex + 1);

   $iSrcIndex = stripos($szFrame, "src");
   $szFrame = substr($szFrame, $iSrcIndex+4);

   if(substr($szFrame, 0, 1) == "\""){
   $iSrcIndex = 1;
   $iSrcEndIndex = stripos($szFrame, "\"", 1) - 1;
   }else if(substr($szFrame, 4, 1) == "'"){
   $iSrcIndex = 1;
   $iSrcEndIndex = stripos($szFrame, "'", 1) - 1;
   }else{
   $iSrcIndex = 0;
   $iSrcEndIndex = stripos($szFrame, " ", 1);
   }

   if($iSrcEndIndex === false){
   $szFrame = substr($szFrame, $iSrcIndex);
   }else{
   $szFrame = substr($szFrame, $iSrcIndex, $iSrcEndIndex);
   }
}
echo $szFrame;

또한 받아온 iframe의 src의 내용을 받으실라면 src를 받은 $szFrame으로 소켓을 여시면됩니다.

http://anipage.tistory.com/517

웹페이지 자동 로긴해서 긁어 오기와 HTML 파싱 라이브러리

http://gnusdm.egloos.com/91945

Autosurf 소스 받기
autosurf.php 내용 보기
Html Parse 소스 받기

List of Articles
번호	분류	제목	날짜	조회 수
917	프로세스	프로세스 2 3	2011.02.07	312176
916	WindowsTip	윈도우 DLL 오류 해결방법	2013.01.23	192708
915	컴퓨터잡담	자바스크립트로 전송(submit) 버튼 누르기 3	2010.10.10	103644
914	컴퓨터잡담	hMailServer - 설치시 주의 핵심사항 1	2010.08.24	103068
913	컴퓨터잡담	북마크 링크 주소모음	2010.10.30	102964
912	파이썬	파이썬 랜덤으로 문제풀기 #2	2023.10.04	84718
911	컴퓨터잡담	파이썬 request, beautifulshop으로 정액정보 받아오기	2023.09.29	84546
910	파이썬	파이썬에서 인식이 잘되는 OCR 종류	2023.09.15	84292
909	파이썬	한우경매낙찰 유튜브 영상의 이미지에서 특정 문자 가져와서 저장하기	2023.09.14	83590
908	컴퓨터잡담	CANON PRINTER ERROR CODE B203, B204 해결방법	2023.09.17	83289
907	파이썬	파이썬 랜덤으로 시험문제 풀기	2023.10.04	80519
906	파이썬	파이썬 requestsbeautifulsoup 으로 웹 input에 입력값 대입한 뒤 결과값 파일로 저장하기	2023.11.13	72269
905	컴퓨터잡담	엑셀 색깔 지정 함수 1	2010.07.28	65610
904	컴퓨터잡담	MYSQL 미 해결 과제 : Can't connect to MySQL server on 'localhost'(10055) 3 3	2009.11.21	64234
903	HTMLPHPMSQL	지정한 이미지파일명을 출력 시키는 시험문제풀이 html 1	2023.12.13	62482
902	컴퓨터잡담	php로 이미지를 mysql디비 저장하고 보여주는 소스 4 3	2009.10.17	62325
901	컴퓨터잡담	여러개의 엑셀파일을 하나로 합치기 2	2010.06.22	57413
900	컴퓨터잡담	오류 socket error #10061 connection 3 2	2010.09.25	54199
899	AutoHotKey	AHK) AUTOKEY 웹페이지 열지않고 소스 가져오기 또는 로그인 하기 14	2012.05.12	52958
898	Visual C++	VBS) VBScript Telnet log save	2013.09.21	51940

분류

917

프로세스

프로세스 2 3

2011.02.07

312176

916

WindowsTip