火车头批量查询网页是否被收录

作者:stoat 发布时间:2014-09-05 分类:技术

目前而言,基本完全对了。火车头批量查询网页是否被收录,只弄了百度,文件共享附件了,自行下载分析其他搜索引擎吧。

注意点:看到n多人的方法是使用site方法查询,可是这个不准确,也有用php curl的功能,但是测试了也不准。没办法,只能说度娘坑爹,详见截图:

火车头批量查询网页是否被收录
火车头批量查询网页是否被收录
火车头批量查询网页是否被收录
火车头批量查询网页是否被收录


基本过程:


1,批量获取需要查询的页面链接

2,导入网址进火车头

3,任务发布至csv文件

火车头批量查询网页是否被收录文件下载:

收录查询.zip


使用火车头结合php直接发布


小小研究了下火车头post,因为最开始的时候想复杂了,想着直接去解密百度搜索结果URL,然后拿解密后url与查询url做对比,但是这很明显弄复杂了(不过这个方法应该是最精准的)。结果发现百度每次搜索生成的加密url居然不同。。

解密百度搜索结果URL的思路


利用301重定向解密,方法摘自网络:


function geturl($url){
	$info = parse_url($url);
	$fp = fsockopen($info['host'], 80,$errno, $errstr, 30);
	fputs($fp,"GET {$info['path']}?{$info['query']} HTTP/1.1\r\n");
	fputs($fp, "Host: {$info['host']}\r\n");
	fputs($fp, "Connection: close\r\n\r\n");
	$rewrite = '';
	while(!feof($fp)) {
		$line = fgets($fp);
		if($line != "\r\n" ) {
			if(strpos($line,'Location:') !== false) {
				$rewrite = str_replace(array("\r","\n","Location: "),'',$line);
				return $rewrite;
			}
		}else {
			break;
		}
	}
}

原文地址:火车头批量查询网页是否被收录 by 雪鼬博客

标签:php 火车头

仅有一条评论 »

  1. Nucsky Nucsky

    不错

评论已关闭