php识别Google的爬虫

给byrbt稍微加点SEO,遇到一个问题是让google可以访问一些原本必须登录之后才能访问的页面。

google了一个晚上无果……这里有一个帖子从来没有人回答过……其他地方找到的方法就是用UA来识别google bot

参考了谷歌中文网站管理员博客上的一篇日志这个帖子写了一个函数判断是否为googlebot

懒得排版了……

function isgooglebot(){
$ua=strtolower($_SERVER['HTTP_USER_AGENT']);
$ip=$_SERVER['REMOTE_ADDR'];
if(strpos($ua,"googlebot")!==false){
$hostname=gethostbyaddr($ip);
if(strpos($hostname,"googlebot.com") !==false ){
$ip_reversed=gethostbyname($hostname);
if($ip==$ip_reversed){
return true;
}else return false;
}else return false;
}else return false;
}

BTW:我依稀记得google提供了一个网页,提交用户名密码以及对应的字段名,google可以自己post用户名密码来完成登录再抓取需要登录才能看到的网页……谁知道这个页面在哪……

If you enjoyed this post, make sure you subscribe to my RSS feed!

3 Responses to “php识别Google的爬虫”


Leave a Reply