记录网页蜘蛛来访爬取链接详情导出TXT文件

资源简介

该 PHP 脚本可以实现判断蜘蛛来访访问的链接等和显示蜘蛛 IP 等等

复制代码的 PHP 脚本代码放到需要的 php 文件最顶部处保存即可

放完后首先他会自动生成一个 bot.txt 文件。其他就不用管，当有人或者有蜘蛛来访的时候该脚本会自动输出日志写入到 bot.txt 文件里。

PHP 脚本代码

<?php
$useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));
if (strpos($useragent, 'msn')!== false){$bot = 'msn';}
elseif (strpos($useragent,'baiduspider') !== false){$bot = 'Baidu';}
elseif (strpos($useragent,'sogou spider') !== false){$bot = 'Sogou';}
elseif (strpos($useragent,'sogou web') !== false){$bot = 'Sogou web';}
elseif (strpos($agent,'Bytespider') !== false){$bot = 'Bytespider';}
elseif (strpos($useragent,'YisouSpider') !== false){$bot = 'YisouSpider';}
elseif (strpos($useragent,'360Spider') !== false){$bot = '360Spider';}
elseif (strpos($useragent,'bot') !== false){$bot = '其它蜘蛛';}
if(isset($bot)){$fp = @fopen( $_SERVER['DOCUMENT_ROOT']."/bot.txt",'a');
    fwrite($fp,date('Y-m-d H:i:s')."\t".$_SERVER["REMOTE_ADDR"]."\t".$bot."\t".'http://'.$_SERVER['SERVER_NAME'].$_SERVER["REQUEST_URI"]."\r\n");
    fclose($fp);
}
?>

代码演示