百度和google是站長們的衣食父母，而做好搜索引擎優(yōu)化的第一步就是蜘蛛的抓取，以下5條簡單的Linux命令可以讓你清楚的了解蜘蛛的爬行情況做到有的放矢。

　　百度和google是站長們的衣食父母，而做好搜索引擎優(yōu)化的第一步就是蜘蛛的抓取，以下5條簡單的Linux命令可以讓你清楚的了解蜘蛛的爬行情況做到有的放矢。

　　請首先看看日志文件的大小，如果特別大的話(比如：超過50MB)建議不要用這些命令分析，因為這些命令較消耗CPU，或者抓下來放到分析機上執(zhí)行，以免影響網站的速度。如果是Dreamhost等共享主機的話，分析大日志很消耗CPU，進程很容易被Kill掉。

　　這些命令都是Linux下的shell命令，在Windows主機下無法執(zhí)行。

　　一 百度蜘蛛爬行的次數

　　cat access.log.2009-04-18 | grep Baiduspider+ | wc

　　這代表百度蜘蛛一共爬行了173次

　　二 百度蜘蛛的詳細記錄(如果記錄很長不想看了可以Ctrl+C終止)

　　cat access.log.2009-04-18 | grep Baiduspider+

　　你也可以用如下命令：

　　cat access.log.2009-04-18 | grep Baiduspider+ | tail -n 100

　　cat access.log.2009-04-18 | grep Baiduspider+ | head -n 100

　　只看最后100條或者最前100條

　　三 百度蜘蛛抓取首頁的詳細記錄

　　cat access.log.2009-04-18 | grep Baiduspider+ | grep "GET / HTTP"

　　初步研究發(fā)現，百度蜘蛛對首頁非常熱愛，24小時每小時都要看我的某個新站的首頁，而googe和yahoo蜘蛛更喜歡內頁，一天中各自只看了2次首頁。不知道是真的有這個規(guī)律還是只是我的小站這樣。

　　四 Baidu蜘蛛派性記錄時間點分布

　　cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $4}'

　　五 Baidu蜘蛛爬行頁面按次數降序列表

　　cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $7}' | sort | uniq -c | sort -r

　　本文中的每條命令把Baiduspider+改成Googlebot都可以查看Google的對應的數據。

　　附：(Mediapartners-Google)Google adsense蜘蛛的詳細爬行記錄

　　cat access.log.2009-04-18 | grep Mediapartners

　　Mediapartners-Google是什么?Google adsense廣告之所以能與內容相關，就是因為每個包含著adsense的廣告被訪問后，幾秒鐘內就有一個Mediapartners-Google蜘蛛來到這個頁面，所以幾分鐘后再刷新就能顯示相關性廣告了。

重慶中技互聯網信息咨詢有限公司
重慶網站建設事業(yè)部官方網：www.tmsmall666.cn
電子商務建站事業(yè)部咨詢電話：023-67742189
門戶網站品牌加盟推廣電話：023-67742189
7*24小時服務電話：023-67742189
媒體合作電話：13883323406
投資合作電話：13896068183
QQ及郵件地址：446515345@qq.com