很多人都在說原創(chuàng)，每天去采集，然后修改后，重新發(fā)到自己的網(wǎng)站上，但是不知道你木有想過一個問題，我們發(fā)的文章有沒有意義，為什么不被收錄，蜘蛛怎么去認為我們發(fā)的文章有沒有意義。
在這之前，我們得知道服務器日志在哪里尋找，服務器日志一般存在于FTP空間一個Log的文件夾下，并且是tor后綴結尾。將他下載后，解壓后我們得到倆個文件，將有大小文件后綴名更改為域名.txt 然后打開。我們會得到一大串文字字符，不要擔心從何看起，我們一條條的分析。但是我們首先得知道那些IP所代表的意思。下面我都列出來了。
Baiduspider=Baiduspider蜘蛛
Googlebot=Googlebot蜘蛛
Sogou=Sogou蜘蛛
Yahoo=Yahoo蜘蛛
360Spider=360Spider蜘蛛
123.125.68.=123.125.68沙盒
220.181.68.=220.181.68沙盒
220.181.7.=220.181.7預備抓取
123.125.66.=123.125.66預備抓取
121.14.89.=121.14.89新站考察
203.208.60.=203.208.60網(wǎng)站異常
210.72.225.=210.72.225巡邏
123.125.71.106=123.125.71.106低權重
123.125.71.95=123.125.71.95低權重
123.125.71.97=123.125.71.97低權重
123.125.71.117=123.125.71.117低權重
123.125.71.=123.125.71低權重匯總
220.181.108.95=220.181.108.95隔日快照
220.181.108.92=220.181.108.92權重抓取
220.181.108.91=220.181.108.91綜合權重
220.181.108.75=220.181.108.75內(nèi)頁權重
220.181.108.86=220.181.108.86權重首頁
220.181.108.89=220.181.108.89權重首頁
220.181.108.94=220.181.108.94權重首頁
220.181.108.97=220.181.108.97權重首頁
220.181.108.80=220.181.108.80權重首頁
220.181.108.77=220.181.108.77權重首頁
220.181.108.83=220.181.108.83權重首頁
220.181.108.=220.181.108權重蜘蛛?yún)R總
我們就其中一條分析
123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7'
根據(jù)上面的定義分析：
123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html這句話代表的意思是谷歌蜘蛛在2014年6月24號，15:12:04來我的網(wǎng)站抓取了xingyexinwen/129.html 這么一條URL，然后將其放到沙盒中(123.125.68.45 代表沙盒蜘蛛。)
HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于這個，其中的200是返回碼，代表是正常，當然返回碼還有301、404、302、304等等一些，可以去查一下代表的意思。其他代表是它訪問電腦的屬性，swindows操作系統(tǒng)等等。
不知道看了這些，你暈了沒有，當然我們一般習慣用exec表格去分析日志，將txt文件導入表格中，能夠幫助我們更直觀的去分析日志，知道蜘蛛在我們網(wǎng)站上抓取了哪些內(nèi)容，然后將內(nèi)容定義為什么。當然還可以利用日志分析軟件來分析。
關于更多，也可以搜索MOON蟲博客www.croelhui.com，需要我介紹什么，歡迎大家給我留言。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
