搜索引擎及搜索引擎蜘蛛是什么？
我在實戰(zhàn)培訓第一課講搜索引擎基本工作原理時，都會給新人講搜索引擎是什么，然后再來講，搜索引擎蜘蛛是什么。那么，在這里再講一下。主要分類如下：
1、按國內(nèi)與國外分
國內(nèi)： 百度、搜狗、360、神馬（UC）、頭條等； 國外： google、bing、yahoo、yandex(俄羅 斯 )等。
2、按PC與移動端分
PC：google、bing、yahoo、百度、搜狗、360
移動：神馬、頭條
PC+移動都有： google、bing、yahoo、百度、搜狗
當然除了上面介紹的通用搜索引擎，其實還有一些垂直的搜索引擎。比如像搜文庫的豆丁網(wǎng)，搜索工作的職友集等等。
各個搜索引擎蜘蛛是什么？
這里的【蜘蛛】非生活現(xiàn)實中的蜘蛛，我們只是把搜索引擎去爬取各網(wǎng)頁內(nèi)容那個代碼我們形象的稱它為蜘蛛。
如何識別百度搜索引擎蜘蛛呢？
其實，很多新人SEO同學很少接觸到搜索引擎蜘蛛，即使百度蜘蛛也未必能接觸到。即使接觸到了，也不知道它是不是。為什么呢？因為很多SEO新人沒有分析網(wǎng)站日志，所以沒看到。
如果你有分析過網(wǎng)站日志的話，就應該見過百度蜘蛛了（baiduspider）。
目前百度UA（useragent簡稱，即用戶）分為移動、PC、和小程序三個應用場景來訪，這三個渠道UA分別如下：
移動UA：
Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3
(compatible;Baiduspider/2.0;
+http://www.baidu.com/search/spider.html)
或
Mozilla/5.0 (iPhone;CPUiPhoneOS9_1likeMacOSX) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
PC UA：
Mozilla/5.0(compatible;Baiduspider/2.0;
+http://www.baidu.com/search/spider.html)
或
Mozilla/5.0(compatible;Baiduspider-render/2.0;
+http://www.baidu.com/search/spider.html)
小程序UA：
Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible;Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
如果UA信息不對，可以直接判斷為非百度搜索的蜘蛛。關于日志分析，可以看文尾相關推薦文章。
網(wǎng)站HTTP狀態(tài)碼是什么意思？有哪些？
網(wǎng)站的HTTP狀態(tài)碼是用以表示網(wǎng)頁服務器超文本傳輸協(xié)議響應狀態(tài)的3位數(shù)字代碼。
文章來源：白楊seo
來源地址：https://www.baiyangseo.com/blog/189.html
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
