域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

01.網(wǎng)頁(yè)為何要去重?

對(duì)于搜索引擎來(lái)說，希望呈現(xiàn)給用戶的是新穎且吸引人的內(nèi)容，是高質(zhì)量的文章，而不是大量的“換湯不換藥”的套話;我們?cè)谧鯯EO優(yōu)化，要進(jìn)行內(nèi)容編輯時(shí)，難免會(huì)參考其他同類的文章，而這篇文章或許被多人采集過，這就導(dǎo)致了網(wǎng)絡(luò)上的相關(guān)信息大量的重復(fù)。

如果一個(gè)網(wǎng)站存在大量的惡劣采集內(nèi)容，不僅會(huì)影響用戶體驗(yàn)，還會(huì)造成搜索引擎直接屏蔽該網(wǎng)站。之后網(wǎng)站上的內(nèi)容，蜘蛛再難抓取了。

02.搜索引擎工作原理

搜索引擎是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。

搜索引擎的工作原理：

第一步：爬行

搜索引擎是通過一種特定規(guī)律的軟件跟蹤網(wǎng)頁(yè)的鏈接，從一個(gè)鏈接爬到另外一個(gè)鏈接，像蜘蛛在蜘蛛網(wǎng)上爬行一樣，所以被稱為“蜘蛛”也被稱為“機(jī)器人”。搜索引擎蜘蛛的爬行是被輸入了一定的規(guī)則的，它需要遵從一些命令或文件的內(nèi)容。

第二步：抓取存儲(chǔ)

搜索引擎是通過蜘蛛跟蹤鏈接爬行到網(wǎng)頁(yè)，并將爬行的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。搜索引擎蜘蛛在抓取頁(yè)面時(shí)，也做一定的重復(fù)內(nèi)容檢測(cè)，一旦遇到權(quán)重很低的網(wǎng)站上有大量抄襲、采集或者復(fù)制的內(nèi)容，很可能就不再爬行。

第三步：預(yù)處理

搜索引擎將蜘蛛抓取回來(lái)的頁(yè)面，進(jìn)行各種步驟的預(yù)處理。

除了HTML 文件外，搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我們?cè)谒阉鹘Y(jié)果中也經(jīng)常會(huì)看到這些文件類型。 但搜索引擎還不能處理圖片、視頻、Flash 這類非文字內(nèi)容，也不能執(zhí)行腳本和程序。

第四步：排名

用戶在搜索框輸入關(guān)鍵詞后，排名程序調(diào)用索引庫(kù)數(shù)據(jù)，計(jì)算排名顯示給用戶，排名過程與用戶直接互動(dòng)的。但是，由于搜索引擎的數(shù)據(jù)量龐大，雖然能達(dá)到每日都有小的更新，但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。

03.網(wǎng)頁(yè)去重的代表性方法

搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。 去重的工作一般在分詞之后索引之前，搜索引擎會(huì)在頁(yè)面已經(jīng)分出的關(guān)鍵詞中，提取部分具有代表性的關(guān)鍵詞進(jìn)行計(jì)算，從而得出一個(gè)該網(wǎng)站關(guān)鍵詞的特征。

目前, 網(wǎng)頁(yè)去重代表性方法有3種。

1)基于聚類的方法。該方法是基于網(wǎng)頁(yè)文本內(nèi)容以6763個(gè)漢字作為向量的基, 文本中某組或某個(gè)漢字所出現(xiàn)的頻率就構(gòu)成了代表網(wǎng)頁(yè)的向量, 通過計(jì)算向量的夾角確定是否是相同的網(wǎng)頁(yè)。

2)排除相同URL方法。各種元搜索引擎去重主要采用此方法。它分析來(lái)自不同搜索引擎的網(wǎng)頁(yè)URL, URL 相同, 即被認(rèn)為是相同的網(wǎng)頁(yè), 可將其去除。

3)基于特征碼的方法。這種方法利用標(biāo)點(diǎn)符號(hào)多數(shù)出現(xiàn)在網(wǎng)頁(yè)文本的特點(diǎn), 以句號(hào)兩邊各5 個(gè)漢字作為特征碼來(lái)唯一地表示網(wǎng)頁(yè)。

三種方法中，第一種和第三種大多數(shù)還是基于內(nèi)容來(lái)判定，所以很多時(shí)SEO人員會(huì)通過偽原創(chuàng)工具來(lái)修改文章內(nèi)容，但是很多時(shí)候偽原創(chuàng)工具會(huì)將原文改的不通順，這樣也不利于排名與收錄。

也有網(wǎng)站利用搜索引擎的漏洞，比如權(quán)重高的網(wǎng)站進(jìn)行惡劣采集，因?yàn)闄?quán)重高的網(wǎng)站蜘蛛會(huì)優(yōu)先抓取，所以這種做法會(huì)不利于一些權(quán)重低的網(wǎng)站。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！