當(dāng)前位置:首頁(yè) >  站長(zhǎng) >  搜索優(yōu)化 >  正文

SEOer值得了解的搜索引擎索引和分詞技術(shù)

 2012-03-16 10:48  來(lái)源: 溫州網(wǎng)絡(luò)公司   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

在網(wǎng)絡(luò)公司做過(guò)程序開(kāi)發(fā)的朋友都知道,我們通常用的數(shù)據(jù)庫(kù)搜索技術(shù)就是把用戶(hù)輸入的詞匯,跟數(shù)據(jù)庫(kù)中的某個(gè)或多個(gè)字段里的內(nèi)容進(jìn)行比較,同樣,搜索引擎的運(yùn)行原理簡(jiǎn)單來(lái)講也就是這樣:

用戶(hù)輸入一個(gè)詞匯,搜索引擎從他的數(shù)據(jù)庫(kù)中找到匹配的內(nèi)容,再以有序的排列展現(xiàn)給用戶(hù),搜索引擎每天就是不厭其煩地不斷重復(fù)這些操作。看似一切很正常,我們用數(shù)據(jù)來(lái)分析問(wèn)題——

全球網(wǎng)民按20億計(jì)算,全球所有網(wǎng)站的網(wǎng)頁(yè)先假設(shè)是50億個(gè)

按每人每天搜索1次(也就是1個(gè)關(guān)鍵詞,假設(shè)都是不重復(fù)的)

那么搜索引擎每天要從50億個(gè)網(wǎng)頁(yè)中搜索比對(duì)20億個(gè)關(guān)鍵詞。

呃。。。。這個(gè)聽(tīng)起來(lái)很恐怖,你能想象嗎?想象這個(gè)數(shù)據(jù)如此龐大,但搜索引擎每次的正常搜索時(shí)間都是不到一秒。的確,在這個(gè)過(guò)程中,按照我們傳統(tǒng)的全文搜索方式,是不現(xiàn)實(shí)的。仔細(xì)看下下圖,并注意“索引庫(kù)查詢(xún)”這幾個(gè)字。

在解釋什么是索引庫(kù)和索引庫(kù)在搜索引擎中起到什么作用前,我們同樣舉個(gè)形象的例子加以參考下:

我們?cè)谧x書(shū)時(shí),老師在講課過(guò)程中,經(jīng)常會(huì)說(shuō),請(qǐng)同學(xué)們翻到第幾頁(yè),看下第幾段,想起來(lái)了嗎?快樂(lè)并無(wú)奈的校園生活是否歷歷在目了~_~,言歸正傳。在老師發(fā)出讓你翻到第幾頁(yè)看第幾段這個(gè)指令時(shí),就是一種索引在運(yùn)行了,這里的索引是第幾頁(yè)和第幾段,有了這兩個(gè)索引,即使你的書(shū)本厚達(dá)1000頁(yè),也可以在短時(shí)間里定位到具體的那一段話(huà)。

而搜索引擎自己的索引庫(kù)的構(gòu)成元素就是很多個(gè)詞匯,漢字約有12W個(gè),由這些漢字所組成的詞語(yǔ)將近10W個(gè),再說(shuō)說(shuō)英文,英文26個(gè)字母,組成的詞匯暫且算作100W個(gè)吧,在講索引庫(kù)元素的排序方式之前,我們?cè)龠M(jìn)行這段數(shù)據(jù)的分析:

中文:50億÷10W=5W

英文:50億÷100W=5000

搜索引擎處理5W或5000個(gè)記錄,是非常容易的一件事了。

明白了索引庫(kù)的重要性,再剖析下索引庫(kù)的構(gòu)成形式:

在搜索引擎看來(lái),再華麗的網(wǎng)站,也是一堆代碼堆砌而成的,拿下文的代碼來(lái)看:

經(jīng)過(guò)搜索引擎的分析后,去除HTML代碼,留下的是這些詞匯,

那么其中的這些詞匯就會(huì)進(jìn)入到搜索引擎的索引庫(kù)當(dāng)中,而這些進(jìn)入索引庫(kù)的每個(gè)詞匯后面又有很多個(gè)網(wǎng)站,就好比新華字典的目錄索引頁(yè)一樣,筆畫(huà)數(shù)是10的,通過(guò)索引快速查到,筆畫(huà)數(shù)是20的,也可以通過(guò)索引快速查到。

搜索引擎就是通過(guò)建立這樣的索引庫(kù),才能在用戶(hù)搜索某個(gè)關(guān)鍵詞時(shí),快速做出返回頁(yè)面的查詢(xún)。(而至于排名的前后,我們不在本文中多說(shuō)了)

再來(lái)簡(jiǎn)單講下分詞,上面提到的多少多少個(gè)詞匯,這個(gè)就是分詞了,但這些是通過(guò)我們?nèi)搜叟袛嗟模阉饕媸侨绾芜M(jìn)行分詞的呢?搜索引擎再厲害,也只是程序,谷歌的中文分詞技術(shù)是購(gòu)買(mǎi)第三方公司得來(lái)的,而百度的分詞技術(shù)是自創(chuàng)的,我們可以理解為百度事先把幾W個(gè)詞錄進(jìn)去,也可能是通過(guò)漢字的一定排列方式自由組合而成,這個(gè)不是我們關(guān)心和所能研究的,我們要了解的僅僅是分詞這個(gè)概念。

了解了分詞這個(gè)概念后,在我們做SEO時(shí),也一定要通過(guò)搜索引擎的角度,讓自己從網(wǎng)頁(yè)的表面看到底層的收錄抓取原理。

相關(guān)閱讀

《如何通過(guò)規(guī)范URL來(lái)建立與搜索引擎的友好》

【尊重原創(chuàng),分享觀點(diǎn)。來(lái)自芝麻開(kāi)門(mén)網(wǎng)絡(luò)科技原創(chuàng)文章,轉(zhuǎn)載請(qǐng)標(biāo)明文章來(lái)源 — 】

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

  • 百度站長(zhǎng)平臺(tái):搜索引擎索引系統(tǒng)概述

    眾所周知,搜索引擎的主要工作過(guò)程包括:抓取、存儲(chǔ)、頁(yè)面分析、索引、檢索等幾個(gè)主要過(guò)程。過(guò)去幾周給大家介紹了抓取相關(guān)的簡(jiǎn)要過(guò)程。今天簡(jiǎn)要介紹一下索引系統(tǒng),以?xún)|為單位的網(wǎng)頁(yè)庫(kù)中查找特定的某些關(guān)鍵詞猶如大海里面撈針,也許一定的時(shí)間內(nèi)可以完成查找,但是用戶(hù)等不起,從用戶(hù)體驗(yàn)角度我們必須在毫秒級(jí)別給予用戶(hù)滿(mǎn)意

  • 百度lee:搜索引擎索引系統(tǒng)概述(二)

    10月21日,百度lee簡(jiǎn)要介紹了搜索引擎索引系統(tǒng)概述(一),主要講的就是搜索引擎的倒排索引,還是先來(lái)百科一下:Query,是查詢(xún)的意思,為了在數(shù)據(jù)庫(kù)中尋找某一特定文件、網(wǎng)站、記錄或一系列記錄,由搜索引擎或數(shù)據(jù)庫(kù)送出的消息;term是單詞文本,即關(guān)鍵詞。今天,百度Lee公布了搜索引擎索引系統(tǒng)概述第二

  • 百度lee:搜索引擎索引系統(tǒng)概述(一)

    從上次8月份百度站長(zhǎng)平臺(tái)lee發(fā)布關(guān)于搜索引擎抓取信息后2個(gè)月已經(jīng)過(guò)去,這次lee繼續(xù)發(fā)布了搜索引擎索引系統(tǒng)的信息。不管怎么樣,木木SEO認(rèn)為百度官方的公告我們還是要了解和分析的。下面是百度官方公告:

  • SEO優(yōu)化重點(diǎn)理解百度谷歌搜索引擎索引流程

    概要:主要圍繞著SEO優(yōu)化重點(diǎn)理解百度谷歌搜索引擎索引流程理論分解,索引是搜索引擎里面很重要重點(diǎn)一部分,希望廣大愛(ài)好者們時(shí)時(shí)關(guān)注我更新文章,因?yàn)槲沂前床襟E來(lái)理解SEO優(yōu)化淺到深,如前面沒(méi)關(guān)注就直接看這部分可能理解起來(lái)有點(diǎn)難度.不過(guò)前面很理解這部分我相信也好

熱門(mén)排行

信息推薦