抓取和收錄

當你看到出現在Google的搜索結果的那個(gè)網(wǎng)頁(yè)之前，Google在后臺已經(jīng)做了許多步驟。Google的第一步是抓取和收錄互聯(lián)網(wǎng)上的數十億的網(wǎng)頁(yè)，這個(gè)工作時(shí)由Google的機器人Googlebot來(lái)完成的，它瀏覽網(wǎng)絡(luò )服務(wù)器抓取文件。 抓取的程序并不是漫無(wú)目的地在互聯(lián)網(wǎng)上瞎逛，它訪(fǎng)問(wèn)服務(wù)器的特定的網(wǎng)頁(yè)，然后掃描網(wǎng)頁(yè)上的超文本鏈接，如果有新的文件也是這樣抓取得；蜘蛛程序給每個(gè)得到的網(wǎng)頁(yè)一個(gè)號碼，這個(gè)號碼指向它抓取的網(wǎng)頁(yè)。

蜘蛛程序抓取了很多的網(wǎng)頁(yè)，但這些網(wǎng)頁(yè)還不是便于搜索的。如果沒(méi)有一個(gè)索引，你要查詢(xún)一個(gè)詞，比如“國內戰爭”，Google的服務(wù)器每次都要讀取每一個(gè)文件的所有內容。

因此，第二步就是建立索引。我們不是去掃描每一個(gè)文件的所有內容，我們巧妙地進(jìn)行數據的“轉換”，列出每一個(gè)文件所包含的特定的詞，例如，“國內”這個(gè)詞可能出現在文件3，8，22，56，68和92當中，而“戰爭”這個(gè)詞出現在文件2，8，15，22，68和77中。

建立好索引之后，我們就可以開(kāi)始對網(wǎng)頁(yè)進(jìn)行評級，決定網(wǎng)頁(yè)的相關(guān)程度。假設有人在Google的搜索欄輸入“國內戰爭”進(jìn)行查詢(xún)，為了提交搜索結果和對結果進(jìn)行評分，我們要做兩件事：

1. 找到包含用戶(hù)查詢(xún)的詞的網(wǎng)頁(yè)

2. 給符合的網(wǎng)頁(yè)按照相關(guān)程度進(jìn)行評級

Google開(kāi)發(fā)出一個(gè)有趣的技巧來(lái)加速第一步：Google不是把整個(gè)索引存儲在一臺功能強大的計算機上，而是用千百個(gè)計算機來(lái)存儲這些信息。因為任務(wù)被分解到許多的計算機，可以更快地找到所需的答案。 詳細解釋一下，假設一本書(shū)的目錄有30頁(yè)，如果一個(gè)人要在目錄中查尋資料，每次查詢(xún)都要花幾秒鐘；如果用30個(gè)人每人查詢(xún)一頁(yè)目錄，顯然要比一個(gè)人查詢(xún)的速度快很多。同樣的，Google將數據分別存儲在許多計算機上，這樣搜索的速度會(huì )大大加快。

我們是如何找到那些包含用戶(hù)搜索的詞的網(wǎng)頁(yè)呢？回到“國內戰爭”的例子，“國內”這個(gè)詞出現在文件3，8， 22， 56， 68 和92; “戰爭”出現在文件2， 8， 15， 22， 68和77，記下同時(shí)出現這兩個(gè)詞的文件。

國內　3 8 22 56 68 92

戰爭　2 8 15 22 68 77

國內　戰爭 8 22 68

---