客服
搜索引擎檢索系統(tǒng)概述
百度站長(zhǎng)平臺(tái)Lee發(fā)布文章介紹了搜索引擎索引系統(tǒng)的大概工作流程。主要包括：Query串切詞分詞，查出含每個(gè)term的文檔集合，求交，網(wǎng)站過濾，按需進(jìn)行最終排序。,西安網(wǎng)站建設(shè)推薦閱讀>>> 百度站長(zhǎng)平臺(tái)lee官方版：搜索引擎索引系統(tǒng)概述（一）,
以下為文章全文：
前面簡(jiǎn)要介紹過了搜索引擎的索引系統(tǒng)，實(shí)際上在建立倒排索引的最后還需要有一個(gè)入庫(kù)寫庫(kù)的過程，而為了提高效率這個(gè)過程還需要將全部term以及偏移量保存在文件頭部，并且對(duì)數(shù)據(jù)進(jìn)行壓縮，這涉及到的過于技術(shù)化在此就不多提了。今天簡(jiǎn)要給大家介紹一下索引之后的檢索系統(tǒng)。
檢索系統(tǒng)主要包含了五個(gè)部分，如下圖所示：
?。?）Query串切詞分詞即將用戶的查詢?cè)~進(jìn)行分詞，對(duì)之后的查詢做準(zhǔn)備，以“10號(hào)線地鐵故障”為例，可能的分詞如下（同義詞問題暫時(shí)略過）：
10 0x123abc
號(hào) 0x13445d
線 0x234d
地鐵 0x145cf
故障 0x354df
?。?）查出含每個(gè)term的文檔集合，即找出待選集合，如下：
0x123abc 1 2 3 4 7 9…..
0x13445d 2 5 8 9 10 11……
……
……
?。?）求交，上述求交，文檔2和文檔9可能是我們需要找的，整個(gè)求交過程實(shí)際上關(guān)系著整個(gè)系統(tǒng)的性能，這里面包含了使用緩存等等手段進(jìn)行性能優(yōu)化；,西安做網(wǎng)站推薦閱讀>>> 搜索引擎原理簡(jiǎn)單分析帶圖,
?。?）各種過濾，舉例可能包含過濾掉死鏈、重復(fù)數(shù)據(jù)、色情、垃圾結(jié)果以及你懂的；
（5）最終排序，將最能滿足用戶需求的結(jié)果排序在最前，可能包括的有用信息如：網(wǎng)站的整體評(píng)價(jià)、網(wǎng)頁質(zhì)量、內(nèi)容質(zhì)量、資源質(zhì)量、匹配程度、分散度、時(shí)效性等等，之后會(huì)詳細(xì)給大家介紹。,西安做網(wǎng)站推薦閱讀>>> Baiduspider抓取過程中的策略,
相關(guān)文章：
-
搜索引擎的工作的過程非常復(fù)雜，而簡(jiǎn)單的講搜索引擎的工作過程大體可以分成三個(gè)階段。 爬行和抓?。核阉饕嬷┲胪ㄟ^跟蹤鏈接訪問頁面，獲取頁面HTML代碼存入數(shù)據(jù)庫(kù)。 預(yù)處理：搜索贏...
-
搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬到幾十億個(gè)網(wǎng)頁并對(duì)網(wǎng)頁中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數(shù)據(jù)庫(kù)的全文搜索引擎。當(dāng)用戶查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁面內(nèi)容...
-
從輸入關(guān)鍵詞，到百度給出搜索結(jié)果的過程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內(nèi)容展現(xiàn)給用戶？這背后蘊(yùn)藏著什么樣的工作流...
-
眾所周知，搜索引擎的主要工作過程包括：抓取、存儲(chǔ)、頁面分析、索引、檢索等幾個(gè)主要過程。過去幾周給大家介紹了抓取相關(guān)的簡(jiǎn)要過程。今天簡(jiǎn)要介紹一下索引系統(tǒng)，以億為單位的網(wǎng)頁...
-
先上圖來簡(jiǎn)單看下搜索引擎的三板斧：數(shù)據(jù)搜集預(yù)處理【索引】排名。 數(shù)據(jù)搜集 即數(shù)據(jù)的搜集階段，將網(wǎng)頁從浩如瀚海的互聯(lián)網(wǎng)世界搜集到自己的數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。 1、抓取維護(hù)策略 面對(duì)大...
-
站長(zhǎng)朋友們，今后定期都將在這里跟大家分享一些有關(guān)搜索引擎工作原理及網(wǎng)站運(yùn)營(yíng)相關(guān)的內(nèi)容，今天先簡(jiǎn)單介紹一下關(guān)于搜索引擎抓取系統(tǒng)中有關(guān)抓取系統(tǒng)基本框架、抓取中涉及的網(wǎng)絡(luò)協(xié)議...
-
spider在抓取過程中面對(duì)著復(fù)雜的網(wǎng)絡(luò)環(huán)境，為了使系統(tǒng)可以抓取到盡可能多的有價(jià)值資源并保持系統(tǒng)及實(shí)際環(huán)境中頁面的一致性同時(shí)不給網(wǎng)站體驗(yàn)造成壓力，會(huì)設(shè)計(jì)多種復(fù)雜的抓取策略。以下...
-
從輸入關(guān)鍵詞，到百度給出搜索結(jié)果的過程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內(nèi)容展現(xiàn)給用戶？這背后蘊(yùn)藏著什么樣的工作流...