① 搜索引擎中索引時怎麼實現的
隨著互聯網的迅猛發展、WEB信息的增加，用戶要在信息海洋里查找自己所需的信息，就象大海撈針一樣，搜索引擎技術恰好解決了這一難題（它可以為用戶提供信息檢索服務）。搜索引擎是指互聯網上專門提供檢索服務的一類網站，這些站點的伺服器通過網路搜索軟體(例如網路搜索機器人)或網路登錄等方式，將Intemet上大量網站的頁面信息收集到本地，經過加工處理建立信息資料庫和索引資料庫，從而對用戶提出的各種檢索作出響應，提供用戶所需的信息或相關指針。用戶的檢索途徑主要包括自由詞全文檢索、關鍵詞檢索、分類檢索及其他特殊信息的檢索(如企業、人名、電話黃頁等)。下面以網路搜索機器人為例來說明搜索引擎技術。
1．網路機器人技術
網路機器人(Robot)又被稱作Spider、Worm或Random，核心目的是為獲取Intemet上的信息。一般定義為「一個在網路上檢索文件且自動跟蹤該文件的超文本結構並循環檢索被參照的所有文件的軟體」。機器人利用主頁中的超文本鏈接遍歷WWW，通過U趾引用從一個HT2LIL文檔爬行到另一個HTML文檔。網上機器人收集到的信息可有多種用途，如建立索引、HIML文件合法性的驗證、uRL鏈接點驗證與確認、監控與獲取更新信息、站點鏡像等。
機器人安在網上爬行，因此需要建立一個URL列表來記錄訪問的軌跡。它使用超文本，指向其他文檔的URL是隱藏在文檔中，需要從中分析提取URL，機器人一般都用於生成索引資料庫。所有WWW的搜索程序都有如下的工作步驟：
(1)機器人從起始URL列表中取出URL並從網上讀取其指向的內容；
(2)從每一個文檔中提取某些信息(如關鍵字)並放入索引資料庫中；
(3)從文檔中提取指向其他文檔的URL，並加入到URL列表中；
(4)重復上述3個步驟，直到再沒有新的URL出現或超出了某些限制(時間或磁碟空間)；
(5)給索引資料庫加上檢索介面，向網上用戶發布或提供給用戶檢索。
搜索演算法一般有深度優先和廣度優先兩種基本的搜索策略。機器人以URL列表存取的方式決定搜索策略：先進先出，則形成廣度優先搜索，當起始列表包含有大量的WWW伺服器地址時，廣度優先搜索將產生一個很好的初始結果，但很難深入到伺服器中去；先進後出，則形成深度優先搜索，這樣能產生較好的文檔分布，更容易發現文檔的結構，即找到最大數目的交叉引用。也可以採用遍歷搜索的方法，就是直接將32位的IP地址變化，逐個搜索整個Intemet。
搜索引擎是一個技術含量很高的網路應用系統。它包括網路技術、資料庫技術動標引技術、檢索技術、自動分類技術，機器學習等人工智慧技術。
2．索引技術
索引技術是搜索引擎的核心技術之一。搜索引擎要對所收集到的信息進行整理、分類、索引以產生索引庫，而中文搜索引擎的核心是分詞技術。分詞技術是利用一定的規則和詞庫，切分出一個句子中的詞，為自動索引做好准備。目前的索引多採用Non—clustered方法，該技術和語言文字的學問有很大的關系，具體有如下幾點：
(1)存儲語法庫，和詞彙庫配合分出句子中的詞彙；
(2)存儲詞彙庫，要同時存儲詞彙的使用頻率和常見搭配方式；
(3)詞彙寬，應可劃分為不同的專業庫，以便於處理專業文獻；
(4)對無法分詞的句子，把每個字當作詞來處理。
索引器生成從關鍵詞到URL的關系索引表。索引表一般使用某種形式的倒排表(1nversionUst)，即由索引項查找相應的URL。索引表也要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰關系或接近關系，並以特定的數據結構存儲在硬碟上。
不同的搜索引擎系統可能採用不盡相同的標引方法。例如Webcrawler利用全文檢索技術，對網頁中每一個單詞進行索引；Lycos只對頁名、標題以及最重要的100個注釋詞等選擇性詞語進行索引；Infoseek則提供概念檢索和片語檢索，支持and、or、near、not等布爾運算。檢索引擎的索引方法大致可分為自動索引、手工索引和用戶登錄三類。
3. 檢索器與結果處理技術
檢索器的主要功能是根據用戶輸入的關鍵詞在索引器形成的倒排表中進行檢索，同時完成頁面與檢索之間的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
通過搜索引擎獲得的檢索結果往往成百上千，為了得到有用的信息，常用的方法是按網頁的重要性或相關性給網頁評級，進行相關性排序。這里的相關度是指搜索關鍵字在文檔中出現的額度。當額度越高時，則認為該文檔的相關程度越高。能見度也是常用的衡量標准之一。一個網頁的能見度是指該網頁入口超級鏈接的數目。能見度方法是基於這樣的觀點：一個網頁被其他網頁引用得越多，則該網頁就越有價值。特別地，一個網頁被越重要的網頁所引用，則該網頁的重要程度也就越高。結果處理技術可歸納為：
(1)按頻次排定次序 通常，如果一個頁麵包含了越多的關鍵詞，其搜索目標的相關性應該越好，這是非常合平常理的解決方案。
(2)按頁面被訪問度排序 在這種方法中，搜索引擎會記錄它所搜索到的頁面被訪問的頻率。人們訪問較多的頁面通常應該包含比較多的信息，或者有其他吸引入的長處。這種解決方案適合一般的搜索用戶，而因為大部分的搜索引擎都不是專業性用戶，所以這種方案也比較適合一般搜索引擎使用。
(3)二次檢索 進一步凈化(比flne)結果，按照一定的條件對搜索結果進行優化，可以再選擇類別、相關詞進行二次搜索等。
由於目前的搜索引擎還不具備智能，除非知道要查找的文檔的標題，否則排列第一的結果未必是「最好」的結果。所以有些文檔盡管相關程度高，但並不一定是用戶最需要的文檔。
搜索引擎技術的行業應用：
搜索引擎的行業應用一般指類似於千瓦通信提供的多種搜索引擎行業與產品應用模式，大體上分為如下幾種形式：
1、 政府機關行業應用
n 實時跟蹤、採集與業務工作相關的信息來源。
n 全面滿足內部工作人員對互聯網信息的全局觀測需求。
n 及時解決政務外網、政務內網的信息源問題，實現動態發布。
n 快速解決政府主網站對各地級子網站的信息獲取需求。
n 全面整合信息，實現政府內部跨地區、跨部門的信息資源共享與有效溝通。
n 節約信息採集的人力、物力、時間，提高辦公效率。
2、企業行業應用
n 實時准確地監控、追蹤競爭對手動態，是企業獲取競爭情報的利器。
n 及時獲取競爭對手的公開信息以便研究同行業的發展與市場需求。
n 為企業決策部門和管理層提供便捷、多途徑的企業戰略決策工具。
n 大幅度地提高企業獲取、利用情報的效率，節省情報信息收集、存儲、挖掘的相關費用，是提高企業核心競爭力的關鍵。
n 提高企業整體分析研究能力、市場快速反應能力，建立起以知識管理為核心的競爭情報數據倉庫，是提高企業核心競爭力的神經中樞。
3、新聞媒體行業應用
n 快速准確地自動跟蹤、採集數千家網路媒體信息，擴大新聞線索，提高採集速度。
n 支持每天對數萬條新聞進行有效抓取。監控范圍的深度、廣度可以自行設定。
n 支持對所需內容智能提取、審核。
n 實現互聯網信息內容採集、瀏覽、編輯、管理、發布的一體化。
4、 行業網站應用
n 實時跟蹤、採集與網站相關的信息來源。
n 及時跟蹤行業的信息來源網站，自動，快速更新網站信息。動態更新信息。
n 實現互聯網信息內容採集、瀏覽、編輯、管理、發布的一體化。
n 針對商務網站提出商務管理模式，大大提高行業網站的商務應用需求。
n 針對資訊網站分類目錄生成，提出用戶生成網站分類結構。並可以實時增加與更新分類結構。不受級數限制。從而大大利高行業的應用性。
n 提供搜索引擎SEO優化專業服務，快速提高行業網站的推廣。
n 提供與CCDC呼叫搜索引擎的廣告合作。建立行業網站聯盟，提高行業網站知名度。
5) 網路信息監察與監控
n 網路輿情系統。如「千瓦通信-網路輿情雷達監測系統」
n 網站信息與內容監察與監控系統，如「千瓦通信-網站信息與內容監測與監察系統（站內神探）」
隨著網際網路的迅猛發展、WEB信息的增加，用戶要在信息海洋里查找信息，就象大海撈
針一樣，搜索引擎技術恰好解決了這一難題（它可以為用戶提供信息檢索服務）。目前，
搜索引擎技術正成為計算機工業界和學術界爭相研究、開發的對象。
搜索引擎（Search Engine）是隨著WEB信息的迅速增加，從1995年開始逐漸發展起來
的技術。據發表在《科學》雜志1999年7月的文章《WEB信息的可訪問性》估計，全球目前
的網頁超過8億，有效數據超過9T，並且仍以每4個月翻一番的速度增長。用戶要在如此浩
瀚的信息海洋里尋找信息，必然會"大海撈針"無功而返。搜索引擎正是為了解決這個"迷航
"問題而出現的技術。搜索引擎以一定的策略在互聯網中搜集、發現信息，對信息進行理解
、提取、組織和處理，並為用戶提供檢索服務，從而起到信息導航的目的。搜索引擎提供
的導航服務已經成為互聯網上非常重要的網路服務，搜索引擎站點也被美譽為"網路門戶"
。搜索引擎技術因而成為計算機工業界和學術界爭相研究、開發的對象。本文旨在對搜索
引擎的關鍵技術進行簡單的介紹，以起到拋磚引玉的作用。
分 類
按照信息搜集方法和服務提供方式的不同，搜索引擎系統可以分為三大類：
1．目錄式搜索引擎：以人工方式或半自動方式搜集信息，由編輯員查看信息之後，人
工形成信息摘要，並將信息置於事先確定的分類框架中。信息大多面向網站，提供目錄瀏
覽服務和直接檢索服務。該類搜索引擎因為加入了人的智能，所以信息准確、導航質量高
，缺點是需要人工介入、維護量大、信息量少、信息更新不及時。這類搜索引擎的代表是
：Yahoo、LookSmart、Open Directory、Go Guide等。
2．機器人搜索引擎：由一個稱為蜘蛛（Spider）的機器人程序以某種策略自動地在互
聯網中搜集和發現信息，由索引器為搜集到的信息建立索引，由檢索器根據用戶的查詢輸
入檢索索引庫，並將查詢結果返回給用戶。服務方式是面向網頁的全文檢索服務。該類搜
索引擎的優點是信息量大、更新及時、毋需人工干預，缺點是返回信息過多，有很多無關
信息，用戶必須從結果中進行篩選。這類搜索引擎的代表是：AltaVista、Northern Ligh
t、Excite、Infoseek、Inktomi、FAST、Lycos、Google；國內代表為："天網"、悠遊、O
penFind等。
3．元搜索引擎：這類搜索引擎沒有自己的數據，而是將用戶的查詢請求同時向多個搜
索引擎遞交，將返回的結果進行重復排除、重新排序等處理後，作為自己的結果返回給用
戶。服務方式為面向網頁的全文檢索。這類搜索引擎的優點是返回結果的信息量更大、更
全，缺點是不能夠充分使用所使用搜索引擎的功能，用戶需要做更多的篩選。這類搜索引
擎的代表是WebCrawler、InfoMarket等。
性 能 指 標
我們可以將WEB信息的搜索看作一個信息檢索問題，即在由WEB網頁組成的文檔庫中檢索
出與用戶查詢相關的文檔。所以我們可以用衡量傳統信息檢索系統的性能參數-召回率（R
ecall）和精度（Pricision）衡量一個搜索引擎的性能。
召回率是檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率，衡量的是檢索系
統（搜索引擎）的查全率；精度是檢索出的相關文檔數與檢索出的文檔總數的比率，衡量
的是檢索系統（搜索引擎）的查准率。對於一個檢索系統來講，召回率和精度不可能兩全
其美：召回率高時，精度低，精度高時，召回率低。所以常常用11種召回率下11種精度的
平均值（即11點平均精度）來衡量一個檢索系統的精度。對於搜索引擎系統來講，因為沒
有一個搜索引擎系統能夠搜集到所有的WEB網頁，所以召回率很難計算。目前的搜索引擎系
統都非常關心精度。
影響一個搜索引擎系統的性能有很多因素，最主要的是信息檢索模型，包括文檔和查詢
的表示方法、評價文檔和用戶查詢相關性的匹配策略、查詢結果的排序方法和用戶進行相
關度反饋的機制。
主 要 技 術
一個搜索引擎由搜索器、索引器、檢索器和用戶介面等四個部分組成。
1.搜索器
搜索器的功能是在互聯網中漫遊，發現和搜集信息。它常常是一個計算機程序，日夜
不停地運行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時因為互聯網上的信
息更新很快，所以還要定期更新已經搜集過的舊信息，以避免死連接和無效連接。目前有
兩種搜集信息的策略：
● 從一個起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優先、深
度優先或啟發式方式循環地在互聯網中發現信息。這些起始URL可以是任意的URL，但常常
是一些非常流行、包含很多鏈接的站點（如Yahoo！）。
● 將Web空間按照域名、IP地址或國家域名劃分，每個搜索器負責一個子空間的窮盡
搜索。 搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、
字處理文檔、多媒體信息。 搜索器的實現常常用分布式、並行計算技術，以提高信息
發現和更新的速度。商業搜索引擎的信息發現可以達到每天幾百萬網頁。
2.索引器
索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生
成文檔庫的索引表。
索引項有客觀索引項和內容索引項兩種：客觀項與文檔的語意內容無關，如作者名、
URL、更新時間、編碼、長度、鏈接流行度（Link Popularity）等等；內容索引項是用來
反映文檔內容的，如關鍵詞及其權重、短語、單字等等。內容索引項可以分為單索引項和
多索引項（或稱短語索引項）兩種。單索引項對於英文來講是英語單詞，比較容易提取，
因為單詞之間有天然的分隔符（空格）；對於中文等連續書寫的語言，必須進行詞語的切
分。 在搜索引擎中，一般要給單索引項賦與一個權值，以表示該索引項對文檔的區分
度，同時用來計算查詢結果的相關度。使用的方法一般有統計法、資訊理論法和概率法。短
語索引項的提取方法有統計法、概率法和語言學法。
索引表一般使用某種形式的倒排表（Inversion List），即由索引項查找相應的文檔
。索引表也可能要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰或
接近關系（proximity）。
索引器可以使用集中式索引演算法或分布式索引演算法。當數據量很大時，必須實現即時
索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引演算法對索引器
的性能（如大規模峰值查詢時的響應速度）有很大的影響。一個搜索引擎的有效性在很大
程度上取決於索引的質量。
3.檢索器 檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與
查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
檢索器常用的信息檢索模型有集合理論模型、代數模型、概率模型和混合模型四種。
4.用戶介面
用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。主要的
目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時的信息。
用戶介面的設計和實現使用人機交互的理論和方法，以充分適應人類的思維習慣。
用戶輸入介面可以分為簡單介面和復雜介面兩種。
簡單介面只提供用戶輸入查詢串的文本框；復雜介面可以讓用戶對查詢進行限制，如
邏輯運算（與、或、非；+、-）、相近關系（相鄰、NEAR）、域名范圍（如.e、.com）
、出現位置（如標題、內容）、信息時間、長度等等。目前一些公司和機構正在考慮制定
查詢選項的標准。
未 來 動 向
搜索引擎已成為一個新的研究、開發領域。因為它要用到信息檢索、人工智慧、計算
機網路、分布式處理、資料庫、數據挖掘、數字圖書館、自然語言處理等多領域的理論和
技術，所以具有綜合性和挑戰性。又由於搜索引擎有大量的用戶，有很好的經濟價值，所
以引起了世界各國計算機科學界和信息產業界的高度關注，目前的研究、開發十分活躍，
並出現了很多值得注意的動向。
1.十分注意提高信息查詢結果的精度，提高檢索的有效性 用戶在搜索引擎上進行
信息查詢時，並不十分關注返回結果的多少，而是看結果是否和自己的需求吻合。對於一
個查詢，傳統的搜索引擎動輒返回幾十萬、幾百萬篇文檔，用戶不得不在結果中篩選。解
決查詢結果過多的現象目前出現了幾種方法：一是通過各種方法獲得用戶沒有在查詢語句
中表達出來的真正用途，包括使用智能代理跟蹤用戶檢索行為，分析用戶模型；使用相關
度反饋機制，使用戶告訴搜索引擎哪些文檔和自己的需求相關（及其相關的程度），哪些
不相關，通過多次交互逐步求精。二是用正文分類（Text Categorization）技術將結果分
類，使用可視化技術顯示分類結構，用戶可以只瀏覽自己感興趣的類別。三是進行站點類
聚或內容類聚，減少信息的總量。
2.基於智能代理的信息過濾和個性化服務
信息智能代理是另外一種利用互聯網信息的機制。它使用自動獲得的領域模型（如We
b知識、信息處理、與用戶興趣相關的信息資源、領域組織結構）、用戶模型（如用戶背景
、興趣、行為、風格）知識進行信息搜集、索引、過濾（包括興趣過濾和不良信息過濾）
，並自動地將用戶感興趣的、對用戶有用的信息提交給用戶。智能代理具有不斷學習、適
應信息和用戶興趣動態變化的能力，從而提供個性化的服務。智能代理可以在用戶端進行
，也可以在伺服器端運行。
3.採用分布式體系結構提高系統規模和性能
搜索引擎的實現可以採用集中式體系結構和分布式體系結構，兩種方法各有千秋。但
當系統規模到達一定程度（如網頁數達到億級）時，必然要採用某種分布式方法，以提高
系統性能。搜索引擎的各個組成部分，除了用戶介面之外，都可以進行分布：搜索器可以
在多台機器上相互合作、相互分工進行信息發現，以提高信息發現和更新速度；索引器可
以將索引分布在不同的機器上，以減小索引對機器的要求；檢索器可以在不同的機器上.
② 搜索引擎的分類
搜索方式是搜索引擎的一個關鍵環節，大致可分為四種：全文搜索引擎、元搜索引擎、垂直搜索引擎和目錄搜索引擎，它們各有特點並適用於不同的搜索環境。所以，靈活選用搜索方式是提高搜索引擎性能的重要途徑。
全文搜索引擎是利用爬蟲程序抓取互聯網上所有相關文章予以索引的搜索方式；元搜索引擎是基於多個搜索引擎結果並對之整合處理的二次搜索方式；垂直搜索引擎是對某一特定行業內數據進行快速檢索的一種專業搜索方式；目錄搜索引擎是依賴人工收集處理數據並置於分類目錄鏈接下的搜索方式。
1、全文搜索引擎
一般網路用戶適用於全文搜索引擎。這種搜索方式方便、簡捷，並容易獲得所有相關信息。但搜索到的信息過於龐雜，因此用戶需要逐一瀏覽並甄別出所需信息。尤其在用戶沒有明確檢索意圖情況下，這種搜索方式非常有效。
2、元搜索引擎
元搜索引擎適用於廣泛、准確地收集信息。不同的全文搜索引擎由於其性能和信息反饋能力差異，導致其各有利弊。元搜索引擎的出現恰恰解決了這個問題，有利於各基本搜索引擎間的優勢互補。而且本搜索方式有利於對基本搜索方式進行全局控制，引導全文搜索引擎的持續改善。
3、垂直搜索引擎
垂直搜索引擎適用於有明確搜索意圖情況下進行檢索。例如，用戶購買機票、火車票、汽車票時，或想要瀏覽網路視頻資源時，都可以直接選用行業內專用搜索引擎，以准確、迅速獲得相關信息。
4、目錄搜索引擎
目錄搜索引擎是網站內部常用的檢索方式。本搜索方式指在對網站內信息整合處理並分目錄呈現給用戶，但其缺點在於用戶需預先了解本網站的內容，並熟悉其主要模塊構成。總而觀之，目錄搜索方式的適應范圍非常有限，且需要較高的人工成本來支持維護。
工作方式
搜索引擎為一組項目提供了一個介面，使用戶能夠指定關於感興趣的項目的標准，並讓引擎找到匹配的項目，這些標准稱為搜索查詢。在文本搜索引擎的情況下，搜索查詢通常表示為識別一個或多個文檔可能包含的期望概念的一組單詞。
有多種樣式的搜索查詢語法在嚴格性上有差異。它也可以在以前的站點中搜索搜索引擎中的名稱。而一些文本搜索引擎要求用戶輸入由白色空格分隔的兩個或三個字，其他搜索引擎可以使用戶能夠指定整個文檔，圖片，聲音和各種形式的自然語言。
一些搜索引擎對搜索查詢進行改進，以增加通過稱為查詢擴展的過程提供質量集合的可能性。查詢理解方法可用於標准化查詢語言。
基於索引的搜索引擎符合查詢指定條件的項目列表通常會排序或排名。按相關性排列項目（從最高到最低）減少查找所需信息所需的時間。概率搜索引擎根據相似性度量（每個項目和查詢之間，通常以1到0,1的比例最相似）和有時受歡迎程度或許可權或使用相關性反饋來評估項目。
布爾搜索引擎通常只返回匹配的項目，而不考慮訂單，為了提供根據一些標准快速排序的一組匹配項目，搜索引擎通常將通過稱為索引的過程來收集關於所考慮的一組項目的元數據。
索引通常需要較少量的計算機存儲，這就是為什麼一些搜索引擎僅存儲索引的信息而不是每個項目的完整內容，而是提供導航到搜索引擎結果頁面中的項目的方法。
或者，搜索引擎可以將每個項目的副本存儲在高速緩存中，使得用戶可以在索引時或為了歸檔目的看到該項目的狀態，或者使得重復的進程更有效和更快地工作。其他類型的搜索引擎不存儲索引。
抓取器或蜘蛛型搜索引擎（也稱為實時搜索引擎）可以在搜索查詢時收集和評估項目，基於起始項目的內容（稱為種子或種子URL）動態考慮附加項目互聯網爬蟲的情況）。元搜索引擎既不存儲索引也不存儲緩存，而只是重新使用一個或多個其他搜索引擎的索引或結果來提供聚合的最終結果集。
以上內容參考網路-搜索引擎
③ 搜索引擎原理的目錄索引
與全文搜索引擎相比，目錄索引有許多不同之處。
首先，搜索引擎屬於自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站後，目錄編輯人員會親自瀏覽你的網站，然後根據一套自定的評判標准甚至編輯人員的主觀印象，決定是否接納你的網站。如果審核通過，你網頁才會出現於搜索引擎中，否則不會顯示。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能收錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。
此外，在登錄搜索引擎時，我們一般不用考慮網站的分類問題，而登錄目錄索引時則必須將網站放在一個最合適的目錄。
最後，搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而且還有各種各樣的限制。更有甚者，如果工作人員認為你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人為因素要多一些。如果按分層目錄查找，某一目錄中網站的排名則是由標題字母的先後順序決定（也有例外）。
目前，搜索引擎與目錄索引有相互融合滲透的趨勢。原來一些純粹的全文搜索引擎現在也提供目錄搜索。
④ 1，什麼是搜索引擎搜索引擎有幾種類型
搜索引擎（Search Engine）是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理後，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。
搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。比如網路就是一款比較流行的搜索引擎。
(4)搜索引擎位置索引存儲擴展閱讀：
搜索引擎作用：
（1）爬蟲：從互聯網爬取原始網頁數據，存儲於文檔知識庫伺服器。
（2）文檔知識庫伺服器：存儲原始網頁數據，通常是分布式Key-Value資料庫，能根據URL/UID快速獲取網頁內容。
（3）索引：讀取原始網頁數據，解析網頁，抽取有效欄位，生成索引數據。索引數據的生成方式通常是增量的，分塊/分片的，並會進行索引合並、優化和刪除。生成的索引數據通常包括：字典數據、倒排表、正排表、文檔屬性等。生成的索引存儲於索引伺服器。
（4）索引伺服器：存儲索引數據，主要是倒排表，通常是分塊、分片存儲，並支持增量更新和刪除。數據內容量非常大時，還根據類別、主題、時間、網頁質量劃分數據分區和分布，更好地服務在線查詢。
（5）檢索：讀取倒排表索引，響應前端查詢請求，返回相關文檔列表數據。
⑤ 搜索引擎的工作原理是什麼
搜索引擎的原理，可以看做三步：從互聯網上抓取網頁——→建立索引資料庫——→在索引資料庫中搜索排序。
●從互聯網上抓取網頁
利用能夠從互聯網上自動收集網頁的Spider系統程序，自動訪問互聯網，並沿著任何網頁中的所有URL爬到其它網頁，重復這過程，並把爬過的所有網頁收集回來。
●建立索引資料庫
搜索引擎的「網路機器人」或「網路蜘蛛」是一種網路上的軟體，它遍歷Web空間，能夠掃描一定IP地址范圍內的網站，並沿著網路上的鏈接從一個網頁到另一個網頁，從一個網站到另一個網站採集網頁資料。它為保證採集的資料最新，還會回訪已抓取過的網頁。網路機器人或網路蜘蛛採集的網頁，還要有其它程序進行分析，根據一定的相關度演算法進行大量的計算建立網頁索引，才能添加到索引資料庫中。
●在索引資料庫中搜索排序
真正意義上的搜索引擎，通常指的是收集了網際網路上幾千萬到幾十億個網頁並對網頁中的每一個詞（即關鍵詞）進行索引，建立索引資料庫的全文搜索引擎。當用戶查找某個關鍵詞的時候，所有在頁面內容中包含了該關鍵詞的網頁都將作為搜索結果被搜出來。在經過復雜的演算法進行排序後，這些結果將按照與搜索關鍵詞的相關度高低，依次排列。
⑥ 搜索引擎工作原理
搜索引擎的工作原理總共有四步：
第一步：爬行，搜索引擎是通過一種特定規律的軟體跟蹤網頁的鏈接，從一個鏈接爬到另外一個鏈
接，所以稱為爬行。
第二步：抓取存儲，搜索引擎是通過蜘蛛跟蹤鏈接爬行到網頁，並將爬行的數據存入原始頁面資料庫。
第三步：預處理，搜索引擎將蜘蛛抓取回來的頁面，進行各種步驟的預處理。
第四步：排名，用戶在搜索框輸入關鍵詞後，排名程序調用索引庫數據，計算排名顯示給用戶，排名過程與用戶直接互動的。
不同的搜索引擎查出來的結果是根據引擎內部資料所決定的。比如：某一種搜索引擎沒有這種資料，您就查詢不到結果。
(6)搜索引擎位置索引存儲擴展閱讀：
定義
一個搜索引擎由搜索器、索引器、檢索器和用戶接四個部分組成。搜索器的功能是在互聯網中漫遊，發現和搜集信息。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生成文檔庫的索引表。
檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。
起源
所有搜索引擎的祖先，是1990年由Montreal的McGill University三名學生（Alan Emtage、Peter
Deutsch、Bill Wheelan）發明的Archie（Archie FAQ）。Alan Emtage等想到了開發一個可以用文件名查找文件的系統，於是便有了Archie。
Archie是第一個自動索引互聯網上匿名FTP網站文件的程序，但它還不是真正的搜索引擎。Archie是一個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪一個FTP地址可以下載該文件 。
由於Archie深受歡迎，受其啟發，Nevada System Computing Services大學於1993年開發了一個Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是後來另一個Gopher搜索工具。
參考資料來源：網路-搜索引擎
⑦ 目錄索引搜索引擎怎樣操作
主要技術
一個搜索引擎由搜索器、索引器、檢索器和用戶介面等四個部分組成。
搜索器
搜索器的功能是在互聯網中漫遊，發現和搜集信息。它常常是一個計算機程序，日夜不停地運行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時因為互聯網上的信息更新很快，所以還要定期更新已經搜集過的舊信息，以避免死連接和無效連接。目前有兩種搜集信息的策略：
● 從一個起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優先、深度優先或啟發式方式循環地在互聯網中發現信息。這些起始URL可以是任意的URL，但常常是一些非常流行、包含很多鏈接的站點（如Yahoo！）。
● 將Web空間按照域名、IP地址或國家域名劃分，每個搜索器負責一個子空間的窮盡搜索。
搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、字處理文檔、多媒體信息。
搜索器的實現常常用分布式、並行計算技術，以提高信息發現和更新的速度。商業搜索引擎的信息發現可以達到每天幾百萬網頁。
索引器
索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用於表示文檔以及生成文檔庫的索引表。
索引項有客觀索引項和內容索引項兩種：客觀項與文檔的語意內容無關，如作者名、URL、更新時間、編碼、長度、鏈接
流行度（Link
Popularity）等等；內容索引項是用來反映文檔內容的，如關鍵詞及其權重、短語、單字等等。內容索引項可以分為單索引項和多索引項（或稱短語索引
項）兩種。單索引項對於英文來講是英語單詞，比較容易提取，因為單詞之間有天然的分隔符（空格）；對於中文等連續書寫的語言，必須進行詞語的切分。
在搜索引擎中，一般要給單索引項賦與一個權值，以表示該索引項對文檔的區分度，同時用來計算查詢結果的相關度。使用的方法一般有統計法、資訊理論法和概率法。短語索引項的提取方法有統計法、概率法和語言學法。
索引表一般使用某種形式的倒排表（Inversion List），即由索引項查找相應的文檔。索引表也可能要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰或接近關系（proximity）。
索引器可以使用集中式索引演算法或分布式索引演算法。當數據量很大時，必須實現即時索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引演算法對索引器的性能（如大規模峰值查詢時的響應速度）有很大的影響。一個搜索引擎的有效性在很大程度上取決於索引的質量。
檢索器
檢索器的功能是根據用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用戶相關性反饋機制。
檢索器常用的信息檢索模型有集合理論模型、代數模型、概率模型和混合模型四種。
4.用戶介面
用戶介面的作用是輸入用戶查詢、顯示查詢結果、提供用戶相關性反饋機制。主要的目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時的信息。用戶介面的設計和實現使用人機交互的理論和方法，以充分適應人類的思維習慣。 用戶輸入介面可以分為簡單介面和復雜介面兩種。
簡單介面只提供用戶輸入查詢串的文本框；復雜介面可以讓用戶對查詢進行限制，如邏輯運算（與、或、非；+、-）、相近關系（相鄰、NEAR）、域名范圍（如.e、.com）、出現位置（如標題、內容）、信息時間、長度等等。一些公司和機構正在考慮制定查詢選項的標准。
特點
首先，搜索引擎屬於自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站後，目錄編輯人員會親自瀏覽你的網站，然後根據一套自定的評判標准甚至編輯人員的主觀印象，決定是否接納你的網站。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能登錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。尤其象Yahoo這樣的超級索引，登錄更是困難。
此外，在登錄搜索引擎時，我們一般不用考慮網站的分類問題，而登錄目錄索引時則必須將網站放在一個最合適的目錄（Directory）。
最後，搜索引擎中
各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而且還有各種各樣的
限制。更有甚者，如果工作人員認為你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人為因素要多一些。如果按分層目錄查找，某一目錄中網站的排名則是由標題字母的先後順序決定（也有例外）。
⑧ 常用的搜索引擎都有哪些基本類型
1，垂直搜索
垂直搜索引擎為2006年後逐步興起的一類搜索引擎。不同於通用的網頁搜索引擎，垂直搜索專注於特定的搜索領域和搜索需求（例如：機票搜索、旅遊搜索、生活搜索、小說搜索、視頻搜索、購物搜索等等）。
在其特定的搜索領域有更好的用戶體驗。相比通用搜索動輒數千台檢索伺服器，垂直搜索需要的硬體成本低、用戶需求特定、查詢的方式多樣。
2，集合式搜索
集合式搜索引擎：該搜索引擎類似元搜索引擎，區別在於它並非同時調用多個搜索引擎進行搜索，而是由用戶從提供的若干搜索引擎中選擇，如HotBot在2002年底推出的搜索引擎。
3，門戶搜索
門戶搜索引擎：AOLSearch、MSNSearch等雖然提供搜索服務，但自身既沒有分類目錄也沒有網頁資料庫，其搜索結果完全來自其他搜索引擎。
(8)搜索引擎位置索引存儲擴展閱讀：
搜索引擎作用：
搜索引擎是網站建設中針對「用戶使用網站的便利性」所提供的必要功能，同時也是「研究網站用戶行為的一個有效工具」。高效的站內檢索可以讓用戶快速准確地找到目標信息，從而更有效地促進產品/服務的銷售，
而且通過對網站訪問者搜索行為的深度分析，對於進一步制定更為有效的網路營銷策略具有重要價值。
⒈從網路營銷的環境看，搜索引擎營銷的環境發展為網路營銷的推動起到舉足輕重的作用；
⒉從效果營銷看，很多公司之所以可以應用網路營銷是利用了搜索引擎營銷；
⒊就完整型電子商務概念組成部分來看，網路營銷是其中最重要的組成部分，是向終端客戶傳遞信息的重要環節。
⑨ 搜索引擎技術的索引技術
索引技術是搜索引擎的核心技術之一。搜索引擎要對所收集到的信息進行整理、分類、索引以產生索引庫，而中文搜索引擎的核心是分詞技術。分詞技術是利用一定的規則和詞庫，切分出一個句子中的詞，為自動索引做好准備。索引多採用Non—clustered方法，該技術和語言文字的理解有很大的關系，具體有如下幾點：
(1)存儲語法庫，和詞彙庫配合分出句子中的詞彙；
(2)存儲詞彙庫，要同時存儲詞彙的使用頻率和常見搭配方式；
(3)詞彙寬，應可劃分為不同的專業庫，以便於處理專業文獻；
(4)對無法分詞的句子，把每個字當作詞來處理。
索引器生成從關鍵詞到URL的關系索引表。索引表一般使用某種形式的倒排表(inverted list)，即由索引項查找相應的URL。索引表也要記錄索引項在文檔中出現的位置，以便檢索器計算索引項之間的相鄰關系或接近關系，並以特定的數據結構存儲在硬碟上。
不同的搜索引擎系統可能採用不盡相同的標引方法。例如：Webcrawler利用全文檢索技術，對網頁中每一個單詞進行索引；Lycos只對頁名、標題以及最重要的100個注釋詞等選擇性詞語進行索引；Infoseek則提供概念檢索和片語檢索，支持and、or、near、not等布爾運算。檢索引擎的索引方法大致可分為自動索引、手工索引和用戶登錄三類。
⑩ 搜索引擎基本工作原理的目錄索引
與全文搜索引擎相比，目錄索引有許多不同之處。
首先，搜索引擎屬於自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站後，目錄編輯人員會親自瀏覽你的網站，然後根據一套自定的評判標准甚至編輯人員的主觀印象，決定是否接納你的網站。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能登錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。尤其象Yahoo!這樣的超級索引，登錄更是困難。
此外，在登錄搜索引擎時，我們一般不用考慮網站的分類問題，而登錄目錄索引時則必須將網站放在一個最合適的目錄（Directory）。
最後，搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而且還有各種各樣的限制。更有甚者，如果工作人員認為你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人為因素要多一些。如果按分層目錄查找，某一目錄中網站的排名則是由標題字母的先後順序決定（也有例外）。
目前，搜索引擎與目錄索引有相互融合滲透的趨勢。原來一些純粹的全文搜索引擎現在也提供目錄搜索，如Google就借用Open Directory目錄提供分類查詢。而象 Yahoo! 這些老牌目錄索引則通過與Google等搜索引擎合作擴大搜索范圍（注），在默認搜索模式下，一些目錄類搜索引擎首先返回的是自己目錄中匹配的網站，如國內搜狐、新浪、網易等；而另外一些則默認的是網頁搜索，如Yahoo。
新競爭力通過對搜索引擎營銷的規律深入研究認為：搜索引擎推廣是基於網站內容的推廣——這就是搜索引擎營銷的核心思想。這句話說起來很簡單，如果仔細分析會發現，這句話的確包含了搜索引擎推廣的一般規律。本文作者在「網站推廣策略之內容推廣思想漫談」一文中提出一個觀點：「網站內容不僅是大型ICP網站的生命源泉，對於企業網站網路營銷的效果同樣是至關重要的」。因為網站內容本身也是一種有效的網站推廣手段，只是這種推廣需要藉助於搜索引擎這個信息檢索工具，因此網站內容推廣策略實際上也就是搜索引擎推廣策略的具體應用。