A. 什么是搜索引擎举例说明！
所谓搜索引擎，就是Internet网上用来查找文件、档案的一个智能化的机器人。我们现在所说的搜索引擎都是基于WWW的，也就是基于网页的检索。现在，根据这种智能化机器人的工作方式，很多人又把它称作爬行蜘蛛，或机械手。
但是，这些其实并不是互联网上最早的信息检索服务器。在整个Internet有一些称为文件、档案服务器的计算机，这种服务器是Internet上，用来查找其标题，满足特定条件的所有文档的自动搜索服务的工具。
为了从匿名FTP服务器上下载一个文件，必须知道这个文件的所在地，即必须知道这个匿名FTP服务器的地址，及文件所在的目录名。所以，这种信息检索服务器，就是帮助用户在遍及全世界的无数个FTP服务器中，寻找文件的工具。它另外还被称作文档查询服务器。用户只要给出所要查找文件的全名或部分名字，文档查询服务器就会帮用户查出，在哪些FTP服务器上存放着这样的文件。
使用信息检索服务器，进行查询要查找的文件名或部分文件名，必须知道某个或几个信息检索服务器的地址。才能帮助你找到你需要的文件，或目录的匿名FTP主机的名字。也就是说，当你想要检索一个你需要了解的文件或目录时，你要做的事情是告诉信息检索服务器。你要检索什么，信息检索服务器将按照你提供的要求进行检索，然后显示每一个包含有那份文件或目录的匿名FTP主机的名字。信息检索服务器最后会把检索者检索的文件详细的告诉你目录路径。这样，你就可以轻易地从相应的FTP主机中，取得你所需要的FTP文件。
信息检索服务器经历了长达20年左右的发展，逐步改进，完善。名称也逐步被统称为爬行蜘蛛，机械手，搜索引擎。
搜索引擎的分类
从搜索引擎的工作原理上来区分，搜索引擎有三种基本类型；
第一类是纯技术型的全文检索搜索引擎，如google yahoo等，其原理是通过机器手(即Spider程序)到各个网站收集，存储信息，并建立索引数据库供用户查询。
第二类称为分类目录搜索引擎，这种搜索引擎并不采集网站的任何信息，而是利用各网站向搜索引擎提交网站信息时，填写的关键词和网站描述等资料，经过人工审核编辑后，如果符合网站登录的条件，则输入数据库以供查询。
第三类称为元搜索引擎 ，元搜索引擎（MetaSearch）的特点是在接受用户查询请求时，同时在其他多个引擎上进行搜索，把多个独立搜索引擎的搜索结果整合、控制、优化，再把搜索结果输出到客户端。元搜索引擎不需要庞大的网页数据库，而能够搜索到更加丰富、准确的内容。利用其它独立搜索引擎整合、控制、优化搜索结果的技术称为“元搜索技术（Meta-Searching Technique）”，是元搜索引擎的核心技术。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，有的则按自定的规则将结果重新排列组合。
参考 网络，谷歌，雅虎，搜搜，搜狗，有道，必应
B. 搜索引擎的分类及其工作原理
搜索引擎的分类：
1、全文索引
搜索引擎分类部分提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间，搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。
2、目录索引
目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。
3、元搜索
元搜索引擎接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。着名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合。
搜索引擎的工作原理：
第一步：爬行
搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。
第二步：抓取存储
搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。
第三步：预处理
搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。
第四步：排名
用户在搜索框输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程与用户直接互动的。但是，由于搜索引擎的数据量庞大，虽然能达到每日都有小的更新，但是一般情况搜索引擎的排名规则都是根据日、周、月阶段性不同幅度的更新。
(2)引擎采集和存储信息扩展阅读：
十大搜索引擎：
1、网络
网络是全球最大的中文搜索引擎、最大的中文网站。2000年1月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“网络”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千网络”，象征着网络对中文信息检索技术的执着追求。
2、谷歌
Google（中文名：谷歌），是一家美国的跨国科技企业，致力于互联网搜索、云计算、广告技术等领域，开发并提供大量基于互联网的产品与服务，其主要利润来自于AdWords等广告服务。Google由当时在斯坦福大学攻读理工博士的拉里·佩奇和谢尔盖·布卢姆共同创建，因此两人也被称为“Google Guys”。
3、雅虎
雅虎是美国着名的互联网门户网站，也是20世纪末互联网奇迹的创造者之一。其服务包括搜索引擎、电邮、新闻等，业务遍及24个国家和地区，为全球超过5亿的独立用户提供多元化的网络服务。同时也是一家全球性的因特网通讯、商贸及媒体公司。
4、搜狗
搜狗是搜狐公司的旗下子公司，于2004年8月3日推出，目的是增强搜狐网的搜索技能，主要经营搜狐公司的搜索业务。在搜索业务的同时，也推出搜狗输入法、搜狗高速浏览器。
5、爱问
作为首个中文智慧型互动搜索引擎，“爱问”突破了由GOOGLE、网络为代表的算法致胜的搜索模式。 新浪“爱问”在保留了传统算法技术在常规网页搜索的强大功能外，以一个独有的互动问答平台弥补了传统算法技术在搜索界面上智慧性和互动性的先天不足。
6、搜搜
搜搜是腾讯旗下的搜索网站，是腾讯主要的业务单元之一。网站于2006年3月正式发布并开始运营。搜搜目前已成为中国网民首选的三大搜索引擎之一，主要为网民提供实用便捷的搜索服务，同时承担腾讯全部搜索业务，是腾讯整体在线生活战略中重要的组成部分之一。
7、有道
有道是网易旗下利用大数据技术提供移动互联网应用的子公司。网易有道公司已推出有道词典、有道云笔记、惠惠网、有道推广等一系列产品。
8、中搜
中搜是中国国内领先的第三代搜索引擎服务及技术应用提供商。依托第三代搜索引擎和个性化微件，实现了人类知识和搜索技术的融合，通过两大WEB站点、移动APP、云服务平台等载体为网民及企业提供全新的第三代搜索引擎体验。
9、360搜索
360综合搜索，属于元搜索引擎，是搜索引擎的一种，是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的（甚至是同时利用若干个）搜索引擎来实现检索操作，是对分布于网络的多种检索工具的全局控制机制。
10、天网
天网搜索的前身是北大天网。北大天网由北京大学网络实验室研究开发，是国家重点科技攻关项目“中文编码和分布式中英文信息发现”的研究成果。北大天网于1997年10月29日正式在 CERNET上向广大互联网用户提供Web信息搜索及导航服务，是国内第一个基于网页索引搜索的搜索引擎。
参考资料来源：网络——搜索引擎
C. 目录类搜索引擎采集和存储信息一般采用的方式是什么 电老师给我们的作业
人工方式
D. 数据采集引擎真的能够采集获取实时的数据吗
可以，用101 异构数据采集引擎可以采集实时的数据，也可以采集历史数据，关键在于，它不需要软件厂商配合做接口，节约了接口的费用，和协调的人工还有时间成本等，非常划算。
E. 网络搜索引擎的搜集方法
一旦蜘蛛程序完成了网页信息收集工作（我们应当注意，这是一项永远不可能真正完成的工作——网页不断更新的特性意味着蜘蛛程序需要不断爬网），搜索引擎就必须以一种有效方式存储这些信息。要让收集到的数据可供用户使用，涉及两个关键环节： 在最简单的情况下，搜索引擎只需存储词语和词语所在地址。实际上，这样做会限制搜索引擎的用途，因为这种方式无法区别词语在网页中是被重点使用，还是略一提及，也无法区别词语是使用一次还是多次，或该网页上是否含有其它包括该关键字的网页的链接。换句话说，这样做将无法建立排名表，无法把最有用的网页放在查询结果列表的顶端。
为了获得更多有用信息，大多数搜索引擎存储的信息不仅仅是词语和网址，还可能存储着该字在网页中出现的次数。搜索引擎可能会为每个词条指定一个权重，按照词语出现在文档开头、网页副标题、链接、元标记或标题的顺序，权重依次增大。各商业搜索引擎指定索引中词语权重的公式有所不同。这从一个侧面解释了为什么使用不同搜索引擎来搜索相同关键字，却会产生不同的搜索结果列表，网页排列顺序也有所不同。 如果忽略搜索引擎存储的额外信息的准确组合，将这些数据进行编码可以节省存储空间。比如，最初的Google论文描述了使用两个字节（每个字节8比特）来存储权重信息——单词是不是大写、字号大小、位置以及其他用来为数据确定级别的信息。每个因素大概占据两字节中的两三个比特（8比特=1字节）。因此，大量信息便能以一种压缩率极高的方式存储下来。信息被压缩之后，就可以建立索引了。
F. 全文搜索引擎一般采用什么原理来采集信息
全文搜索引擎的工作原理包括如下三个过程：
首先在互联中发现、搜集网页信息；即我们通常说的收录
同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，
通过搜索查询结果返回给用户。
G. 谁能介绍下几种搜索引擎，写出它们的特点
搜索引擎有两种基本类型：一类是纯技术型的全文检索搜索引擎，如google、AltaVista、Inktomi等，其原理是通过机器手（即Spider程序）到各个网站收集、存储信息，并建立索引数据库供用户查询。需要说明的是，这些信息并不是搜索引擎即时从互联网上检索得到的，通常所说的搜索引擎，其实是一个收集了大量网站/网页资料并按照一定规则建立索引的在线数据库，如2004年3月底google收录的网页数量已经超过42亿个，这样，当用户检索时才可以在很短的时间内反馈大量的结果。
另一类称为分类目录，这种“搜索引擎”并不采集网站的任何信息，而是利用各网站向“搜索引擎”提交网站信息时填写的关键词和网站描述等资料，经过人工审核编辑后，如果符合网站登录的条件，则输入数据库以供查询。yahoo是分类目录的典型代表，国内的搜狐、新浪等搜索引擎也是从分类目录发展起来的。分类目录的好处是，用户可以根据目录有针对性地逐级查询自己需要的信息，而不是像技术性搜索引擎一样同时反馈大量的信息，而这些信息之间的关联性并不一定符合用户的期望。
H. 目前的搜索引擎是主要是通过什么来开采集网页数据的
搜索引擎采集数据的程序被称为“爬虫”或“蜘蛛”，爬虫根据别的网页上面的链接搜索到你网站的地址，然后以该地址为入口对你网站上的页面数据进行采集。一个网页要想被爬虫采集必须依赖于两个条件：1、该网页要提供一个对外开放的链接；2、该网页在robot规则中没有被禁止。这样做的目的是让网站能够保护自己的敏感内容不被泄漏。但是可能有搜索引擎不遵守这个规则，比如360搜索，它可以他通过你安装的360浏览器得到一个并没有对外开放的链接地址，然后也会无视该网站的robot规则，这样会导致网站的敏感信息被外泄。
I. 搜索引擎是如何搜索到信息
随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找自己所需的信息，就象大海捞针一样，搜索引擎技术恰好解决了这一难题（它可以为用户提供信息检索服务）。搜索引擎是指互联网上专门提供检索服务的一类网站，这些站点的服务器通过网络搜索软件(例如网络搜索机器人)或网络登录等方式，将Intemet上大量网站的页面信息收集到本地，经过加工处理建立信息数据库和索引数据库，从而对用户提出的各种检索作出响应，提供用户所需的信息或相关指针。用户的检索途径主要包括自由词全文检索、关键词检索、分类检索及其他特殊信息的检索(如企业、人名、电话黄页等)。下面以网络搜索机器人为例来说明搜索引擎技术。
1．网络机器人技术
网络机器人(Robot)又被称作Spider、Worm或Random，核心目的是为获取Intemet上的信息。一般定义为“一个在网络上检索文件且自动跟踪该文件的超文本结构并循环检索被参照的所有文件的软件”。机器人利用主页中的超文本链接遍历WWW，通过U趾引用从一个HT2LIL文档爬行到另一个HTML文档。网上机器人收集到的信息可有多种用途，如建立索引、HIML文件合法性的验证、uRL链接点验证与确认、监控与获取更新信息、站点镜像等。
机器人安在网上爬行，因此需要建立一个URL列表来记录访问的轨迹。它使用超文本，指向其他文档的URL是隐藏在文档中，需要从中分析提取URL，机器人一般都用于生成索引数据库。所有WWW的搜索程序都有如下的工作步骤：
(1)机器人从起始URL列表中取出URL并从网上读取其指向的内容；
(2)从每一个文档中提取某些信息(如关键字)并放入索引数据库中；
(3)从文档中提取指向其他文档的URL，并加入到URL列表中；
(4)重复上述3个步骤，直到再没有新的URL出现或超出了某些限制(时间或磁盘空间)；
(5)给索引数据库加上检索接口，向网上用户发布或提供给用户检索。
搜索算法一般有深度优先和广度优先两种基本的搜索策略。机器人以URL列表存取的方式决定搜索策略：先进先出，则形成广度优先搜索，当起始列表包含有大量的WWW服务器地址时，广度优先搜索将产生一个很好的初始结果，但很难深入到服务器中去；先进后出，则形成深度优先搜索，这样能产生较好的文档分布，更容易发现文档的结构，即找到最大数目的交叉引用。也可以采用遍历搜索的方法，就是直接将32位的IP地址变化，逐个搜索整个Intemet。
搜索引擎是一个技术含量很高的网络应用系统。它包括网络技术、数据库技术动标引技术、检索技术、自动分类技术，机器学习等人工智能技术。
2．索引技术
索引技术是搜索引擎的核心技术之一。搜索引擎要对所收集到的信息进行整理、分类、索引以产生索引库，而中文搜索引擎的核心是分词技术。分词技术是利用一定的规则和词库，切分出一个句子中的词，为自动索引做好准备。目前的索引多采用Non—clustered方法，该技术和语言文字的学问有很大的关系，具体有如下几点：
(1)存储语法库，和词汇库配合分出句子中的词汇；
(2)存储词汇库，要同时存储词汇的使用频率和常见搭配方式；
(3)词汇宽，应可划分为不同的专业库，以便于处理专业文献；
(4)对无法分词的句子，把每个字当作词来处理。
索引器生成从关键词到URL的关系索引表。索引表一般使用某种形式的倒排表(1nversionUst)，即由索引项查找相应的URL。索引表也要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻关系或接近关系，并以特定的数据结构存储在硬盘上。
不同的搜索引擎系统可能采用不尽相同的标引方法。例如Webcrawler利用全文检索技术，对网页中每一个单词进行索引；Lycos只对页名、标题以及最重要的100个注释词等选择性词语进行索引；Infoseek则提供概念检索和词组检索，支持and、or、near、not等布尔运算。检索引擎的索引方法大致可分为自动索引、手工索引和用户登录三类。
3. 检索器与结果处理技术
检索器的主要功能是根据用户输入的关键词在索引器形成的倒排表中进行检索，同时完成页面与检索之间的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。
通过搜索引擎获得的检索结果往往成百上千，为了得到有用的信息，常用的方法是按网页的重要性或相关性给网页评级，进行相关性排序。这里的相关度是指搜索关键字在文档中出现的额度。当额度越高时，则认为该文档的相关程度越高。能见度也是常用的衡量标准之一。一个网页的能见度是指该网页入口超级链接的数目。能见度方法是基于这样的观点：一个网页被其他网页引用得越多，则该网页就越有价值。特别地，一个网页被越重要的网页所引用，则该网页的重要程度也就越高。结果处理技术可归纳为：
(1)按频次排定次序 通常，如果一个页面包含了越多的关键词，其搜索目标的相关性应该越好，这是非常合平常理的解决方案。
(2)按页面被访问度排序 在这种方法中，搜索引擎会记录它所搜索到的页面被访问的频率。人们访问较多的页面通常应该包含比较多的信息，或者有其他吸引入的长处。这种解决方案适合一般的搜索用户，而因为大部分的搜索引擎都不是专业性用户，所以这种方案也比较适合一般搜索引擎使用。
(3)二次检索 进一步净化(比flne)结果，按照一定的条件对搜索结果进行优化，可以再选择类别、相关词进行二次搜索等。
由于目前的搜索引擎还不具备智能，除非知道要查找的文档的标题，否则排列第一的结果未必是“最好”的结果。所以有些文档尽管相关程度高，但并不一定是用户最需要的文档。
搜索引擎技术的行业应用：
搜索引擎的行业应用一般指类似于千瓦通信提供的多种搜索引擎行业与产品应用模式，大体上分为如下几种形式：
1、 政府机关行业应用
n 实时跟踪、采集与业务工作相关的信息来源。
n 全面满足内部工作人员对互联网信息的全局观测需求。
n 及时解决政务外网、政务内网的信息源问题，实现动态发布。
n 快速解决政府主网站对各地级子网站的信息获取需求。
n 全面整合信息，实现政府内部跨地区、跨部门的信息资源共享与有效沟通。
n 节约信息采集的人力、物力、时间，提高办公效率。
2、企业行业应用
n 实时准确地监控、追踪竞争对手动态，是企业获取竞争情报的利器。
n 及时获取竞争对手的公开信息以便研究同行业的发展与市场需求。
n 为企业决策部门和管理层提供便捷、多途径的企业战略决策工具。
n 大幅度地提高企业获取、利用情报的效率，节省情报信息收集、存储、挖掘的相关费用，是提高企业核心竞争力的关键。
n 提高企业整体分析研究能力、市场快速反应能力，建立起以知识管理为核心的竞争情报数据仓库，是提高企业核心竞争力的神经中枢。
3、新闻媒体行业应用
n 快速准确地自动跟踪、采集数千家网络媒体信息，扩大新闻线索，提高采集速度。
n 支持每天对数万条新闻进行有效抓取。监控范围的深度、广度可以自行设定。
n 支持对所需内容智能提取、审核。
n 实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。
4、 行业网站应用
n 实时跟踪、采集与网站相关的信息来源。
n 及时跟踪行业的信息来源网站，自动，快速更新网站信息。动态更新信息。
n 实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。
n 针对商务网站提出商务管理模式，大大提高行业网站的商务应用需求。
n 针对资讯网站分类目录生成，提出用户生成网站分类结构。并可以实时增加与更新分类结构。不受级数限制。从而大大利高行业的应用性。
n 提供搜索引擎SEO优化专业服务，快速提高行业网站的推广。
n 提供与CCDC呼叫搜索引擎的广告合作。建立行业网站联盟，提高行业网站知名度。
5) 网络信息监察与监控
n 网络舆情系统。如“千瓦通信-网络舆情雷达监测系统”
n 网站信息与内容监察与监控系统，如“千瓦通信-网站信息与内容监测与监察系统（站内神探）”
随着因特网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就象大海捞
针一样，搜索引擎技术恰好解决了这一难题（它可以为用户提供信息检索服务）。目前，
搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。
搜索引擎（Search Engine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来
的技术。据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前
的网页超过8亿，有效数据超过9T，并且仍以每4个月翻一番的速度增长。用户要在如此浩
瀚的信息海洋里寻找信息，必然会"大海捞针"无功而返。搜索引擎正是为了解决这个"迷航
"问题而出现的技术。搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解
、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。搜索引擎提供
的导航服务已经成为互联网上非常重要的网络服务，搜索引擎站点也被美誉为"网络门户"
。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。本文旨在对搜索
引擎的关键技术进行简单的介绍，以起到抛砖引玉的作用。
分 类
按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类：
1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人
工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏
览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高
，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是
：Yahoo、LookSmart、Open Directory、Go Guide等。
2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互
联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输
入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜
索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关
信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、Northern Ligh
t、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为："天网"、悠游、O
penFind等。
3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜
索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用
户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更
全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。这类搜索引
擎的代表是WebCrawler、InfoMarket等。
性 能 指 标
我们可以将WEB信息的搜索看作一个信息检索问题，即在由WEB网页组成的文档库中检索
出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率（R
ecall）和精度（Pricision）衡量一个搜索引擎的性能。
召回率是检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系
统（搜索引擎）的查全率；精度是检索出的相关文档数与检索出的文档总数的比率，衡量
的是检索系统（搜索引擎）的查准率。对于一个检索系统来讲，召回率和精度不可能两全
其美：召回率高时，精度低，精度高时，召回率低。所以常常用11种召回率下11种精度的
平均值（即11点平均精度）来衡量一个检索系统的精度。对于搜索引擎系统来讲，因为没
有一个搜索引擎系统能够搜集到所有的WEB网页，所以召回率很难计算。目前的搜索引擎系
统都非常关心精度。
影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询
的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相
关度反馈的机制。
主 要 技 术
一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。
1.搜索器
搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜
不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信
息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有
两种搜集信息的策略：
● 从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深
度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常
是一些非常流行、包含很多链接的站点（如Yahoo！）。
● 将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽
搜索。 搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、
字处理文档、多媒体信息。 搜索器的实现常常用分布式、并行计算技术，以提高信息
发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。
2.索引器
索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生
成文档库的索引表。
索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、
URL、更新时间、编码、长度、链接流行度（Link Popularity）等等；内容索引项是用来
反映文档内容的，如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和
多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，
因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切
分。 在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分
度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短
语索引项的提取方法有统计法、概率法和语言学法。
索引表一般使用某种形式的倒排表（Inversion List），即由索引项查找相应的文档
。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或
接近关系（proximity）。
索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时
索引（Instant Indexing），否则不能够跟上信息量急剧增加的速度。索引算法对索引器
的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大
程度上取决于索引的质量。
3.检索器 检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与
查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。
检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。
4.用户接口
用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的
目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。
用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。
用户输入接口可以分为简单接口和复杂接口两种。
简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如
逻辑运算（与、或、非；+、-）、相近关系（相邻、NEAR）、域名范围（如.e、.com）
、出现位置（如标题、内容）、信息时间、长度等等。目前一些公司和机构正在考虑制定
查询选项的标准。
未 来 动 向
搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智能、计算
机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和
技术，所以具有综合性和挑战性。又由于搜索引擎有大量的用户，有很好的经济价值，所
以引起了世界各国计算机科学界和信息产业界的高度关注，目前的研究、开发十分活跃，
并出现了很多值得注意的动向。
1.十分注意提高信息查询结果的精度，提高检索的有效性 用户在搜索引擎上进行
信息查询时，并不十分关注返回结果的多少，而是看结果是否和自己的需求吻合。对于一
个查询，传统的搜索引擎动辄返回几十万、几百万篇文档，用户不得不在结果中筛选。解
决查询结果过多的现象目前出现了几种方法：一是通过各种方法获得用户没有在查询语句
中表达出来的真正用途，包括使用智能代理跟踪用户检索行为，分析用户模型；使用相关
度反馈机制，使用户告诉搜索引擎哪些文档和自己的需求相关（及其相关的程度），哪些
不相关，通过多次交互逐步求精。二是用正文分类（Text Categorization）技术将结果分
类，使用可视化技术显示分类结构，用户可以只浏览自己感兴趣的类别。三是进行站点类
聚或内容类聚，减少信息的总量。
2.基于智能代理的信息过滤和个性化服务
信息智能代理是另外一种利用互联网信息的机制。它使用自动获得的领域模型（如We
b知识、信息处理、与用户兴趣相关的信息资源、领域组织结构）、用户模型（如用户背景
、兴趣、行为、风格）知识进行信息搜集、索引、过滤（包括兴趣过滤和不良信息过滤）
，并自动地将用户感兴趣的、对用户有用的信息提交给用户。智能代理具有不断学习、适
应信息和用户兴趣动态变化的能力，从而提供个性化的服务。智能代理可以在用户端进行
，也可以在服务器端运行。
3.采用分布式体系结构提高系统规模和性能
搜索引擎的实现可以采用集中式体系结构和分布式体系结构，两种方法各有千秋。但
当系统规模到达一定程度（如网页数达到亿级）时，必然要采用某种分布式方法，以提高
系统性能。搜索引擎的各个组成部分，除了用户接口之外，都可以进行分布：搜索器可以
在多台机器上相互合作、相互分工进行信息发现，以提高信息发现和更新速度；索引器可
以将索引分布在不同的机器上，以减小索引对机器的要求；检索器可以在不同的机器上.
J. 电脑问题
4.D
7.北京时间2005年10月12日 09:00:00 起飞