互联网的发展明显地促进了信息检索技术的发展和应用，一大批搜索引擎产品诞生，为网络用户提供了很好的快速信息获取和网络信息导航工具，搜索引擎技术目前普遍采用了全文信息检索技术。

对每个使用网络搜索引擎的用户而言，信息太多，我们搜索的范围太广，准确性和排序就显得特别重要。著名的Google等搜索引擎主要采用网页链接分析技术，其核心就是根据互联网上网页被连接访问的次数作为重要评判的依据，同时，搜索引擎的索引生成和检索服务是分开的，进行周期性更新和同步数据。现在互联网搜索引擎都基于文件系统，搜索引擎受数据和客户规模的限制，相关反馈、知识检索、知识挖掘等计算密集的智能技术很难应用。

在浩如烟海的信息世界寻找和检索重要信息是互联网用户期望的，信息越丰富，伴随的问题是用户越来越难以获得其最需要的信息。早期为了解决此问题，尽可能地帮助用户实现自动检索。网络搜索引擎主要由网络机器人（Robot）、索引数据库和查询服务三个部分组成。

其中，网络机器人主要负责对互联网丰富的资源进行遍历，尽可能多地发现并采集新的信息，构建完整的信息资源库；索引数据库采用全文检索技术对采集到的信息建立索引并存到索引数据库中，以便极大地提高信息检索的速度；查询服务模块以交互方式负责接收并分析用户的查询要求，通过一定的匹配策略，将达到一定的匹配程度的结果（包括标题项，简单文摘和链接地址）集合返回给用户。

由于人工智能研究还未达到实用化水平，目前网络机器人还无法实现信息的准确分类，使得检索的结果不尽如人意。Google搜索在搜索关键字时可以看到的匹配效果，是以单词进行的匹配检索。以匹配的规则进行检索，搜索结果的确不尽如人意。为了实现个性化的主动信息服务，网络信息挖掘技术成为近年来的一个新的研究课题，它是数据挖掘技术在网络信息处理中的应用。