[硕士论文] 垂直搜索引擎的设计与实现(24)

[硕士论文] 垂直搜索引擎的设计与实现

西北工业大学硕士学位论文第三章Ｗｅｂ搜集器

第三章Ｗｅｂ搜集器

Ｗｅｂ搜集器的功能是在互联网中漫游、发现和搜集信息。它常常是一个计算

机程序（也称为ｓｐｉｄｅｒ，ｃｒａｗｌｅｒ和ｒｏｂｏｔ等），日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上信息更新很快，所以还要定期访问已经搜集过的旧信息，以避免死链接和无效链接．

本文设计的Ｗｅｂ搜集器能够根据某一类信息需求，从互联网上的各个信息阿

站（主要是独立制作发布信息的网站），收集围绕着某个（或某类）主题的相关信息资料。

３．１Ｗｅｂ搜集器算法

Ｗｅｂ搜集器算法包括四个重要的队列：ｕｒｌ＿ｑｕｅｕｅ包括网络蜘蛛（Ｃｒａｗｌｅｒ）访

问过的与主题无关的ＵＲＬ；相应的Ｔｏｐｉｃ＿ｕｒｌｑｕｅｕｅ包含网络蜘蛛搜集到的与主题相关的ＵＲＬ，这些ＵＲＬ对应的页面需要扩展；一旦一个网页被访问过，该网页与它对应的ＵＲＬ一同存储在ｃｒａｗｌｅｄ＿ｐａｇｅｓ中；Ｌｉｎｋｓ包含着ＵＲＬ对（ｕＩ，Ｕ２），Ｕ。是父网页的ＵＲＬ，ｕ２是子网页的ＵＲＬ。其中ｕｒｌ＿ｑｕｅｕｅ和Ｔｏｐｉｃ＿ｕｒｌ＿ｑｕｅｕｅ队列中的ＵＲＬ的权值的捧序通过函数ｒｅｏｒｄｅｒ＿ｑｕｅｕｅ０来实现。其算法如下：

输入：ｓｔａｒｔｉｎｇ＿ｕｒｌ（种子ＵＲＬ）

执行过程：

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新教学研究[硕士论文] 垂直搜索引擎的设计与实现(24)全文阅读和word下载服务。