基于DOM的维普文献信息智能提取系统设计与实现

对其进行移植。

b) 管理端：使用PHP 开发，可移植运行大多数平台。

2.2.7. 需求描述

本系统主要实现智能高效的维普文献提取，主要有以下几点： 1) 爬虫根据配置规则、配置周期，循环抓取数据，并收录系统。 2) 爬虫实现多线程执行抓取任务。 3) 管理端实现友好的用户界面，易于使用。

4) 管理端可以方便的控制爬虫线程数量，查看当前状态，任务重试次数。 5) 详细描述见本章2.6节。 2.2.8. 安全性需求

1) 爬虫：所有操作都不涉及删除数据，更新系统关键数据只更新操作时间与状态，不

涉及关键数据。

2) 管理端：所有操作均需要登录，并且密码加密使用SHA1以及动态Salt技术。 3) 所有的SQL操作均使用SQL防注入技术，以保证数据安全。

6

2.3. 用例以及描述 2.3.1. 用户用例

删除任务修改任务查看系统状态<<包含>><<包含>><<包含>>删除记录<<包含>>查看任务返回记录<<包含>>导出记录任务管理<<包含>>添加任务<<扩展>>配置管理<<包含>>增加配置<<包含>>修改配置<<包含>>用户爬虫设置<<包含>>删除配置管理正则配置<<包含>>查看日志修改正则配置 图 2-1用户用例图

用例描述 用例名称 简要说明 参与者 前置事件 用户用例 Web管理端用户所有功能 用户 成功登录系统 ? 基本流 1. 查看系统状态：进入系统首页之后可以通过系统状态导航查看当前系事件流 统状态。 2. 任务管理：通过任务管理导航进入任务管理，可对任务进行增删改查。 3. 配置管理：通过配置管理可对抓取规则进行管理，包含增删改查。 7

4. 爬虫设置：通过爬虫设置可设置爬虫配置信息。 5. 查看日志：通过日志可查看用户操作以及爬虫运行日志。 ? 备选流 无 ? 成功 1. 成功提示，刷新页面 后置事件 ? 失败 1. 失败提示并给与错误反馈 扩展点 特殊需求 问题说明 其他说明 2d：添加任务时，没有配置会提示添加配置 无 无 用例使用频率：高 2.3.2. 用户添加任务用例

添加日志<<扩展>><<扩展>>添加任务<<扩展>>添加配置用户

图 2-2用户添加任务用例

用例描述 用例名称 简要说明 参与者 前置事件 用户添加任务用例 用户完成一次添加任务 用户 成功登录系统 8

? 基本流 1. 点击任务管理：导航栏任务管理。 2. 点击添加：点击任务列表上端添加按钮。 事件流 3. 填写任务信息：按照要求填写任务信息。包含关键字提交网址，关键字标识，翻页标识，翻页大小等。 4. 点击保存 ? 备选流 无 ? 成功 1. 成功提示，刷新页面 后置事件 ? 失败 1. 失败提示并给与错误反馈 扩展点 特殊需求 1b：添加配置成功写入日志 问题说明 其他说明 无 用例使用频率：高 1a：添加任务时，没有配置会提示添加配置 1a：添加任务成功，消息写入日志 2.3.3. 用户添加配置用例

添加配置<<扩展>>添加日志用户

图 2-3用户添加配置用例

用例描述 用例名称 简要说明 参与者 用户添加配置用例 用户完成一次添加配置 用户 9