基于DOM的维普文献信息智能提取系统设计与实现

2 AddTime int 11 否 添加时间 3 Type Contents varchar 255 否 类型 4 varchar 255 否 日志内容 表3-6 status(全局状态表)

序列名 号 型 度 识 键 键 空 值 auto_increme1 Id int 11 是 是 否 nt 状态键 备注 数据类长标主外允许默认说明 2 3 Key int 11 255 否 是 Note varchar 表3-7 sys_config(系统配置表)

序列名 号 数据类长型 度 标识 主键 外键 允许默认说明 空 值 auto_increment 配置标识键 对应值 更新时间 1 Id int 11 是 是 否 2 3 4 Key Value UpdateTivarchar int int 255 11 11 否 否 否 26

me 5 6 Status Note int varchar 11 否 是 1 状态 备注 255 表3-8 sys_status(系统状态表)

序列名 号 数据类长型 度 标识 主键 外允许默认说明 值 auto_increme键 空 1 Id int 11 是 是 否 nt 状态标识键 对应值 备注 状态 2 3 4 5 Key Value Note Status varchar varchar varchar int 255 255 255 11 否 否 否 否 1 表3-9 user(用户表)

序列名 号 数据类长型 度 标识 主键 外键 允许默认说明 空 值 auto_increment 用户名 密码 Salt 1 Id int 11 是 是 否 2 3 4 Name PWD KeySalt varchar varchar varchar 255 255 255 否 否 否 27

5 AddTime LastTime int 11 否 0 添加时间 最后登录时int 11 否 0 间 int 11 否 1 状态 6 7 Status 表3-10 weipu_result(默认记录收录表)

序列名 号 数据类长标识 型 度 主键 外键 允许默认说明 空 值 auto_increm1 Id bigint 11 是 是 否 ent Url 标题 作者 来源 2 3 4 5 Url Title text text 否 否 否 否 Author text Journal text Abstrac6 t SYS_Adtext 否 摘要 7 dTime TaskId int 11 否 0 收录时间 8 int 11 否 任务Id 4. 系统实现

本章主要阐述本系统实际开发模块以及功能；描述功能具体效果，爬虫效率等。以下将通过图文对系统实际达到的效果进行描述。

28

4.1. 管理端实现 4.1.1. 系统状态模块

主要包含了系统状态，任务状态，以及爬虫执行任务的状态，通过此模块可以很直观的了解当前整个系统运行的状态，以便用户对系统进行调整。

图 4-1 web效果图

4.1.2. 任务管理模块

此模块包含了任务列表，通过列表可以了解任务是否按预期执行；在次模块中可对任务进行增、删、改、查看任务返回记录。

图 4-2 web任务管理效果图

29