一般数据库(约100MB)的100 倍,大型 数据仓库是1TB(1000GB)级数据量。 (6) 数据仓库软硬件要求较高 需要一个巨大的硬件平台和一个并行的数据库系统。
19、ETL 过程的主要步骤可以概括为哪几方面?
答:过程:决定数据仓库中需要的所有的目标数据;决定所有的数据源,报考内部和外部的数据源;准备从元数据到目标数据的数据映射关系;建立全面的数据抽取规则;决定数据转换和清洗规则;为综合表制定计划;组织数据缓冲区域和检测工具;为所有的数据装载编写规程;维度表的抽取、转换和装载;事实表的抽取、转换和装载。
20、数据挖掘和在线分析处理的联系和区别是什么?同OLTP和OLAP 21、什么是Apriori 算法?
Apriori 算法的中心思想是首先通过对事务数据库进行扫描,找出支持度不小于最小支持度的所有项目,即频繁1-项集。然后循环执行以下三步: (1) 对频繁K-项集中的项进行连接,前提条件是前K-1 项必须相同。 (2) 进行减枝,利用Apriori 物质对连接后项目集进行筛选,删除那些子集不是频繁集的项目集,得出候选(K+1)-项集。
(3) 对数据库进行扫描,计算候选项的支持度,从候选集中删除支持度小于最小扶持度的候选项,进而得出频度(K+1)-项集。依此类推,直到不能找到频繁项集为止,也即频繁K-项集为空。 22、流行的关系数据库系统。Oracle
23、谈谈你对数据挖掘的认识和理解?(什么是数据挖掘、如何进行数据挖掘、常用方法和手段、各种方法的优缺点)
24、多维分析是指以“维”形式组织起来的数据采取切片、切块、钻取和旋等到各种分析动作,以求剖析数据,使用户能从不同角度、不同侧面观察数据仓库中的信息。
25、连续型属性的数据样本之间的距离有欧氏距离、曼哈距离和明考斯基距离。 26、层次聚类方法
答:层次聚类就是通过对数据集按照某种方法进行层次分解,直到满足某种条件为止。按照分类原理不同,可以分为凝聚和分裂两种方法。 27、数据仓库的数据获取需要经过过程包括抽取、转换、装载 28、聚类方法包括统计分析方法、机器学习方法、神经网络方法。 30、常见的聚类算法可以分为哪几类?
答:基于划分的聚类算法,基于层次的聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法等。 32、ID3 算法主要存在的缺点?
答:1、存在偏向问题,各特征属性的取值个数会影响互信息量的大小。 2、特征属性间的相关性强调不够,是单变元算法。
3、对噪声较为敏感,训练数据的轻微错误会导致结果的不同。 4、结果随训练集记录个数的改变而不同,不便于进行渐进学习。 33、利用信息包图设计数据仓库概念模型需要确定哪几个方面的内容? 答:确定指标,确定维度,确定类别。 34、什么是技术元数据,主要包含的内容?
技术元数据是描述关于数据仓库技术细节的数据,应用于开发、管理和维护。DW 包含:
(1)、结构的描述,如DW 的模式、视图、维、层次结构和导出数据的定义,数据集市的位置和内容等;
(2)、业务系统、DW 和数据集市的体系结构和模式;
(3)、汇总算法。包括度量和定义算法、数据粒度、主题领域、聚合、汇总和预定义的查询和报告。
(4)、由操作型业务环境到数据仓库业务环境的映射。包括源数据和他们的内容、数据分割、数据提取、清洗、转换规则和数据刷新及安全(用户授权和存取控制)。
39、数据仓库系统的体系结构根据应用需求的不同,可以分为以下4 种类型:两层架构、独立型数据集合、依赖型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。
40、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的(但是可“挥发”的)、企业级的、详细的数据库,也叫运营数据存储。 42、调和数据是存储在企业级数据仓库和操作型数据存储中的数据。
43、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源。因此,我们要求ETL 过程产生的数据(即调和数据层)是详细的、历史的、规范的、可理解的、即时的和质量可控制的。
44、数据抽取的两个常见类型是静态抽取和增量抽取。静态抽取用于最初填充数据仓库,增量抽取用于进行数据仓库的维护。
46、使用星型模式可以从一定程度上提高查询效率。因为星型模式中数据的组织已经经过预处理,主要数据都在庞大的事实表中。
47、维度表一般又主键、分类层次和描述属性组成。对于主键可以选择两种方式:一种是采用自然键,另一种是采用代理键。
48、雪花型模式是对星型模式维表的进一步层次化和规范化来消除冗余的数据。 49、数据仓库中存在不同综合级别的数据。一般把数据分成4 个级别:早期细节级、当前细节级、轻度综合级和高度综合级。
50、数据仓库的概念模型通常采用信息包图法来进行设计,要求将其5 个组成部分(包括名称、维度、类别、层次和度量)全面地描述出来。
51、数据仓库的逻辑模型通常采用星型图法来进行设计,要求将星型的各类逻辑实体完整地描述出来。
52、按照事实表中度量的可加性情况,可以把事实表对应的事实分为4 种类型:事务事实、快照事实、线性项目事实和事件事实。
53、数据仓库的数据量通常较大,且数据一般很少更新,可以通过设计和优化索引结构来提高数据存取性能。
54、关联规则的经典算法包括Apriori 算法和FP-growth 算法,其中FP-grownth 算法的效率更高。
55、如果L2={{a,b},{a,c},{a,d},{b,c},{b,d}},则 连接产生的C3={{a,b,c},{a,b,d},{a,c,d},{b,c,d}} 再经过修剪,C3={{a,b,c},{a,b,d}} 56、设定supmin=50%,交易集如 则 L1={A},{B},{C} L2={A,C} T1 A B C T2 A C T3 A D T4 B E F
57、分类的过程包括获取数据、预处理、分类器设计和分类决策。
58、分类器设计阶段包含三个过程:划分数据集、分类器构造和分类器测试。 59、聚类分析包括连续型、二值离散型、多值离散型和混合类型4 种类型描述属性的相似度计算方法。
60、层次聚类方法包括凝聚型和分解型两中层次聚类方法。 61、数据挖掘技术对聚类分析的要求有哪几个方面?
可伸缩性;处理不同类型属性的能力;发现任意形状聚类的能力;减小对先验知识和用户自定义参数的依赖性;处理噪声数据的能力;可解释性和实用性 62、数据仓库在存储和管理方面的特点与关键技术?
数据仓库面对的是大量数据的存储与管理并行处理针对决策支持查询的优化支持多维分析的查询模式
62、常见的聚类算法可以分为几类?
基于划分的聚类算法,基于层次的聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法 等。 63、数据仓库发展演变的5 个阶段? 以报表为主 以分析为主 以预测模型为主
以运行向导为主以实时数据仓库、自动决策应用为主 64、ID3 算法主要存在的缺点?
(1)ID3 算法在选择根结点和各内部结点中的分枝属性时,使用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性,在有些情况下这类属性可能不会提供太多有价值的信息。
(2)ID3 算法只能对描述属性为离散型属性的数据集构造决策树。 65、简述数据仓库ETL 软件的主要功能和对产生数据的目标要求。P30 ETL 软件的主要功能:
数据的抽取,数据的转换,数据的加载 对产生数据的目标要求:
详细的、历史的、规范化的、可理解的、即时的、质量可控制的 66、简述分类器设计阶段包含的3 个过程。 划分数据集,分类器构造,分类器测试 67、什么是数据清洗?
数据清洗是一种使用模式识别和其他技术,在将原始数据转换和移到数据仓库之前来升级原始数据质量的技术。
68、利用信息包图设计数据仓库概念模型需要确定的三方面内容。
确定指标,确定维度,确定类别
69、K-近邻分类方法的操作步骤(包括算法的输入和输出)。
71、业务元数据主要包含的内容?
业务元数据:从业务角度描述了DW 中的数据,提供了介于使用者和实际系统之间的语义层,主要包括:
", 使用者的业务属于所表达的数据模型、对象名和属性名 ", 访问数据的原则和数据的来源
", 系统提供的分析方法及公式和报表的信息。
72、K-means 算法的基本操作步骤(包括算法的输入和输出)。
73、数据从集结区加载到数据仓库中的主要方法? ", SQL 命令(如Insert 或Update)
", 由 DW 供应商或第三方提供专门的加载工具 由 DW 管理员编写自定义程序 74、多维数据模型中的基本概念:维,维类别,维属性,粒度
??:人们观察数据的特定角度,是考虑问题的一类属性,如时间维或产品维 ??类别:也称维分层。即同一维度还可以存在细节程度不同的各个类别属性 (如时间维包括年、季度、月等)
??属性:是维的一个取值,是数据线在某维中位置的描述。
??度:DW 中数据综合程度高低的一个衡量。粒度低,细节程度高,回答查 询的种类多
相关推荐: