郎丰利 智慧环卫大数据一体化管理平台建设方案 郎丰利
? ?
数据库平台建设 ................................................................................................... 132 资源管理平台 ....................................................................................................... 133 存储资源池建设方案建议 ................................................................................ 133
4.2.2.4、 ? ? ? ? ? 4.2.2.5、 ? ? ?
存储资源池建设原则 ............................................................................................ 133 存储数据类型 ....................................................................................................... 134 数据存储模式 ....................................................................................................... 137 存储资源池建设方案 ............................................................................................ 138 存储虚拟化功能 .............................................................................................. 140 备份系统建设方案建议 ................................................................................... 140
数据备份系统建设方案 ......................................................................................... 140 基于云计算的在线数据存储备份 ..................................................................... 140 虚拟磁带库备份 .............................................................................................. 141
1.1.1.2 系统资源管理平台建设方案建议 ............................................................................. 145
4.2.3、 环卫局云大数据平台基础设施平台两地三中心建设方案建议 .................. 146
两地三中心建设依据 ....................................................................................... 146 两地三中心建设目标 ....................................................................................... 147 容灾技术的选择 .............................................................................................. 148 两地三中心总体架构设计建议 ........................................................................ 149
4.2.3.1、 4.2.3.2、 4.2.3.3、 4.2.3.4、 ? ? ?
总体架构描述 ....................................................................................................... 150 资源池功能描述 ................................................................................................... 152 总体架构设计 ....................................................................................................... 152
VIII
郎丰利 智慧环卫大数据一体化管理平台建设方案 郎丰利
? ?
数据中心容灾 ................................................................................................. 154 业务应用容灾 ................................................................................................. 156
第5章 大数据支撑平台设计 ........................................................................................... 158
5.1、 设计思路 ............................................................................................................ 158
轻量服务化架构 ....................................................................................... 158 弹性可扩展 .............................................................................................. 159 开放共享 .................................................................................................. 159 安全可靠 .................................................................................................. 159 自主可控 .................................................................................................. 160
5.1.1、 5.1.2、 5.1.3、 5.1.4、 5.1.5、 5.2、
设计内容 ............................................................................................................ 160
数据存储 .................................................................................................. 163
分布式文件系统 .............................................................................................. 163 分布式数据库 ................................................................................................. 166
5.2.1、
5.2.1.1、 5.2.1.2、 ? ?
基于MySQL的关系数据库集群 .............................................................................. 166 基于HBase的NoSQL数据库集群 .......................................................................... 167 分布式缓存 ..................................................................................................... 170
5.2.1.3、 ? ? ?
基于Memcached的缓存 ......................................................................................... 171 基于Redis的缓存 ................................................................................................ 172 缓存分片路由控制器 ............................................................................................ 173
5.2.2、 计算能力 .................................................................................................. 173
离线计算Map/Reduce ...................................................................................... 176
IX
5.2.2.1、
郎丰利 智慧环卫大数据一体化管理平台建设方案 郎丰利
5.2.2.2、 5.2.2.3、 5.2.2.4、 5.2.2.5、
离线计算Hive ................................................................................................. 177 流式计算Storm ............................................................................................... 178 内存计算Impala ............................................................................................. 178 图计算 ............................................................................................................ 179
5.2.3、 高速服务框架 ........................................................................................... 179
服务注册中心 ................................................................................................. 180 服务监控中心 ................................................................................................. 181 服务引擎 ......................................................................................................... 181
5.2.3.1、 5.2.3.2、 5.2.3.3、
5.2.4、 5.2.5、
垂直搜索引擎 ........................................................................................... 183 开放服务 .................................................................................................. 185
云服务器 ......................................................................................................... 185 云存储 ............................................................................................................ 185 关系数据库 ..................................................................................................... 185 海量结构化存储 .............................................................................................. 186 云搜索 ............................................................................................................ 186 消息推送 ......................................................................................................... 186 负载均衡 ......................................................................................................... 187 云监控 ............................................................................................................ 187
5.2.5.1、 5.2.5.2、 5.2.5.3、 5.2.5.4、 5.2.5.5、 5.2.5.6、 5.2.5.7、 5.2.5.8、
5.2.6、 分布式应用服务器 ................................................................................... 187
第6章 大数据创新平台设计 ........................................................................................... 188
6.1、 采集整合服务 ..................................................................................................... 188
X
郎丰利 智慧环卫大数据一体化管理平台建设方案 郎丰利
6.1.1、 6.1.2、
现状分析 .................................................................................................. 188 设计思路 .................................................................................................. 188
爬取方式 ......................................................................................................... 189 购买方式 ......................................................................................................... 189 合作方式 ......................................................................................................... 189 数据整合 ......................................................................................................... 189
6.1.2.1、 6.1.2.2、 6.1.2.3、 6.1.2.4、
6.1.3、 设计内容 .................................................................................................. 190
互联网原始数据采集 ....................................................................................... 190 互联网合作伙伴数据采集 ................................................................................ 192 其他部门数据采集 .......................................................................................... 192 社会机构和商业组织数据采集 ........................................................................ 192 数据整合 ......................................................................................................... 193
6.1.3.1、 6.1.3.2、 6.1.3.3、 6.1.3.4、 6.1.3.5、
6.1.4、 分步建设 .................................................................................................. 193
互联网原始数据 .............................................................................................. 193 互联网合作伙伴数据 ....................................................................................... 193 国家其他部门数据 .......................................................................................... 194 社会机构和商业组织数据 ................................................................................ 194
6.1.4.1、 6.1.4.2、 6.1.4.3、 6.1.4.4、
6.1.5、 6.2、
运营方式 .................................................................................................. 194
质控治理服务（云平台） ................................................................................... 195
质量规则 .................................................................................................. 198 自动化监控数据流转 ................................................................................ 198
6.2.1、 6.2.2、
XI
相关推荐：
loading