「读书笔记」《大规模分布式存储系统：原理解析与架构实战》：九

13 大数据

13.1 概念

特点：4 个 V

1. Volume: 数据量特别大
2. Variety: 数据类型特别多
3. Velocity：数据增长特别迅速
4. Value：价值密度低

13.2 MapReduce

使用者只需编写 2 个称为 Map 和 Reduce 的函数即可。

MapReduce 框架包括 3 种角色：

• Master：执行任务划分、调度、任务之间的协调
• Map 工作进程
• Reduce 工作进程

13.3 流式计算

更加重视对数据处理的延迟。

13.5 实时分析

13.5.1 MPP 架构

MPP（Massively Paraller Processing, 大规模并行处理）

13.5.2 EMC Greenplum

OLAP 产品，底层基于开源的 Postgresql 数据库。