「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:九

本文最后更新于:2024年7月24日 晚上

13 大数据

13.1 概念

特点:4 个 V

  1. Volume: 数据量特别大
  2. Variety: 数据类型特别多
  3. Velocity:数据增长特别迅速
  4. Value:价值密度低

13.2 MapReduce

使用者只需编写 2 个称为 Map 和 Reduce 的函数即可。

MapReduce 框架包括 3 种角色:

  • Master:执行任务划分、调度、任务之间的协调
  • Map 工作进程
  • Reduce 工作进程

13.3 流式计算

更加重视对数据处理的延迟。

13.5 实时分析

13.5.1 MPP 架构

MPP(Massively Paraller Processing, 大规模并行处理)

13.5.2 EMC Greenplum

OLAP 产品,底层基于开源的 Postgresql 数据库。


「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:九
https://ewhisper.cn/posts/27007/
作者
东风微鸣
发布于
2021年9月18日
许可协议