「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八

本文最后更新于:2024年7月24日 晚上

8 云存储

8.1 概念

云存储的典型特点:

  • 超大规模(上 TB 甚至 上 EB 的容量)
  • 高可扩展性(可以平滑横向扩展)
  • 高可靠性和可用性(以公有云提供商腾讯云为例,其云存储 COS 的 SLA 为:数据持久性 99.9999999999%(12 个 9)服务可用性 99.995%)
  • 安全(公有云、互联网、多租户场景下,安全是基本需求)
  • 按需服务(公有云存储特性,按需服务,按量计费)
  • 透明服务
  • 低成本(运行于大量低成本 x86 服务器之上)

8.2 产品形态

产品形态包括几类:

  • 块存储
  • 对象存储(如:Amazon S3)
  • 文件系统存储

其中 Amazon S3 为 Amazon 公有云首创,且已经成为事实上的对象存储标准,其应用编程接口如下:

  • List Bucket:列出桶
  • Put Bucket:创建桶
  • Delete Bucket:删除桶
  • Head Bucket:判断桶是否存在且具有访问权限
  • Put Object:创建一个对象并加入桶中或修改一个已有对象。可选启用对象多版本策略。
  • Get Object:读取对象的数据及元数据,元数据包括对象长度,MD5 哈希值,创建时间等
  • Delete Object(s):删除对象
  • Head Object:获取对象的元数据
  • Initial Multipart Upload: 初始化多次上传,获取多次上传的编号(upload ID)
  • Upload Part:上传部分数据
  • Complete Multipart Upload:完成多次上传,S3 会将之前上传的部分数据连接为一个大对象
  • Abort Multipart Upload:中止多次上传请求。

8.3 云存储的核心优势

成本,成本,还是 TMD 成本!

下表是中型数据中心和特大型数据中心的成本对比,特大型数据中心的网络和存储成本分别是中型数据中心的:1/7.1、1/5.7。

类别 中型数据中心成本 特大型数据中心成本 比率
网络 $95/Mb/Month $13/Mb/Month 7.1
存储 $2.20/GB/Month $0.40/GB/Month 5.7
管理 140 台服务器 / 管理员 1000 台以上服务器 / 管理员 7.1

PUE(Power Usage Effectiveness,能源使用效率)。一般国内中型数据中心的 PUE > 2,就是说,一半以上的能源被浪费掉,而特大型数据中心,如 Fackebook 某太阳能供电数据中心的 PUE 值为 1.07,几乎没有额外的能源损耗。

大大降低 IT 成本,资源利用率也很高

云存储核心优势:

  • 更低的硬件成本和网络成本
  • 更低的管理成本和电力成本
  • 更高的资源利用率

加快创新速度

8.4 云存储安全

云存储的安全挑战:

  • 在信任边界方面有了巨大的变化
  • 更多利益相关方(云消费者、云提供商、云审计方、云代理商、云运营商)
  • 云存储服务暴露在互联网上
  • 多租户共享的引入
  • 数据存储

云存储安全分类:

  1. 用户安全 :认证,授权
  2. 网络安全 :安全通信、网络防火墙、入侵检测、DDoS 攻击防护
  3. 多租户隔离
  4. 存储安全 :数据备份以及数据安全

「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
https://ewhisper.cn/posts/49087/
作者
东风微鸣
发布于
2021年9月18日
许可协议