「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
本文最后更新于:2024年7月24日 晚上
8 云存储
8.1 概念
云存储的典型特点:
- 超大规模(上 TB 甚至 上 EB 的容量)
- 高可扩展性(可以平滑横向扩展)
- 高可靠性和可用性(以公有云提供商腾讯云为例,其云存储 COS 的 SLA 为:数据持久性 99.9999999999%(12 个 9)服务可用性 99.995%)
- 安全(公有云、互联网、多租户场景下,安全是基本需求)
- 按需服务(公有云存储特性,按需服务,按量计费)
- 透明服务
- 低成本(运行于大量低成本 x86 服务器之上)
8.2 产品形态
产品形态包括几类:
- 块存储
- 对象存储(如:Amazon S3)
- 文件系统存储
其中 Amazon S3 为 Amazon 公有云首创,且已经成为事实上的对象存储标准,其应用编程接口如下:
- List Bucket:列出桶
- Put Bucket:创建桶
- Delete Bucket:删除桶
- Head Bucket:判断桶是否存在且具有访问权限
- Put Object:创建一个对象并加入桶中或修改一个已有对象。可选启用对象多版本策略。
- Get Object:读取对象的数据及元数据,元数据包括对象长度,MD5 哈希值,创建时间等
- Delete Object(s):删除对象
- Head Object:获取对象的元数据
- Initial Multipart Upload: 初始化多次上传,获取多次上传的编号(upload ID)
- Upload Part:上传部分数据
- Complete Multipart Upload:完成多次上传,S3 会将之前上传的部分数据连接为一个大对象
- Abort Multipart Upload:中止多次上传请求。
8.3 云存储的核心优势
成本,成本,还是 TMD 成本!
下表是中型数据中心和特大型数据中心的成本对比,特大型数据中心的网络和存储成本分别是中型数据中心的:1/7.1、1/5.7。
类别 | 中型数据中心成本 | 特大型数据中心成本 | 比率 |
---|---|---|---|
网络 | $95/Mb/Month | $13/Mb/Month | 7.1 |
存储 | $2.20/GB/Month | $0.40/GB/Month | 5.7 |
管理 | 140 台服务器 / 管理员 | 1000 台以上服务器 / 管理员 | 7.1 |
PUE(Power Usage Effectiveness,能源使用效率)。一般国内中型数据中心的 PUE > 2,就是说,一半以上的能源被浪费掉,而特大型数据中心,如 Fackebook 某太阳能供电数据中心的 PUE 值为 1.07,几乎没有额外的能源损耗。
大大降低 IT 成本,资源利用率也很高
云存储核心优势:
- 更低的硬件成本和网络成本
- 更低的管理成本和电力成本
- 更高的资源利用率
加快创新速度
8.4 云存储安全
云存储的安全挑战:
- 在信任边界方面有了巨大的变化
- 更多利益相关方(云消费者、云提供商、云审计方、云代理商、云运营商)
- 云存储服务暴露在互联网上
- 多租户共享的引入
- 数据存储
云存储安全分类:
- 用户安全 :认证,授权
- 网络安全 :安全通信、网络防火墙、入侵检测、DDoS 攻击防护
- 多租户隔离
- 存储安全 :数据备份以及数据安全
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
https://ewhisper.cn/posts/49087/