大数据型实例规格族介绍
大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题,适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景,充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和内网带宽等方面要求。

大数据型实例规格族适合有大数据计算与存储分析需求的行业客户,例如互联网行业、金融行业等。同时,结合以Hadoop为代表的分布式计算业务的高可用架构,大数据型实例采用本地存储的设计,保证海量存储空间、高存储性能。
大数据实例具有以下特点:
基于企业级架构提供稳定计算能力,为高效处理计算作业提供保障。
网络性能更高(包括单实例更大内网带宽和更大小包转发率),满足业务高峰期实例间的数据交互需求,例如MapReduce计算框架下的Shuffle过程。
单磁盘顺序读写性能达190 MB/s(创建实例时,磁盘需要预热才能达到更高性能),单实例存储吞吐能力更大5 GB/s,缩短HDFS文件读取和写入时间。
本地存储价格比SSD云盘降低97%,大大降低Hadoop集群建设成本。
使用大数据实例时请注意:
不支持变配和宕机迁移。
本地盘与特定规格的实例相绑定,本地盘的数量和容量由您选择的实例规格决定。不支持单独购买本地盘,不支持将本地盘卸载并挂载到另一台实例上使用。
本地盘不支持快照功能。如果您需要为本地盘实例创建包含系统盘和数据盘的镜像,建议通过组合系统盘快照和数据盘(仅限云盘)快照的方式来创建。
不支持基于实例ID创建包含系统盘和数据盘的镜像。
支持挂载SSD云盘,挂载的云盘支持扩容。
操作本地盘实例可能对本地盘数据产生影响,更多详情,请参见实例操作对本地盘数据的影响。
大数据实例文件系统挂载更佳实践
使用ext4等文件系统,执行mount操作时需要初始化inode table。在Linux的2.6.37及更高的内核版本中,默认启用了lazyinit特性,导致inode table初始化会延迟到mount后,且本地盘在初始化时会占用较大吞吐量(例如30个本地盘的吞吐量可能高达600 MB/s),影响业务稳定性。4.x版本内核中增加了lazyinit并发度,可以缓解该问题,详情请参见社区。ECS推荐以下更佳实践,使您在相对较快的时间内完成初始化:
获取所有SATA HDD本地盘列表。
运行以下命令,为每个本地盘开启独立的后台初始化。
本示例中,在设备名为/dev/vdb的本地盘上创建ext4文件系统。
mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
等待所有本地盘完成初始化,并运行iostat -x 5,直至所有本地盘的I/O活动显示为0。
批量执行mount操作。
大数据存储密集型实例规格族d3s
d3s的特点如下:
实例配备12 TB大容量、高吞吐SATA HDD本地盘,辅以更大64 Gbit/s实例间网络带宽
支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机
如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例运维场景和系统事件。
重要
确认发起坏盘修复流程后,坏盘中的数据不可恢复。
计算:
处理器:2.7 GHz主频的 ® Xeon ® 可扩展处理器(Ice Lake),全核睿频3.5 GHz,计算性能稳定
存储:
I/O优化实例
仅支持ESSD云盘和ESSD AutoPL云盘
网络:
支持IPv6
实例网络性能与计算规格对应(规格越高网络性能越强)
适用场景:
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景
Spark内存计算、MLlib等机器学习场景
ElasticSearch、Kafka等搜索和日志数据处理场景
大数据计算密集型实例规格族d3c
d3c的特点如下:
实例配备大容量、高吞吐本地盘,辅以更大40 Gbit/s实例间网络带宽
支持在线更换坏盘,支持热插拔坏盘,避免导致实例停机
如果单块本地盘出现故障,您会收到系统事件,确认响应事件即可发起坏盘修复流程,更多说明请参见本地盘实例运维场景和系统事件。
重要
确认发起坏盘修复流程后,坏盘中的数据不可恢复。
计算:
处理器:采用第三代Intel ® Xeon ® 可扩展处理器(Ice Lake),主频2.9 GHz,全核睿频3.5 GHz,计算性能稳定
存储:
I/O优化实例
仅支持ESSD云盘和ESSD AutoPL云盘
网络:
支持IPv6
实例网络性能与计算规格对应(规格越高网络性能越强)
适用场景:
Hadoop MapReduce、HDFS、Hive、Hbase等大数据计算和存储业务场景
EMR JindoFS配合OSS实现大数据冷热数据分层和存储计算分离的场景
Spark内存计算、MLlib等机器学习场景
ElasticSearch、Kafka等搜索和日志数据处理场景
阿里云数据解决方案[39] 阿里云是什么[38] 阿里云产品报价[36] 阿里云产品介绍[35] 阿里云解决方案[35] 阿里公有云介绍[35] 云规划设计与实施服务[34] 阿里公有云产品[34] 云与计算培训服务[30] 阿里云优势[30] 阿里云官网登陆[30] 阿里云服务器配置[30] 阿里私有云搭建方案[30] 云与计算咨询服务[28] 阿里云服务器[28] 阿里云服务器成功案例[28] 公有云私有云混合云[27] 阿里云官网[27] 阿里公有云提供哪些计算服务[27] 阿里弹性云服务器[27] 阿里云智慧教育解决方案[26] 阿里公有云官网[26] 阿里公有云服务[26] 阿里私有云方案[26] 大数据使能服务[25] 阿里云园区解决方案[25] 阿里私有云平台[25] 阿里云服务器试用[24] 云迁移与运营支撑服务[21] 阿里私有云架构[20] 阿里私有云解决方案[20] 阿里云提供的服务[18] 阿里云智慧制造解决方案[18] 阿里云服务总代理[18] 阿里云云主机[17] 阿里云安全[17] 阿里私有云[17] 阿里云服务服务中心[16] 阿里云服务核心分销商[16] 阿里公有云架构解决方案[16] 阿里私有云搭建[16] 阿里云备份[15] 阿里云服务器ECS[15] 阿里云软件开发服务[15] 阿里公有云行业解决方案[15] 阿里私有云服务[15] 阿里私有云的搭建方案[15] 阿里私有云网格结构[15] 阿里私有云部署架构[15] 阿里云智慧校园解决方案[14] 阿里云漏洞扫描[14] 阿里云网站建设服务器[14] 阿里云邮箱[14] 阿里云块存储[13] 阿里云弹性云服务器应用[13] 阿里云数据库[13] 阿里云服务器应用[13] 阿里云桌面系统集成商[13] 阿里云迁移解决方案[13] 云与计算客户支持与运维使能服务[12] 阿里云桌面总代理商[12] 阿里云速建站[12] 阿里云产品服务[11] 智慧教育云平台解决方案[10] 阿里云场景化解决方案[10] 阿里云域名注册[10] 阿里云速智能客服[10] 阿里公有云架构[10] 阿里智慧云课堂解决方案[10] 阿里公有云视讯解决方案[9] 阿里私有云产品有哪些[9] 智慧教育云计算解决方案[8] 阿里公有云平台[8] 阿里公有云解决方案[8] 阿里公有云通用解决方案[8] 阿里私有云服务器[8] 阿里云智慧***解决方案[6] 阿里公有云和私有云区别[6] [5] 云与计算客户支持服务[5] 云盘基础操作[5] 阿里公有云是什么[5] 阿里公有云解决方案服务定制领导者[5] 阿里私有云解决方案服务定制领导者[5] 阿里虚拟私有云vpc[5] 扩容云盘[4] 阿里云HTTPS加密访问[4] 阿里云共建智能世界云底座[4] 阿里云域名解析[4] 阿里云应用镜像(13款)[4] 阿里公有云[4] 大数据使能服务[3] 阿里云园区解决方案[3] 阿里公有云产品[3] 加密云盘[3] 阿里云代理公司有哪些[3] 阿里云官网网站[3] 阿里云手机代理加盟[3] 阿里云经销商[3] 阿里公有云专属云主机DeH服务[3] 阿里云官网[2] 阿里云解决方案[2] 阿里公有云架构[2] 阿里私有云搭建[2] 云规划设计与实施服[2] 阿里云企业邮箱服务[2] 阿里云企业邮箱服务 (SAAS,云邮箱)[2] 阿里云数据解决方案 [2] 智慧教育云计算解决方案[1] 阿里云产品服务[1] 阿里云域名注册[1] 云与计算咨询服务[1] 阿里云云主机[1] 阿里云产品报价[1] 阿里云产品服务[1] 阿里云优势[1] 阿里云智慧制造解决方案[1] 阿里云智慧校园解决方案[1] 阿里云服务器ECS[1] 阿里云服务器应用[1] 阿里云服务器成功案例[1] 阿里云服务器试用[1] 阿里云服务器配置[1] 阿里云服务核心分销商 [1] 阿里云速智能客服[1] 阿里公有云平台[1] 阿里私有云搭建方案[1] HTTPS加密访问(CA证书)[1] 专属块存储集群[1] 专属块存储集群概述[1] 主机新用户使用指南[1] 云盘加密概述[1] 云盘扩容指引[1] 修改云盘标签[1] 加密数据盘[1] 加密系统盘[1] 单实例[1] 卸载或挂载系统盘[1] 卸载数据盘[1] 基础环境配置[1] 如何选购云虚拟主机[1] 快照灵活易用[1] 扩容云盘容量[1] 扩容分区和文件系统(Windows)[1] 提供DDoS防护[1] 撒[1] 最新一代CIPU网络[1] 查看磁盘序列号[1] 网站开通要素[1] 腾讯云园区解决方案[1] 腾讯云数据解决方案[1] 腾讯云解决方案[1] 转换MBR分区为GPT分区[1] 释放云盘[1] 镜像跨地域无缝迁移[1] 阿里云[1] 阿里云主备架构[1] 阿里云产品报价 云规划设计与实施服务[1] 阿里云企业级能力[1] 阿里云原生MySQL生态[1] 阿里云原生数据库 PolarDB[1] 阿里云备份恢复[1] 阿里云官方网站,网络安全隔离[1] 阿里云客户端[1] 阿里云故障切换[1] 阿里云数据传输服务 DTS[1] 阿里云数据库 MongoDB 版[1] 阿里云数据库 RDS MySQL 版[1] 阿里云数据库自治服务 DAS[1] 阿里云数据管理 DMS[1] 阿里云智慧解决方案[1] 阿里云智慧***解决方案[1] 阿里云服务器ECS[1] 阿里云自动分区[1] 阿里云解决方案 [1] 阿里云速智能客服 阿里私有云 阿里私有云解决方案[1] 阿里公有云架[1] 阿里私有云产品有什么[1] 阿里私有云搭建 [1] 高级环境配置(Linux操作系统)[1] 高级环境配置(Windows操作系统)[1]