背景信息

随着越来越多的企业选择将数据和计算资源迁移上云，如何在云上保护大数据分析和人工智能应用的数据安全和隐私，是数据科学家和云服务提供商共同面临的挑战。

基于BigDL PPML解决方案，在阿里云TDX实例中运行标准的人工智能和大数据处理应用（例如Apache Spark、Apache Flink、TensorFlow、PyTorch等），可以保证数据传输的安全性、数据使用的安全性、应用程序的完整性。更多信息，请参见BigDL-PPML。

Intel® Trusted Domain Extension（Intel® TDX）以硬件安全保障信息安全，不依赖固件和宿主机的安全状态，为您提供物理级的加密计算环境。

阿里云g8i实例基于Intel® TDX技术（下文简称为TDX实例），提供了TDX加密计算能力，打造了基于硬件级别的更高安全等级的可信机密环境，保障应用和数据的机密性与完整性不受恶意软件的破坏。

BigDL PPML（BigDL Privacy Preserving Machine Learning）基于Intel® TDX技术构建了一整套解决方案，能够让您进行非常安全的数据分析和AI应用。

技术架构

基于BigDL PPML，您可以在加密数据环境中，运行现有的分布式大数据分析和AI应用程序（例如Apache Spark、Apache Flink、TensorFlow、PyTorch、OpenVINO等），无需修改任何代码。大数据分析和AI应用程序运行在基于阿里云TDX实例的Kubernetes集群上，其计算和内存受Intel® TDX保护。在底层，BigDL PPML自动为分布式应用程序启用端到端安全机制，包括： TDX保护。在底层，BigDL PPML自动为分布式应用程序启用端到端安全机制，包括：

在基于TDX实例的Kubernetes集群上提供和证明可信集群环境。

通过KMS进行密钥管理，用于分布式数据加密、解密。

安全的分布式计算和通信。

如上图所示，BigDL PPML方案基于Intel® TDX的阿里云TDX实例，部署Kubernetes集群环境。从数据流角度，所有数据均以加密方式存储在数据湖和数据仓库中。

BigDL PPML Worker节点加载机密数据，通过远程证明以及密钥管理系统获取数据密钥，在阿里云TDX实例中进行解密。

使用大数据和人工智能的计算框架，对数据进行分布式预处理、模型训练以及模型推理等。

将最终结果、数据或者模型，以加密方式写回到分布式存储中。

另外在各节点之间的数据均被加密传输（AES加密、TLS等），从而做到全链路的隐私保护和数据安全。

操作步骤

本文以运行Spark大数据分析为例，介绍如何基于阿里云TDX实例，运行分布式的端到端安全的大数据分析应用（本文以运行Simple Query用例为例）。更多大数据AI应用使用说明，请参见BigDL PPML Tutorials & Examples。

步骤一：部署Kubernetes集群及运行环境

本文中Kubernetes集群使用1个Master节点，2个Worker节点。总节点数量须与购买实例数量一致。您可以根据实际业务，选择节点数量。

创建具备Intel® TDX安全特性的g8i实例。

具体操作，请参见自定义购买实例。您需要注意以下参数：

实例规格：运行Simple Query用例的最小实例规格为32 vCPU 64 GiB，本文使用ecs.g8i.8xlarge

镜像：Alibaba Cloud Linux 3.2104 LTS 64位

公网IP：分配公网IPv4地址

购买实例数量：3

远程连接ECS实例。

具体操作，请参见连接方式概述。

部署Kubernetes集群并进行安全配置。

在已创建的g8i实例中，部署Kubernetes集群。

具体操作，请参见Creating a cluster with kubeadm。

执行如下命令，在Kubernetes集群的Master节点上进行安全配置（RBAC配置）。

kubectl create serviceaccount spark

kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default

创建PersistentVolume。

以root用户，执行如下命令，创建pv-volume.yaml。

vim pv-volume.yaml

按i键进入编辑模式。

在pv-volume.yaml中添加如下内容。

apiVersion: v1

kind: PersistentVolume

metadata:

  name: task-pv-volume

  labels:

    type: local

spec:

  storageClassName: manual

  capacity:

    storage: 10Gi

  accessModes:

    - ReadWriteOnce

  hostPath:

    path: "/mnt/data"

按Esc键，输入:wq，保存并退出编辑模式。

分别执行如下命令，创建并查看已创建的PersistentVolume。

kubectl apply -f pv-volume.yaml

kubectl get pv task-pv-volume

阿里云数据解决方案[39] 阿里云是什么[38] 阿里云产品报价[36] 阿里云产品介绍[35] 阿里云解决方案[35] 阿里公有云介绍[35] 云规划设计与实施服务[34] 阿里公有云产品[34] 云与计算培训服务[30] 阿里云优势[30] 阿里云官网登陆[30] 阿里云服务器配置[30] 阿里私有云搭建方案[30] 云与计算咨询服务[28] 阿里云服务器[28] 阿里云服务器成功案例[28] 公有云私有云混合云[27] 阿里云官网[27] 阿里公有云提供哪些计算服务[27] 阿里弹性云服务器[27] 阿里云智慧教育解决方案[26] 阿里公有云官网[26] 阿里公有云服务[26] 阿里私有云方案[26] 大数据使能服务[25] 阿里云园区解决方案[25] 阿里私有云平台[25] 阿里云服务器试用[24] 云迁移与运营支撑服务[21] 阿里私有云架构[20] 阿里私有云解决方案[20] 阿里云提供的服务[18] 阿里云智慧制造解决方案[18] 阿里云服务总代理[18] 阿里云云主机[17] 阿里云安全[17] 阿里私有云[17] 阿里云服务服务中心[16] 阿里云服务核心分销商[16] 阿里公有云架构解决方案[16] 阿里私有云搭建[16] 阿里云备份[15] 阿里云服务器ECS[15] 阿里云软件开发服务[15] 阿里公有云行业解决方案[15] 阿里私有云服务[15] 阿里私有云的搭建方案[15] 阿里私有云网格结构[15] 阿里私有云部署架构[15] 阿里云智慧校园解决方案[14] 阿里云漏洞扫描[14] 阿里云网站建设服务器[14] 阿里云邮箱[14] 阿里云块存储[13] 阿里云弹性云服务器应用[13] 阿里云数据库[13] 阿里云服务器应用[13] 阿里云桌面系统集成商[13] 阿里云迁移解决方案[13] 云与计算客户支持与运维使能服务[12] 阿里云桌面总代理商[12] 阿里云速建站[12] 阿里云产品服务[11] 智慧教育云平台解决方案[10] 阿里云场景化解决方案[10] 阿里云域名注册[10] 阿里云速智能客服[10] 阿里公有云架构[10] 阿里智慧云课堂解决方案[10] 阿里公有云视讯解决方案[9] 阿里私有云产品有哪些[9] 智慧教育云计算解决方案[8] 阿里公有云平台[8] 阿里公有云解决方案[8] 阿里公有云通用解决方案[8] 阿里私有云服务器[8] 阿里云智慧***解决方案[6] 阿里公有云和私有云区别[6] [5] 云与计算客户支持服务[5] 云盘基础操作[5] 阿里公有云是什么[5] 阿里公有云解决方案服务定制领导者[5] 阿里私有云解决方案服务定制领导者[5] 阿里虚拟私有云vpc[5] 扩容云盘[4] 阿里云HTTPS加密访问[4] 阿里云共建智能世界云底座[4] 阿里云域名解析[4] 阿里云应用镜像(13款)[4] 阿里公有云[4] 大数据使能服务[3] 阿里云园区解决方案[3] 阿里公有云产品[3] 加密云盘[3] 阿里云代理公司有哪些[3] 阿里云官网网站[3] 阿里云手机代理加盟[3] 阿里云经销商[3] 阿里公有云专属云主机DeH服务[3] 阿里云官网[2] 阿里云解决方案[2] 阿里公有云架构[2] 阿里私有云搭建[2] 云规划设计与实施服[2] 阿里云企业邮箱服务[2] 阿里云企业邮箱服务 (SAAS,云邮箱）[2] 阿里云数据解决方案 [2] 智慧教育云计算解决方案[1] 阿里云产品服务[1] 阿里云域名注册[1] 云与计算咨询服务[1] 阿里云云主机[1] 阿里云产品报价[1] 阿里云产品服务[1] 阿里云优势[1] 阿里云智慧制造解决方案[1] 阿里云智慧校园解决方案[1] 阿里云服务器ECS[1] 阿里云服务器应用[1] 阿里云服务器成功案例[1] 阿里云服务器试用[1] 阿里云服务器配置[1] 阿里云服务核心分销商 [1] 阿里云速智能客服[1] 阿里公有云平台[1] 阿里私有云搭建方案[1] HTTPS加密访问（CA证书）[1] 专属块存储集群[1] 专属块存储集群概述[1] 主机新用户使用指南[1] 云盘加密概述[1] 云盘扩容指引[1] 修改云盘标签[1] 加密数据盘[1] 加密系统盘[1] 单实例[1] 卸载或挂载系统盘[1] 卸载数据盘[1] 基础环境配置[1] 如何选购云虚拟主机[1] 快照灵活易用[1] 扩容云盘容量[1] 扩容分区和文件系统（Windows）[1] 提供DDoS防护[1] 撒[1] 最新一代CIPU网络[1] 查看磁盘序列号[1] 网站开通要素[1] 腾讯云园区解决方案[1] 腾讯云数据解决方案[1] 腾讯云解决方案[1] 转换MBR分区为GPT分区[1] 释放云盘[1] 镜像跨地域无缝迁移[1] 阿里云[1] 阿里云主备架构[1] 阿里云产品报价 云规划设计与实施服务[1] 阿里云企业级能力[1] 阿里云原生MySQL生态[1] 阿里云原生数据库 PolarDB[1] 阿里云备份恢复[1] 阿里云官方网站,网络安全隔离[1] 阿里云客户端[1] 阿里云故障切换[1] 阿里云数据传输服务 DTS[1] 阿里云数据库 MongoDB 版[1] 阿里云数据库 RDS MySQL 版[1] 阿里云数据库自治服务 DAS[1] 阿里云数据管理 DMS[1] 阿里云智慧解决方案[1] 阿里云智慧＊＊＊解决方案[1] 阿里云服务器ＥＣＳ[1] 阿里云自动分区[1] 阿里云解决方案 [1] 阿里云速智能客服 阿里私有云 阿里私有云解决方案[1] 阿里公有云架[1] 阿里私有云产品有什么[1] 阿里私有云搭建 [1] 高级环境配置（Linux操作系统）[1] 高级环境配置（Windows操作系统）[1]