亚马逊云科技提出的大数据技术是谁提出的湖是一个什么概念?

连续11年被 Gartner 评为“全球云计算领导者”, 在 2021 年全新 Gartner 魔力象限中被评为“云基础设施与平台服务(Iaas & PaaS)领导者”。从计算、存储和数据库等基础设施技术,到机器学习、人工智能、数据湖和分析以及物联网等新兴技术,亚马逊云科技提供丰富完整的服务及功能,我们的每一行代码都为满足苛刻的需求而编写。

亚马逊云科技推出企业级云产品免费体验中心,免费使用30余种核心云服务产品,长达 12 个月,具体活动内容如下:

二、亚马逊云科技上的机器学习

亚马逊云科技提供广泛、深入的机器学习服务及配套的云基础设施,从而使每位开发人员、数据科学家和专家从业者都能利用机器学习技术。亚马逊云科技正在帮助十万多位客户加速其机器学习之旅。探索适合您的业务需求的机器学习服务,并学习入门方法。

三、亚马逊云科技上的计算服务

数百万组织在亚马逊云科技计算平台上运行不同的工作负载。亚马逊云科技连续 11 年被公认为云基础设施和平台服务的魔力象限领导者,它正在帮助 Lyft、Netflix、Coca-Cola 和 Moderna 等组织降低基础设施成本,并加快世界上可靠、安全、功能强大的云技术的创新。

四、亚马逊云科技上的数据库服务

数十万客户通过迁移到亚马逊云科技托管型数据库服务实现了节省,这些服务融合了开源数据库的灵活性和低成本以及商用数据库稳健的企业功能集。它们能够提供的性能是常用数据库的 3-5 倍,同时能扩展以支持每秒超过 2000 万请求和存储数 PB 的数据。

五、亚马逊云科技上的存储服务

亚马逊云科技为您提供了一整套服务来存储、访问、管理和分析数据,以降低成本、提高敏捷性和加速创新。从对象存储、文件存储和数据块存储服务、备份和数据迁移选项中进行选择,以构建云 IT 环境的基础。

六、亚马逊云科技上的其他免费服务

亚马逊云科技上的应用程序集成是一组服务,它支持微服务、分布式系统和无服务器应用程序中的分离组件之间进行通信。您无需重构整个架构即可从中受益 – 任何规模的分离应用程序均可减少更改影响,从而可以更轻松地进行更新和更快速地发布新功能。

(本文由原创,转载请注明出处“美国主机侦探”和原文地址!)

大数据时代,云计算业务的基础存储面临越来越多的挑战。一方面数据量成几何级倍增,另一方面,企业面临成本、敏捷性、数据多样性、安全与合规等难点问题。

不久前,亚马逊云科技专门针对存储召开了一次行业沟通会,亚马逊云科技大中华区产品部总经理陈晓建表示,亚马逊云科技已经形成了完整而强大的存储服务阵容,亚马逊云科技存储服务全面覆盖对象存储、块存储、文件存储、备份、容灾、以及数据传输与边缘处理。

(图:亚马逊云科技大中华区产品部总经理陈晓建)

据悉,亚马逊云科技仅在2021年就发布了130多项存储新服务和功能特性,通过不断的创新应对数据爆涨带来的三大挑战:

  1. 通过智能分层解决成本与敏捷性的矛盾

  2. 针对不同企业的应用场景,开发专门的云存储服务满足不同应用的数据存储需求

  3. 通过一站式备份软件解决云端数据备份要求

陈晓建将数据类型分为热、温、冷、冻四个层次。热数据如交易系统里的交易数据,toC系统里面的用户日志,这些数据需要被频繁访问;温数据像一些企业的业务数据,包括网站的数据,这些数据有可能需要按周、月的频率访问,不像热数据一样访问得这么频繁;冷数据像手机相册数据,企业的其他数据,这些数据平时的访问频率可能是几个月,甚至一两年才会访问一次,作为归档数据,一旦存储之后它的访问频率并不是很高;冻数据一旦写入之后访问频率非常低,但是由于合法合规的要求,这些数据必须要能够进行持久化的存储,比如说医疗影像的数据,国家规定这些数据必须存放30年,任何时候要用都可以及时拿出来。从业务特点来讲,这些数据本身对于存储读写性要求并不很高,但是要求数据的持久性,而且数据的量非常大,所以用户对于数据整个存储成本有着非常高的要求。

亚马逊云科技8级存储层级满足热、温、冷、冻等不同的访问层级,应对企业业务不同的数据访问频次,兼顾性能和数据保存成本。

非常直观的例子,一份数据在2006年的时候如果需要100块钱存储,到今天只需要花15块钱,16年间,整个存储成本降低了大约7倍。

亚马逊云科技2018年就推出了Amazon S3智能分层功能,面向未知访问模式的海量数据。Amazon S3可以自动在不同层级的存储之间移动数据,实现至多68%的成本节省。Amazon S3智能分层已经涵盖了Amazon S3家族的几乎所有存储类别,实现数据全生命周期的智能化存储与使用。客户可以将Amazon S3智能分层作为默认的存储层级,用以构建包括数据湖、机器学习等各种云端应用。

在Amazon S3之后亚马逊云快捷把智能分层功能拓展到了共享文件存储Amazon EFS,引用两个维度,第一个是单可用区和多可用区的维度,第二个是热数据和温数据的差别维度,从这两个维度亚马逊云科技将EFS分为四种层级,用户不需要关心数据放在这四种里的哪一种,只需把工作交给EFS智能分层。

更直观的例子是,文件系统符合二八原则,20%的数据属于频繁访问的数据,80%的数据属于非频繁访问的数据。如果按照智能分层把两类数据智能分开,按照非频繁访问层成本是频繁访问层的1/10计算,亚马逊云科技Amazon EFS智能分层可以为用户节省最多72%的成本。

专门构建不同的云存储服务满足需求多样性

如何满足客户不同的业务的需求,亚马逊的的对策是专门构建不同的云存储服务。

陈晓建将产品大量数据的应用分为两类,第一类称之为云原生的现代化应用,第二类是传统的云端企业应用。针对云原生的现代化应用,亚马逊云科技Amazon EFS和Amazon S3能够很好的解决云原生业务的需求。

企业应用诞生在公有云之前,存在大量的各种各样的企业应用。主要包括四类:

  1. 第一类是Windows为主的应用,底层服务要完全满足Windows的环境,包括ACL文件访问控制权限,包括Active Directory兼容。

  2. 第二是高性能计算,不可能通过单个节点完成,一定是多节点协同的,数据是共享的。真正在跑的高性能集群往往是几百个节点甚至几千个节点共享一份数据,首先第一个需要共享的存储,第二个由于这份数据要被几百个、几千个节点同时访问,所以对整个存储的性能和吞吐率也提出了非常高的要求。

  3. 第三是基于各类多种多样的企业应用,这些应用要上云必须完美的兼容和支持好之前提供的功能。

  4. 第四是大数据的环境,往往需要一些特殊的支持,包括像ZFS,需要具备高吞吐、低延时的技术。

亚马逊云科技专门构建了一个场景化应用FSx家族,X意味着多种文件存储类型,专门为企业不同业务需求构建。

FSx家族历史数年进行了迭代升级。

  • 2021年11月发布全新一代Amazon FSx for Lustre面向HPC计算密集型工作负载,帮助客户快速完成高性能计算,如基因测序,新药研发,自动驾驶模拟仿真,半导体设计等任务。

  • 2021年11月发布Amazon FSx for OpenZFS面向大数据分析Linux工作负载。针对那些以往把数据放在ZFS或者其它Linux文件服务器、而不希望改变架构的云迁移客户。通过它,可以让ZFS或其他基于Linux的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式,提供高达1百万IOPS ,而延迟仅有几百微秒,非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。

  • 2021年9月发布Amazon FSx for NetApp ONTAP方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的NetApp ONTAP文件存储服务,无需修改其应用、工具、流程或工作流,即可将其在NAS设备上运行的应用迁移至亚马逊云科技。Amazon FSx for NetApp ONTAP让客户可使用其已经熟悉的NAS工作流来部署、管理应用和数据,同时尽享亚马逊云科技带来的敏捷性、可扩展性和安全性,以及与亚马逊云科技其它服务之间的无缝集成。

一站式备份服务解决云端数据备份需求

在统一数据保护上,数据备份存在很多问题,首先很多系统都是使用起来非常复杂第二,怎么保证安全合法合规的要求,第三,由于做备份一定会带来额外的成本,如何解决?亚马逊云科技的解决之道是Amazon Backup,这是一个云上的一站式备份服务。

  • 提供图形化管理控制台,提供基于策略的备份解决方案,简化备份管理;

  • 通过集中式的备份监控和日志,以及数据安全和权限管理服务,确保备份数据的安全合规;

  • 通过数据冷热分层来降低成本。

同时,在安全性上,为关键数据提供可靠保护:

  • 所有的备份数据都支持KMS加密;

  • 备份恢复操作权限和数据访问权限都可以通过IAM细颗粒度授权。

  • 利用Amazon Backup的集中数据备份,以及备份库锁定功能,可以有效的防止勒索病毒的攻击,生产数据备份到备份库,设置备份库锁定功能,病毒或者恶意操作都无法改变或者删除备份库中的数据。

  • 备份库支持冷热分层。近期的备份数据存储在热备份库里,一周或者一个月后的数据可以基于策略自动迁移到冷备份库,按冷备份库的价格为热备份库的20%。

从2006年开始到现在,亚马逊云科技存储服务已经成为IT行业的“水”和“电”,让各行各业的业务都能从存储服务中获得价值。陈晓建表示,“我相信还有很多新的功能等着我们开发,为用户进行赋能,我们希望能够在以后为用户带来更多的价值。”

我要回帖

更多关于 大数据技术是谁提出的 的文章

 

随机推荐