第一范文网 - 专业文章范例文档资料分享平台

阿里云:大型互联网应用架构之分发和存储实践

来源:用户分享 时间:2025/6/27 1:17:50 本文由loading 分享 下载这篇文档手机版
说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:xxxxxxx或QQ:xxxxxx 处理(尽可能给您提供完整文档),感谢您的支持与谅解。

1月31日,阿里云课堂在北京再次开课,聚焦于“大型互联网应用架构之分发和存储”的技术和实践分享。由阿里云Web平台组研发专家姚伟斌(花名:文景)和阿里云飞天存储服务研发高级专家李文兆担任讲师。14:00点不到,架构师、工程师和实践用户已经将260人的会场挤的满满当当,最后进来的小伙伴们只好站在了后排的通道中。现场为何如此火爆?这和议题密切相关。CDN和存储,前者是提升用户满意度,留存率和转化率的关键,后者是云计算最基础的服务之一。二者的重要性自然不言而喻。

阿里云CDN技术演变之路

众所周知,在国内如此错综复杂的网络环境(中国电信、联通、移动、中国教育网、铁通等)中,要将源站内容分发到全国所有节点,缩短用户查看对象的延迟,提高用户访问网站的响应速度和网站的可用性,解决网络带宽小、用户访问量大、网络分布不均等问,只能依靠内容分发网络(CDN)。

阿里云Web平台组研发专家姚伟斌

CDN的用途:

加速:如图片、css、js等,视频流媒体,动态内容,SSL、SPDY等; 源站保护:如4、7层DDoS攻击防御,WAF等。

CDN如此重要。以至于在最初的图片CDN应用之后,2008年淘宝已着手建立自己的CDN。多年积累下来,一线机房布局完整,技术也比较成熟。2014年3月,阿里云正式商用CDN时,已经发展至数百节点,覆盖30多个国家,单节点10台机器拥有40Gbps吞吐能力。海外也已经有30多个节点。微博、唱吧、雪球都是CDN服务的典型用户,效果对比极为

明显。2015年,姚伟斌表示:“图片CDN和阿里云CDN,逻辑配置和节点都已经共享,一切都在云上。”

CDN加速原理

仔细看CDN关键组件,可以分为以下几个部分:

IP库:APNIC、Maxmind等数据源多样,通过淘宝收货的IP地址进行校正;ECS?用户可以免费调?用。

调度系统:通过地域和监控实现调度。

节点缓存系统:内存、SSD、SATA三级缓存,支持各种尺寸的文件,热点实现自动迁移,访问速度快。

配置系统:按需加载、更新,10万域名的配置约消耗500M内存,全网分钟级别的配置?生效,高可靠、可运维。

刷新系统:Notify机制,利用cache下载,自定义hash key,支持多副本刷新等。 日志系统:支持多台目标服务器负载均衡,10分钟左右即可将线上日志传到OSS,每天数百T的离线日志写入ODPS进行数据分析。

姚伟斌还重点介绍了应用加速方案,包含TCP协议栈优化,动态内容加速(内容优化、路由优化),视频和大文件,无线加速等。值得注意的是,CDN和安全往往密不可分。在4层和7层DDoS攻击防御时,CDN和云盾(阿里云安全服务)的配合尤为密切。姚伟斌举了一个7层攻击的案例:“日前,针对一个小站突然遭受了攻击,响应约15KB,规模约15万QPS,阿里云抵挡了99.4%的攻击,节省了17G的流量,有效保证了用户的服务。”

开放存储架构以及应用实践

作为阿里云最基础的云服务之一,开放存储服务(OSS)是基于飞天平台,提供“高可用性、高可靠性,海量的对象数目,任意大小数据对象,公共服务,安全”的存储服务。李文兆在题为“开放存储架构和应用实践”的分享中,重点谈到了OSS的设计原则:硬件故障透明,数据的多份拷贝分布在不同机架/机房,易扩展(容量扩容,自动应对爆发式访问),各层都要考虑到安全。

阿里云飞天存储服务研发高级专家李文兆

开放存储服务架构是用户请求到云盾,再到负载均衡,然后是前端的协议接入层(协议处理、访问控制、QoS),数据访问层(分区、索引),持久存储层(持久、冗余、容错)。 其中主要概念有四个:

Service:OSS提供给用户虚拟存储空间,每个用户拥有一个到多个Bucket(普通用户最多10个)。

Bucket:Bucket是OSS的命名空间,Bucket Name在整个OSS具有全局唯一性。 Object:在OSS中,每个文件都是一个Object。

AccessKeyID、AccessKeySecret:安全标识,为访问OSS做签名验证。 具体来看:

Bucket在功能方面,包含创建/修改/读取/删除,ACL(私有、开放读,开放读写),防盗链,访问日志归档,异地数据容灾(如杭州、青岛、北京、香港等数据中心都部署了OSS,在某地创建之后,部署到其他节点)等。

Object在功能方面,也包含创建/修改/读取/删除,Multipart Object与断点续传,URL签名,Put与Post不同使用场景等。

为了加深大家对OSS的使用感受,李文兆特别举了一个例子:

手机端图片云存储的企业架构优化图

一家互联网创业企业,业务是手机端图片云存储。比如帮助用户在本地存储缩略图,节省手机空间;提供云照片冲印等。创业之初,他们的IT架构很简单,通过阿里云的虚拟机,搭建Web App Server,最初2-3台的时候可以,但扩展到40-50台的时候,计算资源和存储节点都不够用(因为云磁盘限制在8TB,数据在向上扩展,需要继续横向扩展磁盘)。而最初他们的架构这方面考虑的不多,如果在云磁盘的基础上增加,一方面存储容量扩容有限,另一方面存储性能扩展需要修改,最关键的是图片尺寸和类型各异带来处理极为费劲。这样情况下,通过OSS和技术上的优化,实现了架构的改变。数据直接从用户端上传到OSS,AppServer只是控制流,所以带宽可以节省下来。通过URL签名,帐号密码等都存储在App Server上,用户需要服务的时候,App Server在几秒钟或者几分钟有效的方式,返回到手机端,通过手机端写入,非常安全,而且节省带宽。当用户数量越来越多,为节省资源提升服务,可以做读写分离,读通过CDN和存储(图片服务),实现图片压缩和类型转化。 总结下来就是: 用OSS解决存储瓶颈; 用图片动态服务生成各种图片; 读写分离;

弱安全容器访问OSS; 表单提交和跨域访问;

阿里云:大型互联网应用架构之分发和存储实践.doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印
本文链接:https://www.diyifanwen.net/c0djy44jxnu83uyx977bn_1.html(转载请注明文章来源)
热门推荐
Copyright © 2012-2023 第一范文网 版权所有 免责声明 | 联系我们
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ:xxxxxx 邮箱:xxxxxx@qq.com
渝ICP备2023013149号
Top