1. 首页
  2. 电子商务

美团云出席UPYUN大会 揭秘高效存储体系

  11月28日,由UPYUN举办的架构与运维大会在北京新云南皇冠假日酒店举办。会议邀请了产品架构、高性能运维、云平台应用等领域安全、运维专家和有影响力的媒体,与互联网各行业精英齐聚一堂。美团云作为领先的O2O电商云和大数据解决方案服务商,不仅支撑了美团网的全部在线业务,也为外部客户提供了稳定的公有云服务。美团云高级技术专家李凯在会议上分享了美团云的存储架构与运维。

  美团拥有的团购、猫眼电影、酒店、外卖四大业务在国内O2O行业处于领先地位。高速增长的业务压力曾使存储受到巨大的挑战,美团云应运而生。美团从机房至虚拟机等都是自研而来,业务几乎从发展初期开始就跑在云平台上。美团云为服务业务而发展出云存储,从支撑美团内部的业务到外部,已经有一套完整的业务体系。美团云平台经过了自身业务3年的实践与验证,目前,云存储规模已达6亿对象个数、1.5PB存储容量,跨机房百台Server;每天可达6千万次访问,7TB读写流量;支撑业务涵盖图片、云盘、猫眼、商务、IT等。

  存储架构

  美团云存储是在OpenStack-Swift的基础上构建而来。美团技术专家们曾探讨过是否构建与OpenStack-Swift完全一致的架构,但最终仅仅只是借鉴。通过修改代码,采用用户之间不重名的方法,让用户拥有更好的体验。美团云存储拥有与Swift一致特性,包含3个环:Account
Ring、Contain Ring、 Object Ring,即将用户数据分成3个级别。首先,Account Ring可管理多个用户。第二层Contain
Ring,每个用户可对应自己的存储。每当收到一个请求会先查找Account Ring,确定该用户拥有权限再进入第二层Contain
Ring找到相应数据原点,最后再写入第三层Object Ring——相应的Server上。而美团云又在Swift上进行了诸多改进包括:AWS-S3
v2签名协议兼容、域名改写、精确分布式限速、计量中心、多版本HashRing等。

  运维体系

  若将美团运维体系绘制成图,中间是对象存储,上为部署,左为监控,右为计量中心等辅助工具。从部署管理来看,300多的配置,并且有二进制,操作系统还有额外的要求,这对于研发人员来讲并不是合格的程序。早期人工能做的事情经过业务的快速发展已经难以驾驭,最终美团云优化系统,采用自动化模式,大大提高了效率。右边的计量中心也是完全依托于美团云自身技术团队。最初没有运行数据的汇报,经过修改实现了总体磁盘空间统计、用户统计、流量统计等个性化设计。CDN日志则进行实时分析,统计数据展现给用户。

  测试体系

  机器异常不是一个问题,是常见问题。因此,测试是有必要的,也是必须的。美团云希望能透明化这些问题,为此设计出一个测试体系。这个测试体系没有终结,会不停地生成任务。比如:把某台机器断开、制造背景压力、读写或删除某些机器。测试体系中的outer
destroyer能够外部控制异常,模拟有问题的用户发出异常请求。这个测试体系的所有异常都是随机产生,但也有限制范围,要做好控制宕机不能超过3台或不能把信息删除过多。

  美团云存储生态体系

  在美团云存储生态体系中最底层基础为对象存储。目前,美团内部已经提供图片编辑服务,外部也将在近期提供相应服务。美团云的图片编辑较之于市面上的其它云服务商,功能是最丰富,可操作性最强的,并且可通过CDN加速。另外值得一提的是回源鉴权服务。众所周知,现今视频被盗用严重。美团云可通过token认证,分布式存储一个集群存储用户信息、访问信息,通过后台的大数据分析挖掘出高级盗数据者。除去以上两个服务,美团云存储还提供视频编辑等服务,并且仍在不断地完善这个生态体系。美团云希望在云存储之上给用户提供更多服务,创造更多价值。

发表评论

登录后才能评论