新浪程辉:云计算面临网络与存储方案两大难题

新浪程辉:云计算面临网络与存储方案两大难题

大家好!今天上午我们听了来自IBM、微软介绍他们在云计算企业级的解决方案,接下来我给大家上一道菜,这道菜跟前面所有的东西都有非常本质的差别。这个差别在哪里呢?首先,这道菜是OpenStack,说到OpenStack大家能够想到这是哪家公司做的吗?或者这背后会提供什么产品?没有一家具体的公司推出,或者说没有一家具体公司把它作为自己的东西。而前面我们听到的微软介绍企业级解决方案,也是非常令人印象深刻,所以我这里面就给大家介绍一下OpenStack如何在企业级,如何在公有云,如何对于中小企业产生巨大的影响力。而且,我还要强调一点,OpenStack这个东西跟在座的每一个人都非常紧密相关。在座的应该有不少个人的参与者、架构师、也有微软的用户、也有IBM的用户,不管你之前用过什么样的产品,不管你之前是做什么的,今天,我觉得都应该关注一下这个东西,因为它是一个革命性的东西,非常与众不同。

  我是昨天才收到51CTO的邀请,说今天有一个演讲,正好我上周在芝加哥做了一个OpenStack的分享,这个分享把我们一年多来在OpenStack上的所有的经验和总结做了一个非常好的整理,所以,我就拿这个原版的PPT在这里给大家做一下分享。首先,第一段是我刚刚在这里补充的几张幻灯片,因为在OpenStack的会上,参会人员都非常熟悉OpenStack,原版没有背景介绍,所以在公有云实践之前,我介绍一下为什么我们要用OpenStack,为什么它跟前面这些公司企业介绍到他们的方案有本质的不同。

  首先,我介绍一下OpenStack产生的背景。这里面我列了两家公司,其实我应该把IBM和微软也列进去,但是这两家公司更具有典型代表作用,为什么呢?Vmware在虚拟化领域,在数据中心领域,或者在私有云领域,它目前应当说是占据了绝对的领域,当然,IBM和微软也在这个领域占了很大的份额,但是从目前来说,NIMBUS应该是主流,尤其是它的虚拟化这一块。而Amazon在公有云里面绝对完整,从06年发展至今,Amazon还找不到一个旗鼓相当的对手去匹敌,而且在可预见的几年之内也很难找到第二个成功的公有云公司来跟他去匹敌,他们都有很重要的一个特点,就是完全的私有。Vmware的软件全部属于Vmware公司,内部的核心架构保密性非常严,由于对我们这些架构师来说,我们特别想知道它背后到底是什么东西做出来的,所以说OpenStack产生的背景,一个是在私有云里面的Vmware,一个是共有云的NIMBUS,之前一直没有可以席卷这两家的公司出现,直到OpenStack出现,到目前来看,也是最流行的开元预算平台。为什么?我只说四点,第一点,在前面几家公司的开元软件,没有一家是对商业非常友好的,你拿来之后可以重新发行,所以这是第一家完全彻底开放原代码的。再一个就是开放的设计,这张图是我们今年4月份做的一个项目分享,上周我们又做了一个存储项目。它的模式非常开放,任何人都可以看到数据的跟踪,通过这个平台,别人能看到我们在这里面参与的进度。所有人都可以审核代码,也就是说从代码到开放模式,到管理模式,一切都是开放的,对任何人都是非常透明的。再一点,就是它的社区也是完全开放的,任何人都可以参与社区管理。

  再一个就是目前OpenStack是第二大开元基金会,当然,OpenStack其实已经在9月19号成立的时候募集了10亿元的基金,从这个角度来看,OpenStack是目前云计算领域第一大基金会,来支持软件平台的发展,在整个支持开元软件,它跟NIMBUS不相上下。这是OpenStack的支持者,公司分两种,一个是白金会员,一个是黄金会员。白金会员公司是一些公司创始人,其他一些都是NIMBUS的非常核心的构建者,也就是说NIMBUS支持的原版人马现在都来OpenStack,因为NIMBUS是单机世界,是操作系统世界的标准,从这个选择来看,不是我选择,不是我觉得,而是业界IT巨头们觉得OpenStack应该是NIMBUS。再下面就有一些中小型的公司,像思科,像Vmware,当然Vmware的加入是一个非常周折的过程,引起了非常大的争议。一年前,OpenStack就提出了我要把所有的代码设置权贡献出来,到今年9月19号OpenStack基金会正式成立。其实商业运作并不排斥开元运作,只是给大家非常清晰的传递这个信息,OpenStack完全是开放的。

  有大公司的代表,有IT巨头代表,有中小企业的代表,还应该有在座所有人的代表。OpenStack基金会就是一家公司,公司里面分两种角色,一种是管理层,再一个就是决策层,决策层就是董事会,跟一般公司的董事会是一模一样的,它对OpenStack大大小小的决议进行投票,所以大公司的代表、中小企业的代表还有个人会员的代表,非常荣幸的是在今年8月份的个人选举中,我得益于大家的支持当选为OpenStack基金会24个董事会成员之一,是代表社区的8个董事会成员之一,非常感谢大家的支持,所以,正是因为这个,就必须做出一些努力和工作,以推进OpenStack在国内的发展,不负大家的期望。

  今天的主题是用OpenStack来介绍公有云。其实,公有云跟私有云、和企业云解决方案差距不是那么大,它仅仅是服务有一些差别,可能有一些额外的工作。OpenStack来做云计算平台,不管是公有云还是私有云,在目前世界上用OpenStack做公有云的厂家就有图上这些,首先是HP,它最早推出的基于OpenStack的公有云就是Cloud Services。现在云计算大家印象是SE,SE是一个PaaS平台,但是他肯定不会说背后是怎么用OpenStack做云,所以我们作为一家互联网公司,作为国内比较开放的云计算团队,我们愿意分享出我们在OpenStack的所有工作,我在很多地方分享的PPT里面已经把我们所有底层的架构图以及怎么做的都分享出来了,今天只是把我们的工作再总结一下,包括我们后来又做了哪些新的工作。

  议题分三部分,一是建设公有云我们会有哪些挑战,第二是如何运营一个云,第三也是跟大家密切相关的,就是一个社区的公有云。这是我们的需求,当然现在大家很熟悉了,我就不多介绍了。现在大家都认为新浪是微博公司,微博现在有3.5亿个用户,内部有大量的基础设施做整合,有大量的合作伙伴需要用,新浪微博会要求你把服务器资源控制好,对于云计算平台是一个极大的挑战和需求,我们不仅要服务大量的外部用户,还要服务大量的内部需求,我们要建立一个非常可靠稳定安全的云平台,所以我们之前已经做了哪些努力,现在我们从09年就开始了前身,因为新浪是一个PHP为主的,所以我们在PHP上做了很多,我们内部成立了一个小团队利用完全开放的PaaS模式来做,近期可能会做一些发布。微博平台上目前最赚钱的频道就是V游戏,它只占38万分之一,每天PV几个到每天PV几亿、十几亿,它们都可以共同跑在一个平台上。其次,云商店,刚才我听到微软他们提到他们自己有一个应用商店,可能他们的应用商店不是那么平易近人,我需要买他们的多少设备,需要是多高级别的合作伙伴,我才能用到他的产品。但是这个不同,大家进去之后,可以花6块钱买一个授权就可以了。

  OpenStack在上一版本中,我们是全球排名第九,这一版本中我们排名第四,我们所有的员工,他们在社区的工作要大于他们在内部的支持和工作。因为我们的平台是OpenStack,其实是一个非常双赢的结局,所以不要看我们大部分时间在社区,其实百分之百比花在这上面的效率要高得多。同时,我们不仅是做代码的构建,我们还构建了一些项目,之前OpenStack是没有计费的项目,在上一个版本里,我们开元了我们的计费结构。上周我们发布了一个存储解决方案,同时,我们还在OpenStack中国社区做了大量的工作和推广,现在正在做OpenStack中国行,北京、上海,明天去成都,下周在西安等各个城市去介绍OpenStack的架构和技术,让所有人了解OpenStack。

  下面这些非常技术,因为今天是架构师峰会,在座的大部分人都是架构师。说到网络,在OpenStack,大家在座的应该已经有部分的人去尝试OpenStack,现在有一个很大的问题,就是怎么把它的网络给弄好,让它该通的通,不该通的不通,各个之间的流量能够非常高效的去跑,这是非常难的一件事情。尤其是这个软件还涉及到交换机,所以说给大家很大的困惑和不解。在一年两年之后,这个项目毫无疑问是网络虚拟化这块最核心的开元项目。Vmware收购了Nicira,引起了大家的关注。

  这是我们在安全层面做的一些工作,大家看到,各种网络非常复杂,但是我们虚拟网络跟公司内部网络是先起来的,我们OpenStack环境上,新浪是一个大网,各个机房跟所有大网连接起来了,我在这个大内网里面创建OpenStack,将OpenStack环境给大家使用,这个平台上外部用户,也有内部用户,如果他进来渗透内网窃取公司的秘密的话,那么我们就要做一个安全性的增强,因为有些架构和规划的问题,这个代码还没有设置。OpenStack之前有一个安全总工程师解决从外部流量到内部流量的防火墙。再就是存储,云计算里面其实在我看来三大核心问题,第一大问题,虚拟化的问题已经非常完美的解决了,所以说计算资源虚拟化没有问题了。剩下两大挑战,第一大挑战是网络的问题,目前已经一部分得到了解决,但是未来还需要把这个技术变成普通大众的技术。

  第二大难题就是存储的方案,存储已经部分解决了,因为在公有云里面大家很清楚,Amazon的模式是一个模板,它有S3,它有EBS,在OpenStack里面应该也有这两种东西,加起来就可以解决所有对于存储的需求。目前我们内部已经将Swift进行了应用,非常强烈建议大家去用Swift,它绝对是S3的非常好的实践。对于快设备存储、对于BBS的存储,有一个项目叫做Cinder,将各种开元的存储解决方案组合起来提供服务,老实说我们现在新浪的平台没有用Cinder,但是我们已经做了大量的开发,为下一步做考虑。我们做了什么开发呢?Cinder里面还有很多方式,大家可以去尝试。新浪全是千兆网络,包括中国很多地方都是用的千兆网络。这是Swift的架构,我们之前做了非常详细的分享,也就是说它彻底的分布式,彻底的可扩展性。其次,这是一个架构,很简单的一个事情,但其实开发起来不简单。这是账号的整合,OpenStack需要跟新浪内部去整合,还有最重要的一点,就是OpenStack也需要像Amazon一样,要多地区的支持,怎么去做到?这里有一个简单的模式,大家可以尝试一下。

  这是我们监控项目,此前,市面上已经有太多的监控方式,公有云里面,它们都没法运作,因为它们是传统去解决传统模式下的管理虚拟机的监控,更重要的是他需要部署到各个不同的虚拟机和物理机上,再获取信息很不方便,然后我们就开发了一个简单的UI界面去进行展现,这个代码也是公开的。目前有一个社区项目也展示出来了,因为我们的项目更多的跟自己的业务相关,可能不一定适合你,但是可以参考一下。再就是计费,你如果拿OpenStack作为云,首先就要解决应用的问题,你要控制用户不要滥用资源,这时候你就需要对他收费,这也是你盈利的唯一渠道。对不同的公司有不同的开发周期和不同的难度,互联网公司的特点就是快,在上线再说,有什么问题再改。

  OpenStack其实有很重要的问题就是它相比Vmware,它的AI、用户界面太不方便、而且太难看了,而更为重要的就是所有的都是一样的,没法进行差异化管理,所以说,我们最开始就是要强调实现自己的风格特点。我们第一个版本把UI设计了一下,看上去比较简单方便,比较符合中国用户的习惯。但是,不行,还不太令人满意,所以说我们又做了第二个版本,不同的资源去控制不同的选择。但是我们还不够满意,后来我们做了大量的调研,用了一下微软,后来就设计了最新版的界面,更加直观一些,更加好看一些,交互也更加好一些,到目前为止,应该比之前的版本上了几个台阶。最重要的一点,我们分用户的面板跟管理员的面板,这是最新的第三版用户界面,非常方便。同时,我们还希望OpenStack平台能够管理更多的东西,管理服务器,未来还可以控制交换机、控制网络、控制存储。所以说,最终我们希望这个公有云,它是一个前端跟Amazon一样能够为用户提供服务。下面由于OpenStack的一些选择,首先我们OpenStack平台没有任何特殊的硬件,全是服务的服务器,再一个就是操作系统用起来很方便,新的项目几乎没有选择,所以说非常方便,整个过程基本上没有花多大功夫,只关注应用改造开发。

  如何去部署云,从物理服务器部署操作系统自动化,再部署OpenStack服务集群,整个一套自动化了,目标是什么?一批物理服务器,一个机房到位之后,我们一个工程师在半个小时甚至更短时间把一切东西放进来,这也是互联网对于运维自动化、对于部署自动化的极致要求,通过这些我们完全可以做到。其次就是持续集成,这也是一个非常重要的概念,从代码开发到线上部署,一个数据流完全解决整个问题,而且完全是自动化,至于怎么用,不多说了,每个都说得很清楚。

  下面说一下社区公有云,这是美国官方OpenStack基金会提供的免费OpenStack体验和测试环境,我们这个有点类似,但是,它远远不只是一个体验和测试环境,我们这边的计划更大,我们有什么样的计划呢?首先说一下背景,大家听完我的演讲之后,都觉得运营一个公有云可能非常麻烦,我可能需要新浪这样的大公司支持我的事情,然后我需要有服务器、机房和专业的人来做,我还需要推广、需要用户等等,当这一切东西都具备的时候,你已经没有机会了。所以说,StackLab帮助你去做这些事情,有三种模式,一种模式是我建立StackLab的团队,目前是新浪的核心员工,还有全球资深的咨询团队,这个团队完全是免费的。只要有公司说我需要建立一个公有云,这时候你可以找到我们,然后去帮你们把标准的OpenStack建立起来,建立起来之后,作为一个跟北美、日本一样的东西,这时候再加入到StackLab里面来,对于用户来说,他可以免费体验整个环境,这边跟公司的关系完全是志愿者的关系,我帮你把这个StackLab建立起来,条件非常简单,只要你承诺我帮你建立起来的这个东西免费分享给公众用,我就帮助你去做这个事情。因为对于我们来说,我们对这个问题很熟,解决这个问题只需要在一个小时之内,很多人需要花两个月的时间,但是我们只需要你把这个东西分享给公众用,在表面上跟Amazon没有差别,其实它是OpenStack部署的一个全球平台,对用户来说,他只要用就可以了,所以说各种关系跟利益无关,全是志愿者。所以,这是我们的计划。

  最终在这里可以看到,这是OpenStack的团队,也新浪、英特尔、交大和中交,这次去美国之后,我跟OpenStack基金会沟通了一下,还有跟其他国家的公司也沟通了一下,他们对这个非常感兴趣,所以今后的两个月,会有更多的国家和公司列入这个项目中,所以非常欢迎国内的公司参与到这个项目里面来,只要你有机器、有网络,你只需要把这个机器分享出来,你有用户了,你能够运营一个公有云了,你从运营的公有云里收集反馈,通过这个来锻炼你的工程师,锻炼你在OpenStack这块的运营能力,所以这是StackLab的计划。接下来我们还会有更多的资料,大家可以去关注。

  最后做一个总结,OpenStack毫无疑问是目前最受欢迎的平台,首先是开放的平台,其次是非常快的生态系统,没有任何公司控制,完全是社区的,如果你现在部署OpenStack,你需要很多定制化,还需要你投入一些技术资源,必须OpenStack这个事还有点新,还有一定的难度。


整理发布:驿家空间 www.ejait.com