格雷格.巴巴多布罗斯(greg papadopoulos)在太阳计算机系统公司(sun)担任首席技术官(cto)已近10年。过去,巴巴多布罗斯曾总结出制造和销售
高性能计算机的最佳方式;最近,他又提出了帮助公司走出经济低迷期的可行之道。今年早些时候,在与sun的客户和其他首席信息官(cio)进行多方会谈之后,巴巴多布罗斯意识到:一些主要公司在部署it基础设施方面已经达到了无以复加的地步,远超其他大部分企业,并且其需求仍在成倍增长。他认为,这一发展趋势不仅源于消费者对于it无尽的需求,还与计算行业自身的结构有关。
巴巴多布罗斯将这一理论称为“红移”。在天文学里,红移用于描述当天体远离观察者时,其发射的光线的波长产生的变化:会逐渐变长,并向可见光谱靠近红光一端移动。红移理论最早由在声波中观察到这一现象的克里斯琴?多普勒(christian andreas doppler)提出,埃德温?哈勃(edwin hubble)则将此理论应用于光学领域,并进而得出结论:宇宙在膨胀。 在it业,巴巴多布罗斯应用红移理论描述计算需求所呈现出的迅猛增长。其背后原因在于,不仅谷歌公司(google)﹑youtube公司﹑myspace公司﹑salesforce 公司(salesforce.com)等新兴网络公司,就连制药、金融和能源公司等应用高性能计算的传统大型企业,其数据处理需求都已经超出了摩尔定律所定义的范畴。
而其得出上述结果所依据的,绝不仅是某家公司使用了多少个cpu周期。巴巴多布罗斯指出,未来几年内,红移公司的业务将会连续翻番。同时,对于那些处理需求尚未呈现爆炸性增长的蓝移(blue-shift)公司而言,其业务增长幅度则与gdp增长率大致持平。
然而,该理论中也存在着一个显而易见的矛盾:红移公司在投入大量资金扩建it基础设施的同时,还要保持业务成倍增长,其难度可想而知。为了帮助这些公司摆脱这种两难境地,巴巴多布罗斯提出了以sun技术为核心的解决方案:通过迁移到低成本、低风险的公用计算(utility computing)模式,同时将大部分业务运行于可处理复杂计算需求的大型服务器上,这些企业即可克服摩尔定律的固有局限性。
红移理论在技术经济领域无疑具备一定的前瞻性,但同时也有炒作之嫌。巴巴多布罗斯曾是麻省理工学院(mit)的教授,从他对红移理论的阐述中,不难发现其学究气。尽管如此,支持这一理论的论据同样充分。这些论据主要源自云计算(cloud computing)平台提供商的迅速成长,这些公司中既有全球知名的大公司,如亚马逊公司(amazon),其公用存储服务amazon s3从推出到现在,在不到一年的时间里,就已拥有50亿个对象;也包括没什么名气的小厂商,如3tera公司,其公用计算服务的季度增长率高达100%。另外,加拿大皇家银行资本市场公司(rbc capital markets)近期公布的一份报告表明,软件租用服务模式同样呈现出爆炸性的发展趋势,年涨幅达到43%。
同时,那些要为常规数据中心内大量机架服务器提供电力、降温、以及维护服务的公司,则面临着成本不断上升的压力,他们在全力扩充it资源的同时,也开始探索其他解决之道。巴巴多布罗斯借用供电方面的例子来形容这一转变:“既然你可以将自己的发电机接入电网,为什么还把它建在自家后院呢?”
youtube的后继者 twitter就是一家典型的红移公司。利用该公司提供的即时更新的社会网络服务,用户可以通过手机或计算机在互联网上发布短消息。初创企业obvious公司(obvious corp.)于2006年7月推出了此项服务。据该公司数据,twitter目前已拥有5万多名用户,这些人每天在网上发布3万条新消息;而且,twitter用户数量每两到三周就会翻番。
gigavox media公司专为播客和视频网络日志制作者提供基于互联网的制作和分销平台,该公司也希望步twitter的后尘。“与其他处于起步阶段的公司一样,我们渴望成为下一个youtube。”公司创始人道?凯伊(doug kaye)笑着说。从数据处理要求的角度看,这一目标意味着什么呢?“我不知道。”凯伊坦言:“但我们的系统必须达到twitter那样的可扩展性。”
为确保实现这一目标,凯伊选择了亚马逊web服务(amazon web services,aws)。采用该服务,无论是应用程序、存储系统还是计算架构,均按使用付费。这正是红移公司采取的一种方式,亚马逊和谷歌等公司会搭建超大规模的it基础设施,而gigavox等小公司,则会直接采用这些大公司提供的服务。
红移给大公司带来的难题更为棘手。巴巴多布罗斯表示,18个月来,在与客户和cio们的交流中,他已开始理解这一现象。“我能够直接从客户那里感受到这类冲突,他们首先会说,‘it基础设施的利用率太低了,我们的数据中心只有10%~15%的容量切实得到了使用。’”他回忆道:“接着他们会说,‘数据中心的空间和电能已经快饱和了。我不清楚该怎样继续对这种迅猛的增长进行管理。’等等。一方面,基础设施的实际利用率很低;另一方面,这些公司又常抱怨基础设施不足。”
这恰是问题所在。巴巴多布罗斯认识到,有两种不同的应用程序集在推动计算需求的增长:一种主要由面向web的新型应用组成,这些应用推动着用户需求和计算需求的迅猛增长;另一种则由后台系统构成,这类应用增长速度趋于平缓。“一切取决于你处于摩尔定律的哪一端。” 巴巴多布罗斯概括道,“如果应用程序增加的速度快于摩尔定律的描述,你就得面对规模和能源方面的诸多基本问题。如果应用程序增加的速度在摩尔定律限定的范围内,那就仍然存在整合的空间。”
值得注意的是,企业计算需求的迅速增长过去并未得到业界的足够重视,即便在互联网热潮的初期也是如此。yoomba公司是一家鲜为人知的初创企业。该公司拥有一款p2p应用程序,利用这一程序,用户可以拨打基于语音的ip(voip)电话,或者自动向电子邮件地址发送即时消息。今年8月,该公司宣布,在不到一个月的时间内,就有50万人注册。
但是,用户数量并不是导致web2.0公司的it基础设施呈现爆炸性增长的唯一因素。研究机构comscore公司表示,仅5月,美国人在线浏览视频流的总个数就超过了83亿,也就是说,平均每个美国人每天几乎都要观看1个视频。其中,youtube是无可争议的头号视频供应商,上述数字中就有17亿多个视频来自该公司。这对于任何存储和网络系统来说,都可谓千钧重负,即使youtube的新主人谷歌也不例外。
主流公司也开始感受到it处理能力不足带来的重重困难。中型金融机构亚利桑那联邦信用社(arizona federal credit union)为24.4万名消费者和小企业员工提供服务,其年均增长率约为25%。这一速度并没有超过摩尔定律的阐述(在其最初的版本中,摩尔定律认为,芯片内的晶体管数量每两年会翻一番,即年均增长约42%)。然而,该机构的信用卡部门扩充的速度要快得多,从其信用卡拥有量和单卡交易量来看,这块数据处理密集型业务正成倍增长,信用社cio詹姆斯?菲利普(james phillips)介绍说。自2005年加入该公司以来,制定相应的战略,以应对这种发展速度,一直是菲利普的首要任务。
去年,通过部署虚拟化软件,菲利普已将公司数据中心内服务器的数量从87台缩减到61台。但这样的整合依然无法满足未来几年内处理需求的增长。“我们将继续扩建数据中心,但当其容量饱和时,我们就必须做出长期决策了。” 菲利普指出。那意味着,再过一段时间,可能会对该机构30%的it基础设施采取托管服务模式。
那么,如果你的公司规模远比亚利桑那联邦信用社大得多,或者如果你干脆就是全球顶级信用卡公司维萨公司(visa),情况又会怎样呢?
维萨的总交易量以近20%的幅度逐年递增。考虑到其成长的庞大基数,这无疑可视为红移速度了。在假日高峰期间,公司平均每秒就得处理6,800多项交易,而且这些交易的性质也日趋复杂。维萨用了5年时间,投入数亿美元,以更新并升级其交易系统visa integrated payments。去年,该公司在美国中部新成立了一个数据中心,该数据中心今年将能处理1万亿次交易。
计算需求的急剧增长,不仅源自维萨的实时交易授权和清算系统,在其it部门inovant的高级副总裁彼得?丘雷亚(peter ciurea)所称的开放系统中也同样存在。这些开放系统需要完成交易后的各种分析工作,并以web服务的形式提交给客户,比如为小企业提供的月结报告。
丘雷亚说,这些系统由于采取不同的处理模式,因而更适合应用于数据库密集型工作。为了充分利用这些系统的处理能力,维萨位于美国的两大数据中心均实现了转型:采用服务器虚拟化外加自行开发的分布式网格计算架构。“公司核心业务的增长趋势是一致的,但对于增值服务,必须得保存所有数据。”丘雷亚表示,“事实上,存储成本增加的速度要快于实际处理成本。”也正是由于这个原因,“我们需要加大投资以提升处理能力。我希望,随着我们进一步转向网格模式,处理能力增长的加速度也会不断提升。”他说。
许多行业都感受到了it系统处理能力急速增长的发展趋势。在制药业,美国食品和药物管理局(fda)开始推行采用过程分析技术(process analytical technology)的新型质量保证工具,该技术极大地提高了对数据采集和处理的需求;在能源业,随着人们不断在更深的地层,更偏远的地区,特别是海底,勘探油田,其产生的地质数据已达tb级(1tb=1012字节),并且需要在1分钟内加以分析处理。这一趋势在软件作为服务(saas)领域同样显而易见。该行业的头号厂商salesforce公司亲眼见证了其系统需求的飙升。该公司平台部门高级副总裁史蒂夫?费舍尔(steve fisher)透露,其“交易量”[即该公司数据库调用应用编程接口(api)的次数]已从3年前的5亿次/季度窜升到今年的54亿次/季度。
“过去四、五年里,人们一直热衷于谈论计算的商品化,在他们看来,创新似乎已成为过去时了。”巴巴多布罗斯表示,“通用计算的确是一种商品,然而,如何设计货真价实的高效系统,以完成此类工作,并部署数据中心软件,加强对这些软件的管理,籍此提高生产力,这一切还都有待实现。”
公用计算
在巴巴多布罗斯看来,红移实质上就是一份诊断书,而针对症结的处方则是回归公用计算和共享架构。
公用计算的概念由来已久,最早可以回溯到国际商业机器公司(ibm)的大型机时代。与过去相比,现在不仅公司数据处理需求激增,同时也出现了一系列技术进步:高速网络几乎无处不在;高密度、大功率、高可扩展性的服务器和存储系统投入使用;数据中心虚拟化技术以及可无缝集成公用计算网格的软件大量涌现,等等。
“现在,能够开发出此类工具,具备相应的专业知识,可达到如此管理水平的公司只有为数不多的几家。”戴尔公司(dell)数据中心解决方案部门副总裁兼总经理费雷斯特?诺罗德(forrest norrod)总结道:“这种理念正在慢慢渗透到整个行业。”
事实上,sun并非唯一一家押宝将企业内部计算大规模转移到互联网云(internet cloud)上的公司,ibm和惠普公司(hp)等大型it厂商提供某种形式的公用计算服务已经有一段时间了。此外,谷歌和亚马逊是这场游戏的新玩家。谷歌正在修建一系列大型数据中心(具体数字有待披露,据估计至少有20个),并公开表示计划为企业提供在线计算服务。而作为aws的组成部分,亚马逊的弹性计算云服务(elastic compute cloud,ec2)也于去年粉墨登场。
“过去,我们曾建立了大型的、具有成本效益的、高可扩展性的、高性能的计算架构。”亚马逊负责产品管理和开发人员关系的副总裁亚当?塞利普斯凯(adam selipsky)表示,“因此,当前我们工作的重点在于,鼓励所有开发人员都积极利用这一架构,而无需考虑他们所在公司的规模大小和经济状况。”
凭借亚马逊通用计算平台所采用的按使用付费模式,企业支付费用的标准为:10美分/cpu?小时;与传统的内部服务器模式相比,这种做法无疑极大地降低了成本。sun也提供一项与此近似的服务,价格为1美元/cpu?小时。sun认为,这一标准实际上低于亚马逊的报价,因为它只针对cpu的实际处理时间收费,而非客户租用云架构(cloud infrastructure)的总时间。
然而,不少人质疑公用计算再度繁荣一说。“毫无疑问,公用计算的概念在不断完善。”戴尔的诺罗德指出:“但可笑的是,有些人宣称,现在的形势仿佛是1950年的重演,全世界的所有工作都可以交给7台计算机完成。这样的预言与其第一次出现时一样滑稽。”
亚利桑那联邦信用社的菲利普表示,公司可以在公用计算所带来的经济效益与掌控自身命运之间,求得某种平衡。“cio们总是希望掌握绝对的控制与主导权,他们很难走出这种思维定式。”尽管如此,菲利普依旧认为:“公用计算是未来发展的大势所趋。仅仅出于商业成本的考虑,也会有越来越多的应用程序采取这种模式。”
接下来还有两个问题:第一,公用计算会在何种程度上取代传统的内部数据中心?第二,这些以服务为导向的大型数据中心究竟是什么样的?后者与sun的未来关系更为密切。
黑盒计算
初夏的一天,一辆载着一个乌黑集装箱的卡车,停靠在位于斯坦福大学(stanford university)的斯坦福线性加速器中心(stanford linear accelerator center)的50号大厦外。集装箱是预制的,配备有内置降温系统,里面满满当当地排列着252台sun服务器。这就是sun所谓的黑盒(blackbox)数据中心。斯坦福线性加速器中心的物理学家们将用之筛选数据,以研究亚原子微粒在以接近光速的速度碰撞时所产生的影响。斯坦福大学科学计算与计算服务系高性能存储与计算负责人兰迪?梅伦(randy melen)介绍说,由于购买了sun的集装箱式数据中心,斯坦福大学无需新增任何建设成本,计算能力就增加了三分之一还多。
黑盒专为那些尽管面对大规模计算需求,但尚未做好准备将所有基础设施悉数转移到互联网云的公司量身订做。它是sun针对红移公司的计算需求而制定的策略。巴巴多布罗斯预言:未来,“谷歌模式”,也就是那些部署有几百台低端服务器的数据中心,将让路给极度密集的高端产品,如黑盒和sun的最新超级计算机星座系统(constellation system)。后者是基于sun blade 6000服务器的、高效、低功耗的系统,可用来运行气候、气象及海洋建模等复杂应用程序。第一台星座系统部署在德克萨斯大学(the university of texas)的德克萨斯高级计算中心(texas advanced computing center)。
巴巴多布罗斯再次以电网为喻,对两种模式进行了比较。他说,这就好比一座发电量达几百万瓦特的热电厂与一组便携式本田(honda)发动机之间的对决。
问题在于,sun的“大铁箱”就一定能优于成百上千的“商品箱”吗? “是的,服务器的销量将成倍增加。” 电子杂志《战略新闻服务》(strategic news service)的创始人兼总裁马克?安德森(mark anderson)如此表示:“但它们一定就是运行solaris系统的sun服务器吗?坦白地说,我不能确定。现在,各类产品都开始走向开放系统,尤其是在商用服务器上运行linux。”
然而,到目前为止,巴巴多布罗斯押宝“以大胜小”的策略似乎已开始取得成效。经历了网络泡沫之后连续5年的亏损,sun的命运开始逆转,这归功于它在2006年4月任命乔纳森?舒瓦茨(jonathan schwartz)为首席执行官(ceo)。舒瓦茨曾任公司首席软件架构师,同时也是红移理论的坚定支持者。前不久,sun 5年来首次公布了全年赢利情况。sun在最新财报中表示,尽管营业额增长趋于平缓,但毛利润呈现上升趋势,涨幅高于47%。之后不久,sun又表示,会开始新一轮重组,削减部分岗位,但具体数量不确定。
看来,在经历了多年的不景气之后,sun将再次“放射光芒”。但是,sun和理论物理学家们都需要思考这样一个问题:红移会永远持续下去吗?(informationweeks)