Google公开自己设计组装服务器的秘密
服务器上装电池、使用技嘉主板、数据中心以货柜为单位,每箱里面有1160台服务器...在经济不景气当道的年代,Google要分享自家数据中心的省钱方式。 公开分享
Google首次展示自家的服务器设计 Google对于自家电脑计算一向口风很紧,但上个月则首度在一场会议中做了展示,谈论有关数据中心用电效率的议题。大部分企业都会跟诸如戴尔、惠普、IBM或Sun购买服务器。不过Google所拥有的数十万台服务器都是自己设计打造来的,Google认为这是公司的核心技术之一。参与过许多Google服务器设计的Ben Jai(翟本乔)则在众人面前展示一款现代的Google服务器。
Google服务器设计师Ben Jai(翟本乔) Google的最大惊奇:每台服务器都有一颗12伏特电,确保万一主断源断电时还可持续供电。Google也首度透露,从2005年起,其数据中心加入了标准运输货柜,每个都有1160台服务器,耗电量可达250 千瓦特(kilowatts)。听起来似乎很技术怪胎的作法(geeky),不过对于现场许多以经营数据中心(动辄好几千台服务器)为生的专家而言,大家不仅对于Google这种内建电池的作法感到新奇,同时也对公司可保密这么久而啧啧称奇。Jai受访时表示,Google从2005年就开始采用这种设计,至今已经是第六或第七代设计了。“这是我们的曼哈顿计划。”Jai如此说。Google对于节电性能方面十分在意,因此现在将自家经验公开分享。Google运营副总裁Urs Hoelzle表示,由于景气不佳导致企业预算紧缩、环保意识抬头、能源价格高涨等因素,现在是应该Google站出来多谈一点效率的时机了。“若大家没兴趣,你谈太多也没有用。”Hoelzle表示,但现在市场态度已经有了转变。 內建电池有专利Google也谈到一些数据中心议题,如电力传送、冷却、如何确保冷热空气不会混在一起。负责数据中心设计与性能评估的Chris Malone表示,Google的数据中心现在的性能已经达到环保局希望采先进技术在2011年才能达成的标准。“我们的作法现在已经达到2011年的目标了,我们采取最佳作法与一点小创新,这些技术其他人也都拿得到。”Malone表示。
Google服务器背面 为何要内建电池?为何这种电池作法很重要呢?答案是金钱。一般数据中心多倚赖称为不间断电源系统(UPS)的大型中控机型,这基本上算是大电池,会在主电力失效而发电机还来不及启动时,暂时协助供电。Jai表示,直接把电力内建到服务器比较便宜,而且成本能直接跟服务器数量相符合。“这种作法比使用大型UPS节省得多。”他说,“如此也不会浪费多余的容量。”效率也是另一个财务考量因素。大型UPS可达92-95%的效率,这意味着许多电力还是被浪费掉了。但Google采用的内建电池作法却好很多,Jai表示,“我们测量的结果是效率超过99.9%。”
Google运营副总裁Urs Hoelzle Google服务器厚度3.5寸,2U(两机柜式),它有两颗处理器、两颗硬盘,采用技嘉(Gigabyte)主板有八个内存插槽。Google采用AMD与英特尔的x86处理器,且Google也在网络设备中采用电池设计,Jai如此表示。
总成本加加看 效率很重要的原因不仅是可降低电费,且效率不佳还会制造多余废气,导致需要多花一笔钱来做冷却。
总成本加加看Google所掌管的服务器数量极为庞大,因此这些成本累积起来很可观。Jai自己就承受许多压力,自2003年至2005年间,他是服务器设计团队中唯一的的电力工程师,“我有长达2年半的时间每天都工作14个小时,”他说,之后公司才加了人力来分担他的工作量。Google对这个内建电池的设计还拥有专利,“但我们很愿意把这套技术授权给供应商使用。”Hoelzle表示。
货柜数据中心Google对于电力效率的着迷还可从变压器设计看得出来。变压器会把AC交流电(墙壁插座)转换成DC直流电(电池电力),一般变压器会提供电脑5伏特与12伏特的直流电。Google的设计则只供应12伏特,只有在主板上做必要的转换。
Google数据中心效率逐渐提升 这会让每块主板成本增加1-2美元,但却很值得,因为如此供电不仅较便宜,且供电也可比较接近峰值容量,效率会更好。Google甚至还会注意以12伏特经由铜线导电会比5伏特来得有效率。
摄自Google在现场播放的数据中心货柜视频。
跟一般数据中心一样,Google的货柜也有把地板提高。
货柜服务器一般人一次只会买一台电脑,但Google所思考的单位却很不同。Jimmy Clidaras透露,Google的数据中心核心是由标准1AAA货柜组成,每个货柜里有1160台服务器,每座数据中心都有好几个货柜。这种模组化数据中心并非Google独家。包括Sun与Rackable Systems都有销售这种产品,但Google是从2005年就开始采用。Google一开始实验也没那么顺利,Clidaras表示,第一次还发生找来的吊车不够大,吊不起一台货柜。整体而言,Google的作法与选择都是经过成本(含软、硬件与设备)精算的考量。“从一开始,我们就很重视每个搜索的成本,”Hoelzle表示,“这也是被逼出来的,毕竟每个搜索的营收实在很低。”他表示,当时只买得起主流x86处理器的服务器。“10年前,那时要提供免费搜索就只能找很便宜的硬件,你买不起大型主机,因为那就完全没有获利空间了。”他说。
Google模組化数据中心图解