廉价硬件支撑起海量存储系统
新浪科技:Google有多少机器可以用来作为存储?
郄小虎:这个属于商业机密,可以告诉你超过上万台。
新浪科技:一开始Google还穷的时候不会有上万台机器,一开始怎么解决这个问题的?
郄小虎:这个是很有趣的问题,Google一开始走的路线是以大量廉价硬件和高质量软件结合解决这个问题。
新浪科技:廉价硬件。
郄小虎:刚刚提到数据库的问题,可以从市场上买最高端的服务器和数据库,但这些数据库没有办法处理Google的访问量。我们采用的办法是用大量的廉价的机器,构成大规模的机群,这些机群用的硬件,都是你可以在市场上找到最廉价的硬件。
在早期,我记得当时Google,曾经用卡车去买来了大量废弃的内存条,我们高质量的内存条可以保证,储存数据和读出来的数据是一致的,这些低水平的Cye内存条是不能保证这点。你写进去的是1,出来的可能是0。像这样低质量的内存条,一般人家不会要的,但Google会要,我们可以检测到,从这样的错误中如何会恢复。
新浪科技:大家比较关心的是,一个错的信息我们为什么要?难道把错的信息提供给用户吗?
郄小虎:当我们有一百台机器之后,如果有一台机器跟其它九十九台不一致,不能避免每一台都给出正确的答案,大部分给出同一个答案的应该是正确的。
新浪科技:多个机器一块来算。
郄小虎:对。很多时候是多台机器对同一个请求进行计算,进行投票的机制。在早期没有足够的资金购买高端硬件的情况下,我们工程师想到非常聪明的解决方法。
新浪科技:现在不会再做这种?
郄小虎:有一些理念直到今天被应用。我们一直相信,大规模的机群通过协同工作,可以达到高端机器不能达到的行动。
新浪科技:刚才讲到机器学习系统,机器是通过什么样的原理学习的,通过我们自己编的软件,是有归纳还是什么过程,可以做到机器的学习呢?
郄小虎:这个是数学的建模过程,简单的讲它是根据历史来预测将来。如果说,我们看到在过去大部分用户的广告请求中,我们能够发现一些模式,那么我们会把这种模式,用来对未来进行预测。
支付原则:接纳山羊作为广告费
新浪科技:我们今天实际上在最后,也想问tiger一个问题,我们看到Google今天新的CEO上任之后,有很多改变,我们想知道在最开始的时候,Google的创始人包括在现在为止,对这个系统怎么看,他们当中有好玩的小故事没有?
郄小虎:我们两位创始人对系统要求相当高,对每一个产品来讲都要求我们能打造出非常优秀的广告平台。在一开始在我们广告平台没有完全搭建之前,他们已经有了非常长远的宏伟规划,其中有一个有趣的小故事。我们在广告平台建立时需要先设计一个系统,使广告商支付他们产生的费用。
在这个系统设计开始,Google创始人提出,在电子商务不发达的国家,我们必须支持以当地接受的形式进行支付的过程。比如说你在中亚的某个地区,大部分的交易是以物异物的交易,你必须允许广告商用他养的山羊来支付广告费用。
新浪科技:现在没有人给Google交羊是吧?
郄小虎:我们希望将来有一天是会实现的。
新浪科技:今天我们和tiger回忆了Google最赚钱的体系和发展,他有哪些失败怎么走向成功,他有很多经验,希望将来Google有更多的故事跟各位分享,我们今天的活动就到这里,谢谢tiger,谢谢大家!
想认识全国各地的创业者、创业专家,快来加入“中国创业圈”
|