Facebook背后的软件
2010年6月，Google发布全球Top 1000网站。Facebook名列前茅。

以Facebook现在的经营规划，诸多传统效劳器的技能均将溃散或底子无法支撑。那么面临5亿的活泼用户，Facebook的工程师们又将如何让网站平稳作业呢？伯乐在线博客的这篇译文将展示Facebook的工程师完结这个艰巨使命所用到的一系列软件。

Facebook等级规划的应战



在咱们深化细节之前，先了解一组Facebook不得不面临数据，你就能够幻想这种规划。

● Facebook每月的PV量：630,000,000,000 （6千3百亿）

● Facebook上的图片数量超越其他图片网站的总和（包含比方Flickr这样的图片网站）

● 每个月有超越30亿的图片上传到Facebook

● Facebook体系每秒能够处理120万张图片。这还不包含Facebook的CDN处理的图片。

● 每月处理超越250亿的信息内容（包含用户状况更新，谈论等）

● Facebook的效劳器数量超越3万台（此数据为2009年的数据）



Facebook所用的软件

从某些方面来说，Facebook仍是归于LAMP类型网站，可是，为了合作其他许多的组件和效劳，Facebook对已有的办法，现已做了必要的改变、拓宽和修正。

比方：

● Facebook仍然运用PHP，但Facebook已重建新的编译器，以满意在其Web效劳器上加载本地代码，然后进步功能；

● Facebook运用Linux体系，但为了本身意图，也已做了必要的优化。（尤其是在网络吞吐量方面）；

● Facebook运用MySQL，但也对其做优化。



还有定制的体系，比方， Haystack — 高度可扩展的目标存储，用来处理Facebook的巨大的图片；Scribe — Facebook的日志体系。

下面展示给大家的是，全球最大的交际网站Facebook所运用到的软件。

Memcached

Memcached是一款适当有名的软件。它是分布式内存缓存体系。Facebook(还有许多的网站)用它作为Web效劳器和MySQL效劳器之间的缓存层。经过多年，Facebook已在Memcached和其相关软件（比方，网络栈）上做了许多优化作业。

Facebook运转着成千上万的Memcached效劳器，借以及时处理TB级的缓存数据。能够这样说，Facebook具有全球最大的Memcached设备。

HipHop for PHP

和运转在本地效劳器上代码比较，PHP的运转速度相对较慢。HipHop把PHP代码转换成C++代码，进步编译时的功能。由于Facebook很依靠PHP来处理信息，有了Hi自己制作小程序pHop，Facebook在Web效劳器方面更是如虎添翼。

HipHop诞生进程：在Facebook，一小组工程师（开始是3位）用了18个月研制而成。

Haystack

Haystack是Facebook高功能的图片存储/检索体系。（严格来说，Haystack是一目标存储，所以它不一定要存储图片。）Haystack的作业量超大。Facebook上有超越2百亿张图片，每张图片以四种不同分辨率保存，所以，Facebook有超越8百亿张图片。

Haystack的效果不单是处理许多的图片，它的功能才是亮点。咱们在前面已提到，Facebook每秒大约处理120万张图片，这个数据并不包含其CDN处理的图片数。这可是个惊人的数据！！！

BigPipe

BigPipe是Facebook开发的动态网页处理体系。为了到达最优，Facebook用它来处理每个网页的分块（也称“Pagelets”）。

比方，谈天窗口是独立检索的，新闻源也是独立检索的。这些Pagelets是能够并发检索，功能也随之进步。如此，即便网站的某部分停用或溃散后，用户仍然能够运用。

Cassandra

Cassandra是一个没有单点故障的分布式存储体系。它是前NoSQL运动的成员之一，现已开源（已加入Apache工程）。Facebook用它来做邮箱查找。

除了Facebook之外，Cassandra也适用于许多其他效劳，比方Digg。

Scribe

Scribe是个灵敏多变的日志体系，Facebook把它用于多种内部用处。Scribe用处：处理Facebook等级日志，一旦有新的日志分类生成，Scribe将主动处理。（Facebook有上百个日志分类）。

Hadoop and Hive

Hadoop是款开源Map/Reduce结构，它能够轻松处理海量数据。Facebook用它来做数据剖析。（前面就提到了，Facebook的数据量是超海量的。）Hive起源于Facebook，Hive能够运用SQL查询，让非程序员比较容易运用Hadoop。（注1: Hive是是基于Hadoop的一个数据仓库东西，能够将结构化的数据文件映射为一张数据库表，并供给完好的sql查询功能，能够将sql句子转换为MapReduce使命进行运转。 ）

Thrift

Facebook在其不同的效劳中，运用了不同的言语。比方: PHP用在前端，Erlang用于谈天体系，Java和C++用于其它当地，等等。Thrift是内部开发的跨言语的结构，把不同的言语绑定在一起，使之能够彼此“沟通”。这就让Facebook的跨言语开发，变得比较轻松。

Facebook已把Thrift开源，Thrift支撑的言语品种将更多。

Varnish

Varnish是一个HTTP加速器，担任负载均衡人物，一起也用于快速处理缓存内容。

Facebook用Varnish处理图片和用户相片，每天都要处理十亿级的恳求。和Facebook其他的运用运用相同，Varnish也是开源的。



Facebook能够平稳运转，还得利于其他方面

尽管上面现已提到了一些构成Facebook体系的软件，可是处理如此巨大的体系，本身就是一项复杂的使命。所以，下面还将列出使Facebook能平稳运转的一些东西。



逐渐发布&暗发动

Facebook有一个体系，他们称之为“门卫”。该体系能够针对不同品种的用户运转不同的代码。（它简略介绍了代码库中的不同条件。）该体系让Facebook逐渐发布新特性、A/B测验、激活仅针对Facebook职工的特性 等等。

门卫体系也让Facebook做些“暗发动”的工作。比方，在某一特性上线之前，能够激活该特性背面的元件。别的，它还能够做模拟压力测验，发现瓶颈和潜在的问题。静静发动一般都是在正式发动之前的2周完结。



实时体系的简介

Facebook会细心监控本身体系，风趣的是，它还监控每个PHP函数在实时出产环境下的功能。这一实时PHP环境监控是经过一个叫XHProf的开源东西完结的。



逐渐禁用某些特性，借以进步功能

假如Facebook遇到功能问题，Facebook有许多的途径来逐渐禁用不很重要的特性，以进步其核心特性功能。



没有提到的东西

尽管这儿无法过多深化硬件方面，但硬件肯定是Facebook能到达空前规划的重要因素。比方，和其他大型网站相同，Facebook也用CDN来处理静态内容。Facebook还在美国西部的俄勒冈州建有一超大的数据中心，能够随时添加效劳器。

当然了，除了前面现已提到的，还有其他许多的软件没有提到。可是，希望能杰出其中非常有特征的。



Facebook和开源之间的“爱情”

Facebook和开源之间联络，此文不能不提，虽不能说Facebook是多么地钟爱开源，但至少能够这样说，Facebook是“爱”着开源的。

Facebook不只运用（也捐献）开源软件，比方，Linux、Memcached、MySQL、Hadoop等等，它还内部开发不少软件，并且也将之开源。

Facebook开发的开源工程，包含HipHop、Cassandra、Thrift和Scribe。别的，Facebook也把Tornado开源了。Tornado是一个高功能的Web效劳器结构，由FriendFeed暗地团队开发而成。（2009年8月，Facebook收买FriendFeed。）

（Facebook所用到的开源软件，能够在Facebook的开源页面找到。）



面临更多的大规划应战

Facebook以一种令人难以置信的速度生长。它的用户群几乎是成倍添加，活泼用户数量现已挨近5亿。并且，谁都无法猜测今年底，活泼用户量会到多少。

Facebook乃至成立了一个专门的“生长小组”，该小组不断考虑如何让人们运用facebook并融入到facebook中。

这一快速生长，意味着Facebook将遇到不同的功能瓶颈。Facebook会面临来这如下方面的应战：PV、查找、上传的图片和状况音讯，用户之间的交互和用户和Facebook之间的交互带来的应战。

这也是Facebook面临的现实。Facebook的工程师们将继续寻求新办法来扩展（这不仅仅添加效劳器的问题了）。比方，跟着网站生长，其图片存储体系现已屡次彻底重写。

所以，咱们将看到Facebook的工程师们奔向下一个“山头”。咱自己制作小程序们信任他们不会孤负众望。究竟，他们正跨越山头，那个咱们大多数人仅能神往的山头；他们正扩展网站，那个用户来自全球各地的网站。当你完成那个里程碑时，你将彪炳史册。
万鸿技术部,自己制作小程序