某大型社区网站系统

亦凉 2022-06-17 10:44 220阅读 0赞

流量集中  
  
大部分bbs的流量都是冷热不均，相差很大，热帖一天可达数百万访问，冷贴就是一个访问量也没有。热帖主要是在列表第一版的帖子，和精华贴，这些帖子的流量加起来至少占到整个bbs流量的50%以上。虽然热帖占了很大流量，但这些热帖的数量不会太多，所以用缓存架构的话对这些热帖优化程度就很大，对热帖优化程度大相当于对整个系统优化程度大。  
  
实时性  
  
每发或回复一张贴，就必须让这张贴立刻发布出去，用户能马上看到。所以用到缓存架构的话，这个缓存要能实时更新。  
  
回帖少，看帖多  
  
因为bbs也是由人来组成，所以这个现象是不可改变的，1/10是比较保守，估计大部分都在1/100以下吧。虽然有实时性，但是因为回帖少看帖多，意味着触发更新缓存的频率少，比率越小，优化效果越大。  
  
  
系统主要解决问题  
  
bbs因为是实时系统，所以常规上都是设计为纯动态+直读数据库架构，纯动态架构的性能问题是一个突出问题，在达到一定访问量或受到一些攻击时，系统就容易挂掉，严重的时候数据库还会损坏，数据库坏掉的话服务恢复时间就很长。更困惑人的是，以往即使知道性能是个问题，但是去解决这个问题的风险很大，需要对系统进行很大的变动。做很大的变动就难免会引发很多新的bug，这样很容易导致大量的网友流失。  
  
今天讲的这个架构基本可以解决性能问题，而且对程序部分的修改不算很多，而且有一个成形的实施步骤，按步骤就能做完。  
  
架构图  
  
前面是lvs负载均衡，lvs下面挂几台squid，squid的配置统一指向到中层代理nginx，由nginx负载均衡到几台应用服务器，后面就是数据库。其中lvs安装调试起来可能麻烦一些，可以用haproxy替换，haproxy是目前7层纯代理中性能最好的，安装配置和出问题时处理也相对简单。squid的配置比较特别的是缓存时间可以尽可能长，对单贴的缓存时间可以配到一天以上，目的是让帖子尽量不要过期，只有后端发来更新的请求才会更新。  
  
高性能  
  
因为有了缓存，很多帖子都被缓存住了，请求的时候当然直接从缓存出去，不会触及到应用服务器，所以效率很高。  
  
gzip压缩可以减少页面流量80%左右，100k的页面可以压到20k这样，一方面减少了带宽，另一方面用户访问起来感觉也会快很多。这个是在中层代理的nginx上完成的，用nginx做这个事情在效率方面没有任何感觉。  
  
应用服务器可以看作一个很慢的，很容易挂掉的系统，中层代理的负载均衡可以将它们保护起来，在这里用nginx作负载均衡有几个优点：  
1，可以用多端口，这样在一台服务器上可以多开几个应用服务器。  
2、nginx可以在访问一个后端出错之后，将这个请求再发到另一个后端，这样基本可以保证每个请求都能返回正确的数据。  
  
实时性静态化  
  
因为用到了缓存，所以页面中有不少要修改的地方：  
1、用rewrite把帖子变成一个.html结尾的文件，虽然squid也可以缓存带？的链接，但是rewrite技术可以使链接固定并且简洁，比如帖子有两个参数帖子id和分页的页数，用?有两个参数，如果把这两个参数的顺序调过来，那么squid就认为是两个链接，有两份缓存，更新缓存时就会漏掉一个。  
2、squidclient是squid自带的一个程序，可以用它来观察squid的运行状态，和更新缓存，更新缓存的机制就是向squid发送一个特殊的请求让squid去删掉对应的缓存链接，然后下一次访问到这个链接的时候，squid就会重新去后端取这个链接的内容。  
3、因为用到了缓存，页面上是不能直接放一些信息，比如用户登录状态，在动态程序中可以直接用程序语言读取显示，但在这个架构中只能把它从页面中除去，然后用javascript读取cookie来显示。有其它需求的话，还要用到ajax或json技术。  
4、同样是因为有缓存，每次更新缓存都要花去一些时间，为了加快速度，所以会用到异步更新缓存的机制。用到异步更新会出一个问题，当用户得到发帖成功的响应的时候，事实上这张贴还没有更新，如果让用户直接访问这张帖子，那他往往看不到自己刚发表的回帖，这会让用户联想到“审核”这个动作，感觉非常不好。所以这个发帖成功这个动作应该让用户看到“5秒后跳到某某页面”这样的提示，让他缓冲一下，这样程序就有足够的时间来执行更新缓存的动作了。另外一个是更新缓存时遇到分页帖子就不好处理，所以应让页面尽可能长，像猫扑天涯的帖子都很长，就是这个原因。  
5、因为脱离了动态程序，所以之前如果是用动态程序直接统计点击量的话，点击量就会有问题，这时可以通过统计squid的log来统计帖子的点击量，然后再更新到后台的一个接口里。  
  
  
二级缓存的优点是可以进一步减少请求量，这里配置了4台缓存，意味着一个热门帖子每次更新都会更新这4台机器，这4台机器就会发出4个请求，用一台二级缓存就可以化为1个请求，理论上可以将请求优化掉3/4。另外是squid这个服务器在一些情况下会出现某台机请求全部穿透的现象，这时二级缓存就可以拦截住这些量很大的请求。一般来说，一个系统用到二级缓存就基本足够了，没有必要用到三级。  
  
缓存过期时间在nginx或squid做，比较方便，比如有个没有被缓存的页面，访问量突然很大，这时可以立刻调整它让它暂时被缓存住。  
  
在nginx可以通过log观察，屏蔽掉一些ip和访问，比如一些设计不良的爬虫来爬页面，造成系统负载突增，可以直接将它的ip或user-agent屏蔽掉。  
  
权重和分流调节是lvs和nginx都有的功能，如果机器性能不均造成负载不均，或者有机器处于调试状态，可以调整他们的访问权重。lvs因为工作在http的第4层，所以分流功能不算太强，除了可以调权重，另外就是可以根据客户端ip分，还有根据后端负载动态分。nginx是7层代理，分配方式就更多，可以实现基于ip/url/header/后端响应速度等等来分。  
  
高可用性就是说系统的稳固状态，最好的就是这个系统永远都能正常访问，无论什么时候访问都绝对能打得开，当然这世界上根本没有永远都能打开的系统了，所以我们也只能让它尽可能访问正常。在计算机系统中某一台单机的可用性都是不可靠的，单机即使软件性能做到很强，但是硬件也会有问题，所以要用到集群架构。  
  
lvs通过双机热备，实时切换，可保证有故障时会自动换到备机。  
squid直接利用lvs的故障屏蔽  
nginx可利用自己写的程序来实现热备，也可以用lvs分到两台nginx上  
应用服务器就是nginx集群  
数据库就麻烦一些，现用的方案是通过程序判断来做双机热备  
  
因为用到缓存架构，大量的流量都是通过缓存直接输出的，这样就可以轻松实现流量分配，一般的分流问题有两种，电信网通的分流和双线路分流，都可以做。  
  
电信网通，在电信机房和网通机房各架一组缓存，中层代理和应用服务器都用一套。  
多线路分流和电信网通分流差不多，就是比如两条100M的带宽，怎么一起服务。  
  
权限划分，这个是大公司才会有的问题了，大公司分工比较细，比如我就是做运维的，所以我就主要管理前面的squid和nginx这个部分，应用服务器和数据库就让产品维护的兄弟去做，在性能优化有什么问题需要他们帮忙的，我只提供方案，让他们去实施。有部分要合作的，要想办法减少耦合度，像点击量统计这部分，他们设计一个接口，然后我去写统计log的脚本，然后往接口发。反过来也一样，我设计接口，然后他们发来。