LNMP动静分离&&memcache缓存服务器

Myth丶恋晨 2023-05-29 09:14 169阅读 0赞

博文大纲：
一、MemCache简介

  • 1、协议
  • 2、事件处理
  • 3、存储方式
  • 4、通信分布式
  • 5、memcached的应用场景
  • 6、memcached应用中的工作流程
  • 7、memcached的一致性Hash算法
    二、部署LNMP动静分离&&memcache缓存服务器
  • 1、环境准备
  • 2、部署Nginx服务器
  • 3、部署PHP服务器
  • 4、部署MySQL数据库
  • 5、部署Memcached服务器
  • 6、部署memcache客户端
  • 7、使用 memcache 实现 session 共享
  • 8、测试memcached缓存数据库

一、MemCache简介

MemCache 是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。 MemCaChe 是一个存储键值对的 HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的 key-value 存储，数据可以来自数据库调用、API调用，或者页面渲染的结果。MemCache 设计理念就是小而强大，它简单的设计促进了快速部署、易于开发并解决面对大规模的数据缓存的许多难题，而所开放的 API 使得 MemCache用于 Java、C/C++/C#、Perl、Python、PHP、Ruby 等大部分流行的程序语言。
另外，说一下为什么会有 Memcache 和 memcached 两种名称？其实 Memcache 是这个项目的名称（也时它客户端的名称），而 memcached 是它服务器端的主程序文件名。

memcached是一个键/值系统，系统相对于MySQL简单很多，虽然MySQL也有缓存，但是数据库的SQL解析会耗费性能，查询慢于memcached，另外MySQL的缓存设计得更加复杂，因为要考虑事务，日志，存储引擎等模块，它的性能也没有memcached好。

memcached只做一件事情，简单高效，在cache上比MySQL强，这应该容易理解。

memcached作为高速运行的分布式缓存服务器，具有以下的特点：

  • 协议简单；
  • 基于libevent的事件处理；
  • 内置内存存储方式；
  • memcached不互相通信的分布式。

1、协议

memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。
因此，通过telnet也能在memcached上保存数据、取得数据。

2、事件处理

libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。

3、存储方式

为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。

4、通信分布式

memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。

5、memcached的应用场景

1）数据库的前端缓存应用：让它来分担数据的并发压力，当数据更新时，可以使程序通知缓存进行更新
2）session会话共享的共享存储

6、memcached应用中的工作流程

它是一种内存缓存，可通过API的方式读取内存中缓存的这些数据，当用户需要读取数据时，会首先访问memcached缓存，如果缓存中有数据就直接返回给前端的应用程序，如果没有，再转发给后台端的服务器，这时服务器除了返回数据给用户，就会将数据更新给memcached缓存。

如果实际生产环境中，缓存服务器需要重启（或者断电），那么缓存中的数据将会丢失，那么这时替换的服务器并发压力会扩大，可能会导致引入的服务器也跟着停机，无法提供服务，那么这时我们的处理流程是这样的：
首先从负载均衡中将WEB应用停掉- - - >让负载均衡不再转发数据给WEB - - >接着启动缓存服务器- - - - > 通过程序把数据库的内容初始化到缓存服务器中- - - - >然后将网页应用启用- - - - >重启数据库服务器

7、memcached的一致性Hash算法

一致性 Hash 算法通过一个叫做一致性 Hash 环的数据结构实现 Key 到缓存服务器的 Hash 映射。简单地说，一致性哈希将整个哈希值空间组织成一个虚拟的圆环（这个环被称为一致性Hash 环），如假设某空间哈希函数 H 的值空间是 0~2^ 32 -1（即哈希值是一个 32 位无符号整型），整个哈希空间如下：

LNMP动静分离&&memcache缓存服务器

下一步将各个服务器使用 H 进行一个哈希计算，具体可以使用服务器的 IP 地址或者主机名作为关键字，这样每台机器能确定其在上面的哈希环上的位置了，并且是按照顺时针排列，这里我们假设三台节点 memcache经计算后位置如下：

LNMP动静分离&&memcache缓存服务器

接下来使用相同算法计算出数据的哈希值 h,并由此确定数据在此哈希环上的位置。假如我们有数据 A、B、C、D、4 个对象，经过哈希计算后位置如下：

LNMP动静分离&&memcache缓存服务器

根据一致性哈希算法，数据 A 就被绑定到了 server01 上，D 被绑定到了 server02 上，B、C在 server03 上，是按照顺时针找最近服务节点方法。

这样得到的哈希环调度方法，有很高的容错性和可扩展性：
假设 server03 宕机：

LNMP动静分离&&memcache缓存服务器

可以看到此时 C、B 会受到影响，将 B、C 节点被重定位到 Server01。一般的，在一致性哈希算法中，如果一台服务器不可用，则受影响的数据仅仅是此服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。
考虑另外一种情况，如果我们在系统中增加一台服务器 Memcached Server 04：

LNMP动静分离&&memcache缓存服务器
此时 A、D、C 不受影响，只有 B 需要重定位到新的 Server04。一般的，在一致性哈希算法中，如果增加一台服务器，则受影响的数据仅仅是新服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。

综上所述，一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据，具有较好的容错性和可扩展性。
一致性哈希的缺点：在服务节点太少时，容易因为节点分部不均匀而造成数据倾斜问题。我们可以采用增加虚拟节点的方式解决。
更重要的是，集群中缓存服务器节点越多，增加/减少节点带来的影响越小，很好理解。换句话说，随着集群规模的增大，继续命中原有缓存数据的概率会越来越大，虽然仍然有小部分数据缓存在服务器中不能被读到，但是这个比例足够小，即使访问数据库，也不会对数据库造成致命的负载压力。

二、部署LNMP动静分离&&memcache缓存服务器

1、环境准备

LNMP动静分离&&memcache缓存服务器

下载我提供的源码包，并将对应的源码包上传至各个服务器。

2、部署Nginx服务器

  1. [root@nginx ~]# yum -y erase httpd     #卸载自带的httpd服务
  2. [root@nginx ~]# yum -y install openssl-devel pcre-devel    #安装所需依赖
  3. [root@nginx ~]# cd /usr/src
  4. [root@nginx src]# rz           #上传Nginx源码包
  5. [root@nginx src]# tar zxf nginx-1.14.0.tar.gz
  6. [root@nginx src]# cd nginx-1.14.0/
  7. [root@nginx nginx-1.14.0]# ./configure --prefix=/usr/local/nginx --user=www --group=www && make && make install
  8. #进行编译安装
  9. [root@nginx nginx-1.14.0]# useradd -M -s /sbin/nologin www   #创建运行用户
  10. [root@nginx nginx-1.14.0]# ln -sf /usr/local/nginx/sbin/nginx /usr/local/sbin/    #对命令做软链接
  11. [root@nginx nginx-1.14.0]# nginx     #启动Nginx服务
  12. [root@nginx nginx-1.14.0]# netstat -anput | grep 80     #确定80端口在监听
  13. #以下是配置nginx与PHP服务器关联
  14. [root@nginx nginx-1.14.0]# cd /usr/local/nginx/conf/
  15. [root@nginx conf]# vim nginx.conf   #编辑主配置文件
  16. #在server{  }字段中添加以下内容
  17.         location ~ \.php$ {            root           /var/www/html;      #指定PHP服务器的网页存放路径   
  18.             fastcgi_pass   192.168.20.3:9000;    #指定PHP服务器监听端口
  19.             fastcgi_index  index.php;
  20.             fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
  21.             include        fastcgi.conf;
  22.         }
  23. #更改完成后，保存退出即可
  24. [root@nginx conf]# nginx -s reload      #重启使更改生效

3、部署PHP服务器

  1. [root@php ~]# rz    #上传源码包libmcrypt及php-5.6.27
  2. [root@php ~]# tar zxf libmcrypt-2.5.7.tar.gz -C /usr/src    #解包
  3. [root@php ~]# tar zxf php-5.6.27.tar.gz -C /usr/src    #解包
  4. [root@php ~]# yum -y install libxml2-devel openssl-devel bzip2-devel    #安装依赖
  5. [root@php ~]# cd /usr/src/libmcrypt-2.5.7       #切换至解压后的路径
  6. [root@php libmcrypt-2.5.7]# ./configure --prefix=/usr/local/libmcrypt && make && make install
  7. #编辑安装
  8. [root@php libmcrypt-2.5.7]# cd ../php-5.6.27/       #进入PHP源码包解压后的路径
  9. [root@php php-5.6.27]# ./configure  --prefix=/usr/local/php5.6  --with-mysql=mysqlnd --with-pdo-mysql=mysqlnd --with-mysqli=mysqlnd --with-openssl --enable-fpm --enable-sockets --enable-sysvshm --enable-mbstring --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib --with-libxml-dir=/usr  --enable-xml  --with-mhash  --with-mcrypt=/usr/local/libmcrypt --with-config-file-path=/etc  --with-config-file-scan-dir=/etc/php.d  --with-bz2 --enable-maintainer-zts && make && make install
  10. #编译安装PHP
  11. #接下来为调整PHP的配置文件及控制服务的启停
  12. [root@php php-5.6.27]# cp php.ini-production /etc/php.ini    #复制源码中中提供的PHP配置文件
  13. [root@php php-5.6.27]# cp sapi/fpm/init.d.php-fpm /etc/init.d/php-fpm   #复制其服务控制脚本文件
  14. [root@php php-5.6.27]# chmod +x /etc/init.d/php-fpm    #赋予执行权限
  15. [root@php php-5.6.27]# chkconfig --add php-fpm    #添加为系统服务，以便支持systemctl管理
  16. [root@php php-5.6.27]# chkconfig php-fpm on   #开启
  17. [root@php php-5.6.27]# cp /usr/local/php5.6/etc/php-fpm.conf.default /usr/local/php5.6/etc/php-fpm.conf
  18. #复制php-fpm提供的默认配置文件并编辑它
  19. [root@php php-5.6.27]# vim /usr/local/php5.6/etc/php-fpm.conf     #修改一下，进行优化
  20. listen = 192.168.20.3:9000    #监听地址是本机的IP9000端口
  21. pm.max_children = 50         #最大启动的进程数
  22. pm.start_servers = 5          #初始启动进程数
  23. pm.min_spare_servers = 5     #最小空闲进程
  24. pm.max_spare_servers = 35     #最大空闲进程
  25. #修改完成后，保存退出即可
  26. [root@php php-5.6.27]# systemctl start php-fpm    #启动PHP服务
  27. [root@php php-5.6.27]# netstat -anput | grep php-fpm     #确认其9000端口已启动
  28. [root@php ~]# mkdir -p /var/www/html        #创建其网页存放目录，须和nginx服务器的网页存放路径一样
  29. [root@php php-5.6.27]# vim /var/www/html/index.php     #编写PHP测试页面
  30. <?php
  31. phpinfo();
  32. ?>
  33. [root@php php-5.6.27]# vim /var/www/html/index1.php     #连接数据库的测试脚本
  35. <?php
  36. $link=mysqli_connect('192.168.20.5','ljz','pwd@123');
  37. if($link) echo "恭喜你，数据库连接成功！！！"; else echo "connect shibai";
  38. mysqli_close($link);
  39. ?>

至此，即可访问Nginx服务器的80端口来查看php服务器上定义的两个网页文件（在访问连接数据库的脚本文件时，需要先部署数据库，并创建用来连接的用户）：

访问index.php，看到以下页面说明php运行正常：
LNMP动静分离&&memcache缓存服务器

访问index1.php，看到以下页面，说明LNMP之间的协调工作没有问题（我在访问下面的地址前，已经部署了MySQL数据库，并且创建了相应的用户）：

LNMP动静分离&&memcache缓存服务器

4、部署MySQL数据库

我这里部署一个简易的MySQL数据库，提供测试功能即可。

  1. [root@mysql ~]# rz
  2. #上传我提供的mysql.sh脚本文件及mysql-5.7.22-linux.....源码包
  3. [root@mysql ~]# sh mysql.sh              #执行mysql.sh脚本，执行后，需要等待较长时间
  4. Starting MySQL... SUCCESS!    #当出现此提示信息时，则表示MySQL部署成功
  5. mysql: [Warning] Using a password on the command line interface can be insecure.
  6. #安装MySQL成功后，默认的数据库root密码为123
  7. [root@mysql ~]# mysql -uroot -p123    #登录MySQL数据库
  8. mysql> create database bbs;
  9. mysql> grant all on bbs.* to ljz@"192.168.20.%" identified by 'pwwd@123';

5、部署Memcached服务器

  1. [root@mamcache ~]# cd /usr/src       #切换至指定目录
  2. [root@mamcache src]# rz             #上传所需源码包
  3. [root@mamcache src]# ls       #就是上传以下的后面两个源码包
  4. debug  kernels  libevent-2.0.22-stable.tar.gz  memcached-1.4.33.tar.gz
  5. [root@mamcache src]# tar zxf libevent-2.0.22-stable.tar.gz       #解包
  6. [root@mamcache src]# tar zxf memcached-1.4.33.tar.gz       #解包
  7. [root@mamcache src]# cd libevent-2.0.22-stable/     #切换至解压后的目录
  8. [root@mamcache libevent-2.0.22-stable]# ./configure && make && make install     #编译安装
  9. [root@mamcache libevent-2.0.22-stable]# cd ../memcached-1.4.33/    #切换至memcached目录
  10. [root@mamcache memcached-1.4.33]# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local && make && make install
  11. #编译安装
  12. [root@mamcache ~]# ls /usr/local/memcached/bin/memcached          #确认该命令已安装
  13. /usr/local/memcached/bin/memcached
  14. [root@mamcache ~]# ln -sf /usr/local/memcached/bin/memcached /usr/local/bin/    #对命令做软链接
  15. [root@memcache memcached-1.4.33]# memcached -d -m 1024 -l 192.168.20.4 -p 11211 -u root -c 10240 -P /usr/local/memcached/memcached.pid
  16. #启动memcached服务，上述启动参数说明如下：
  17. # -d 选项是启动一个守护进程。
  18. # -m 分配给 Memcache 使用的内存数量，单位是 MB，默认 64MB。
  19. # -l 监听的 IP 地址。（默认：INADDR_ANY，所有地址）
  20. # -p 设置 Memcache 的 TCP 监听的端口，最好是 1024 以上的端口。
  21. # -u 运行 Memcache 的用户，如果当前为 root 的话，需要使用此参数指定用户。
  22. # -c 选项是最大运行的并发连接数，默认是 1024。
  23. # -P 设置保存 Memcache 的 pid 文件路径。
  24. # -M 内存耗尽时返回错误，而不是删除项
  25. # -f 块大小增长因子，默认是 1.25
  26. # -n 最小分配空间，key+value+flags 默认是 48
  27. # -h 显示帮助
  28. [root@mamcache ~]# netstat -anput | grep 11211         #确定TCP及udp端口在监听

6、部署memcache客户端（返回到PHP服务器进行配置）

  1. [root@php ~]# cd /usr/src
  2. [root@php src]# rz   #上传memcache-3.0.8.tgz源码包
  3. [root@php src]# tar zxf memcache-3.0.8.tgz     #解包
  4. [root@php src]# cd memcache-3.0.8/     #进入解压后的目录
  5. [root@php memcache-3.0.8]# /usr/local/php5.6/bin/phpize    #生成该命令，以便生成configure文件
  6. #若在执行上述命令时报错，则需要执行“yun -y install autoconf "安装提示的autoconf包。
  7. [root@php memcache-3.0.8]#  ./configure --enable-memcache --with-php-config=/usr/local/php5.6/bin/php-config && make && make install
  8. #上述命令执行后，会显示memcache.so存放的路径
  9. [root@php memcache-3.0.8]# vim /etc/php.ini   #编辑主配置文件
  10. #在配置文件末尾添加上述内容，以便指定memcache.so文件的存放路径
  11. extension = /usr/local/php5.6/lib/php/extensions/no-debug-zts-20131226/memcache.so
  12. [root@php memcache-3.0.8]# systemctl restart php-fpm   #重启php服务，使更改生效
  13. [root@php memcache-3.0.8]# cd /var/www/html/
  14. [root@php html]# vim test3.php       #编写测试文件
  16. <?php
  17. $memcache = new Memcache;
  18. $memcache->connect('192.168.20.4', 11211) or die ("Could not connect");
  19. $version = $memcache->getVersion();
  20. echo "Server's version: ".$version."<br/>";
  21. $tmp_object = new stdClass;
  22. $tmp_object->str_attr = 'test';
  23. $tmp_object->int_attr = 123;
  24. $memcache->set('key', $tmp_object, false, 600) or die ("Failed to save data at the server");
  25. echo "Store data in the cache (data will expire in 600 seconds)<br/>";
  26. $get_result = $memcache->get('key');
  27. echo "Data from the cache:<br/>";
  28. var_dump($get_result);
  29. ?>
  30. #编辑完成后，保存退出即可，此测试脚本是显示memcached的版本
  31. #并且向里面插入了一个缓存时间为600秒的键值对“test=123”，其ID为“key”

客户端访问编辑的test3.php文件，会看到以下内容：
LNMP动静分离&&memcache缓存服务器

在memcached服务器上安装Telnet命令，并登陆缓存库，查看是否可以得到其键值对（以下操作在memcached服务器上进行操作）：

  1. [root@memcache ~]# yum -y install telnet           #安装Telnet命令
  2. [root@memcache ~]# telnet 192.168.20.4 11211    #登陆到memcached的11211端口
  3. get key         #查询ID为“key”的键值对，可以看到我们测试脚本写入的“test=123”
  4. VALUE key 1 66
  5. O:8:"stdClass":2:{s:8:"str_attr";s:4:"test";s:8:"int_attr";i:123;}
  6. END
  7. #在进行上面的get验证时，需要将test3.php文件中插入的键值对的保存时间值改大一些
  8. #或者重新访问一下，以免缓存失效，查询不到

至此，LNMP动静分离&&memcache缓存服务器已经基本部署完成，接下来，配置PHP与memcached服务器沟通保存session会话

7、使用 memcache 实现 session 共享（在PHP服务器进行以下操作）

接下来实现PHP与memcached服务器沟通保存session会话。

  1. [root@php ~]# vim /etc/php.ini      #在配置文件末尾添加下面内容
  2. ession.save_handler = memcache
  3. session.save_path = "tcp://192.168.20.4:11211?persistent=1&weight=1&timeout=1&retry_interval=15"
  4. #注上面写入的内容解释如下：
  5. # session.save_handler：设置 session 的储存方式为 memcache 。
  6. #默认以文件方式存取 session数据。
  7. #session.save_path： 设置 session 储存的位置
  8. #使用多个 memcached server 时用逗号”,”隔开，
  9. #可以带额外的参数”persistent”、”weight”、”timeout”、”retry_interval”等等，
  10. #类似这样的："tcp://host:port?persistent=1&weight=2,tcp://host2:port2"。
  11. [root@php html]# systemctl restart php-fpm     #重启使更改生效
  12. [root@php html]# vim /var/www/html/test2.php    #编写测试文件
  13. <?php
  14. session_start();
  15. if (!isset($_SESSION['session_time']))
  16. {
  17. $_SESSION['session_time'] = time();
  18. }
  19. echo "session_time:".$_SESSION['session_time']."<br />";
  20. echo "now_time:".time()."<br />";
  21. echo "session_id:".session_id()."<br />";
  22. ?>
  23. #编写完成后，保存退出即可

客户端访问编写的test2.php测试文件，如下：

LNMP动静分离&&memcache缓存服务器

同样，使用Telnet命令在memcached服务器上进行查询其session_id的值，如下：

  1. [root@memcache ~]# telnet 192.168.20.4 11211     #登录缓存监听的端口
  2. get naapo2eet2d9s4to4mt7hchnr1            #执行get命令
  3. VALUE naapo2eet2d9s4to4mt7hchnr1 0 26
  4. session_time|i:1572450021;
  5. #可以看到，查询到的session_time和我们网页访问到的值是一样的，说明其被缓存了

8、测试memcached缓存数据库

在MySQL数据库上创建用于测试的表（所有操作都在MySQL数据库上）如下：

  1. mysql> create database testdb1;    #创建一个库
  2. mysql> use testdb1;    #切换至创建的库中
  3. mysql> create table test1(id int not null auto_increment,name varchar(20) default null,primary key (id)) engine=innodb auto_increment=1 default charset=utf8;
  4. #创建表，共两列，分别是ID号和姓名
  5. mysql> insert into test1(name) values ('tom1'),('tom2'),('tom3'),('tom4'),('tom5');
  6. #向表中插入测试数据
  7. mysql> select * from test1;   #确定插入的数据
  8. +----+------+
  9. | id | name |
  10. +----+------+
  11. |  1 | tom1 |
  12. |  2 | tom2 |
  13. |  3 | tom3 |
  14. |  4 | tom4 |
  15. |  5 | tom5 |
  16. +----+------+
  17. 5 rows in set (0.00 sec)
  18. mysql> desc test1;         #可以执行此语句查看test1的表结构
  19. mysql> grant select on testdb1.* to user@'%' identified by 'pwd@123';
  20. #对test1表创建一个只读的数据库用户，用于接下来的测试

接下来就是测试的工作了，这里有个 php 脚本，用于测试memcache 是否缓存数据成功

在PHP服务器上编写以下测试文件：

客户端访问用于测试的脚本文件，第一次访问的页面如下：
LNMP动静分离&&memcache缓存服务器

客户端刷新后，会看到以下页面：

LNMP动静分离&&memcache缓存服务器

在查询到的缓存过期前，可以在memcache上通过get 获取到对应的缓存数据，如下（在memcache服务器上进行操作）：

  1. [root@memcache ~]# telnet 192.168.20.4 11211     #登录缓存监听的端口
  2. get d8c961e9895ba4b463841924dbcefc2b       #执行get命令
  3. VALUE d8c961e9895ba4b463841924dbcefc2b 0 251
  4. a:5:{i:0;a:2:{s:2:"id";s:1:"1";s:4:"name";s:4:"tom1";}i:1;a:2:{s:2:"id";s:1:"2";s:4:"name";s:4:"tom2";}i:2;a:2:{s:2:"id";s:1:"3";s:4:"name";s:4:"tom3";}i:3;a:2:{s:2:"id";s:1:"4";s:4:"name";s:4:"tom4";}i:4;a:2:{s:2:"id";s:1:"5";s:4:"name";s:4:"tom5";}}

———————— 本文至此结束，感谢阅读 ————————

发表评论

表情：
评论列表 （有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Nginx 动静分离

    1、nginx 与 tomcat 处理静态资源区别： tomcat静态资源请求量为每秒1000次，则nginx静态资源请求量为每秒6000次，tomcat每秒的吞吐量为0.6

    向右看齐向右看齐/ 0 赞/ 79 阅读

    相关 nginx动静分离

    1. 场景描述 今天做nginx的动静分离，稍微走了点弯路，其实也谈不上，记录下吧，希望可以帮到有需要的朋友。 2. 解决方案 先说下我们的需求，使用域名（www

    亦凉亦凉/ 0 赞/ 147 阅读