mysql大数据分库和分表 php解决方案

Dear 丶 2023-10-17 15:06 148阅读 0赞

当Mysql数据量过大时，就会面临压力分解，这时分库分表是一个不错的解决方案，现在我们就来谈谈Mysql如何分库分表比较理想，然后再用php如何调用。

**1，主从复制，读写分离**  
  
对主库修改数据，查询使用从库。一主多从，来降低[数据库][Link 1]读取压力。  
  
**2，分库分表**  
  
根据实体业务来分库，分表。如，根据数据的活跃性，根据用户uid等。  
  
**3，[MySQL][] 不同存储引擎区别**  
  
InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用。  
  
  
**分表是分散[数据库][MySQL]压力的好方法。**  
  
分表，最直白的意思，就是将一个表结构分为多个表，然后，可以再同一个库里，也可以放到不同的库。  
  
当然，首先要知道什么情况下，才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。  
  
**1，分表的分类  
  
1>纵向分表**  
  
将本来可以在同一个表的内容，人为划分为多个表。（所谓的本来，是指按照关系型数据库的第三范式要求，是应该在同一个表的。）  
  
分表理由：根据数据的活跃度进行分离，（因为不同活跃的数据，处理方式是不同的）  
  
案例：  
  
对于一个博客系统，文章标题，作者，分类，创建时间等，是变化频率慢，查询次数多，而且最好有很好的实时性的数据，我们把它叫做冷数据。而博客的浏览量，回复数等，类似的统计信息，或者别的变化频率比较高的数据，我们把它叫做活跃数据。所以，在进行数据库结构设计的时候，就应该考虑分表，首先是纵向分表的处理。  
  
这样纵向分表后：  
  
首先存储引擎的使用不同，冷数据使用MyIsam 可以有更好的查询数据。活跃数据，可以使用Innodb ,可以有更好的更新速度。  
  
其次，对冷数据进行更多的从库配置，因为更多的操作时查询，这样来加快查询速度。对热数据，可以相对有更多的主库的横向分表处理。  
  
其实，对于一些特殊的活跃数据，也可以考虑使用memcache ,[Redis][]  
  
之类的缓存，等累计到一定量再去更新数据库。或者[MongoDB][] 一类的nosql 数据库，这里只是举例，就先不说这个。  
  
**2>横向分表**  
  
字面意思，就可以看出来，是把大的表结构，横向切割为同样结构的不同表，如，用户信息表，user\_1,user\_2 等。表结构是完全一样，但是，根据某些特定的规则来划分的表，如根据用户ID来取模划分。  
  
分表理由：根据数据量的规模来划分，保证单表的容量不会太大，从而来保证单表的查询等处理能力。  
  
案例：同上面的例子，博客系统。当博客的量达到很大时候，就应该采取横向分割来降低每个单表的压力，来提升性能。例如博客的冷数据表，假如分为100个表，当同时有100万个用户在浏览时，如果是单表的话，会进行100万次请求，而现在分表后，就可能是每个表进行1万个数据的请求（因为，不可能绝对的平均，只是假设），这样压力就降低了很多很多。  
  
  
1，背景：一个地址薄的应用程序，设计的用户量为2亿，统计出每个用户的地址薄为30个左右，整个数据量为60亿，使用[mysql][MySQL]数据库（亿级数据库设计）  
计划分为：1000个表，100个库  
  
2，分库分表代码  
  
private function getDbNo($email)  
\{  
$m = md5($email);  
$n = hexdec([substr][]($m, 0, 16));  
$tableNo = fmod($n, 1000);  
$dbNo = $tableNo % 100;  
return array($dbNo, $tableNo);  
\}  
  
3，配合的连接访问代码  
  
require\_once ‘Db/Config.[PHP][]’;  
  
class Db\_Adapter  
\{  
const MASTER = 0;  
const SLAVE = 1;  
  
private static $instances = array();  
  
private $conf = array();  
  
private $conns = array();  
  
private $conn = NULL;  
private $stmt = NULL;  
public function \_\_construct($conf)  
\{  
$this->conf = $conf;  
\}  
  
public function execute($sql, $params)  
\{  
$cmd = substr(strtolower(trim($sql)), 0, 6);  
if ($cmd == ‘[select][]’) \{  
$conn = $this->getConn(self::SLAVE);  
\} else \{  
$conn = $this->getConn(self::MASTER);  
\}  
  
$conn->prepare($sql);  
$stmt = $conn->execute($params);  
  
$this->conn = $conn;  
$this->stmt = $stmt;  
\}  
  
public function fetch()  
\{  
return $this->stmt->fetch();  
\}  
  
public function fetchAll()  
\{  
return $this->stmt->fetchAll();  
\}  
  
public function lastInsertId($name = NULL)  
\{  
return $this->conn->lastInsertId($name);  
\}  
  
public function rowCount()  
\{  
return $this->stmt->rowCount();  
\}  
  
private function getConn($type)  
\{  
if ($type == self::SLAVE && isset($this->conf\[self::SLAVE\])) \{  
$id = 0;  
\} else \{  
$id = 1;  
\}  
  
if (!isset($this->conns\[$id\])) \{  
$conf = $this->conf\[$id\];  
$this->conns\[$id\] = new PDO(  
$conf\['dsn'\], $conf\['user'\], $conf\['pass'\],  
self::dbOptions);  
\}  
  
return $this->conns\[$id\];  
\}  
  
public static function getInstance($dbName, $dbNo = 0)  
\{  
$key = $dbName . ‘\_’ . $dbNo;  
if (!isset(self::$instances\[$key\])) \{  
$conf = Db\_Config::getConfig($dbName, $dbNo); //连接配置参数  
self::$instances\[$key\] = new self($conf);  
\}  
  
return self::$instances\[$key\];  
\}  
\}  
  
4，潜在问题  
  
如果某个表中的那些用户的地址薄联系人超多，如每个人1000个，则可能出现该表超大，需要把该表区分为子表，暂时没有配置中心来处理该情况。  
(若真的出现该情况，在连接参数这个地方继续作一次hash)。

来源:http://blog.csdn.net/u010817136/article/details/51038121

[Link 1]: http://www.111cn.net/database/database.html
[MySQL]: http://lib.csdn.net/base/mysql
[Redis]: http://lib.csdn.net/base/redis
[MongoDB]: http://lib.csdn.net/base/mongodb
[substr]: http://www.111cn.net/tags.php/substr/
[PHP]: http://lib.csdn.net/base/php
[select]: http://www.111cn.net/tags.php/select/