MySQL Infobright 数据仓库快速安装笔记

刺骨的言语ヽ痛彻心扉 2022-06-16 23:19 130阅读 0赞

Infobright是一个与MySQL集成的开源数据仓库（Data Warehouse）软件，可作为MySQL的一个存储引擎来使用，SELECT查询与普通MySQL无区别。  
  
　　 **一、Infobright的基本特征：  
　　优点：**  
　　查询性能高：百万、千万、亿级记录数条件下，同等的SELECT查询语句，速度比MyISAM、InnoDB等普通的MySQL存储引擎快5～60倍  
　　存储数据量大：TB级数据大小，几十亿条记录  
　　高压缩比：在我们的项目中为18:1，极大地节省了数据存储空间  
　　基于列存储：无需建索引，无需分区  
　　适合复杂的分析性SQL查询：SUM, COUNT, AVG, GROUP BY  
  
　　 **限制：**  
　　不支持数据更新：社区版Infobright只能使用“LOAD DATA INFILE”的方式导入数据，不支持INSERT、UPDATE、DELETE  
　　不支持高并发：只能支持10多个并发查询

--------------------

**二、Infobright 安装与基本用法：**  
　　1、下载安装社区版Infobright二进制Linux版本，端口3307

ulimit -SHn 65535  
mkdir -p /data0/mysql/3307  
/usr/sbin/groupadd mysql  
/usr/sbin/useradd -g mysql mysql  
  
cd /usr/local

①、64位系统：

wget [ http://www.infobright.org/downloads/ice/infobright-3.3.1-x86\_64-ice.tar.gz][http_www.infobright.org_downloads_ice_infobright-3.3.1-x86_64-ice.tar.gz]  
tar zxvf infobright-3.3.1-x86\_64-ice.tar.gz  
mv infobright-3.3.1-x86\_64 infobright

②、32位系统：

wget [ http://www.infobright.org/downloads/ice/infobright-3.3.1-i686-ice.tar.gz][http_www.infobright.org_downloads_ice_infobright-3.3.1-i686-ice.tar.gz]  
tar zxvf infobright-3.3.1-i686-ice.tar.gz  
mv infobright-3.3.1-i686 infobright

--------------------

cd infobright  
./install-infobright.sh --datadir=/data0/mysql/3307/data --cachedir=/data0/mysql/3307/cache --config=/data0/mysql/3307/my.cnf --port=3307 --socket=/tmp/mysql3307.sock --user=mysql --group=mysql

--------------------

2、开始安装，提示以下信息：  
Infobright installation script is running...  
Checking system configuration...  
Infobright license agreement...  
System tool 'Less' - a text file viewer will be used to display license agreement.  
Please only use up/down arrow keys for scrolling license text and press Q when finished reading.  
Press R -Read license agreement, N -Exit the installation \[R/N\]:  
  
　　选择R，空格翻页到页尾，看到以下提示时，选择Q继续安装：  
  
                     END OF TERMS AND CONDITIONS  
  
============ Press Q to continue installation ==========  
(END)  
  
　　接下来会显示以下信息，选择Y同意：  
Press Y -I agree, Any other key -I do not agree \[Y/\*\]:  
  
　　这时，会提示是否在线注册，选择N不注册：  
Installation has been made for system user root and mysql.  
Please see README or User guide for instructions related to start/stop the Infobright server and connect to it.  
Register your copy of ICE and receive a free copy of the User Manual (a $50 value) as well as a copy of the Bloor Research Spotlight Report "What's Cool About Columns" which explains the differences and benefits of a columnar versus row database.  
Registration will require opening an HTTP connection to Infobright, do you wish to register now? \[Y/N\]:

--------------------

3、修改Infobright内存使用限制

vi /data0/mysql/3307/data/brighthouse.ini

根据自身的物理内存大小修改ServerMainHeapSize、ServerCompressedHeapSize、LoaderMainHeapSize的值，有参考：

\#\#\#\#\#\#\#\#\#\#\#\#  Critical Memory Settings \#\#\#\#\#\#\#\#\#\#\#\#  
\# System Memory    Server Main Heap Size     Server Compressed Heap Size   Loader Main Heap Size  
\# 32GB                 24000                      4000                       800  
\# 16GB                 10000                      1000                       800  
\#  8GB                  4000                       500                       800  
\#  4GB                  1300                       400                       400  
\#  2GB                  600                        250                       320

--------------------

4、创建管理MySQL数据库的shell脚本：

vi /data0/mysql/3307/mysql

输入以下内容（这里的用户名admin和密码12345678接下来的步骤会创建）：

\#!/bin/sh  
  
mysql\_port=3307  
mysql\_username="admin"  
mysql\_password="12345678"  
  
function\_start\_mysql()  
\{  
    printf "Starting MySQL...\\n"  
    cd /usr/local/infobright/ && /bin/sh ./bin/mysqld\_safe --defaults-file=/data0/mysql/$\{mysql\_port\}/my.cnf 2>&1 > /dev/null &  
\}  
  
function\_stop\_mysql()  
\{  
    printf "Stoping MySQL...\\n"  
    cd /usr/local/infobright/ && ./bin/mysqladmin -u $\{mysql\_username\} -p$\{mysql\_password\} -S /tmp/mysql$\{mysql\_port\}.sock shutdown  
\}  
  
function\_restart\_mysql()  
\{  
    printf "Restarting MySQL...\\n"  
    function\_stop\_mysql  
    sleep 5  
    function\_start\_mysql  
\}  
  
function\_kill\_mysql()  
\{  
    kill -9 $(ps -ef &\#124; grep 'bin/mysqld\_safe' &\#124; grep $\{mysql\_port\} &\#124; awk '\{printf $2\}')  
    kill -9 $(ps -ef &\#124; grep 'libexec/mysqld' &\#124; grep $\{mysql\_port\} &\#124; awk '\{printf $2\}')  
\}  
  
if \[ "$1" = "start" \]; then  
    function\_start\_mysql  
elif \[ "$1" = "stop" \]; then  
    function\_stop\_mysql  
elif \[ "$1" = "restart" \]; then  
function\_restart\_mysql  
elif \[ "$1" = "kill" \]; then  
function\_kill\_mysql  
else  
    printf "Usage: /data0/mysql/$\{mysql\_port\}/mysql \{start&\#124;stop&\#124;restart&\#124;kill\}\\n"  
fi

--------------------

5、赋予shell脚本可执行权限：

chmod +x /data0/mysql/3307/mysql

--------------------

6、启动MySQL/Infobright：

/data0/mysql/3307/mysql start

--------------------

7、通过命令行登录管理MySQL服务器（提示输入密码时直接回车）：

/usr/local/infobright/bin/mysql -u root -p -S /tmp/mysql3307.sock

--------------------

8、输入以下SQL语句，创建一个具有root权限的用户（admin）和密码（12345678）：

GRANT ALL PRIVILEGES ON \*.\* TO 'admin'@'localhost' IDENTIFIED BY '12345678';  
GRANT ALL PRIVILEGES ON \*.\* TO 'admin'@'127.0.0.1' IDENTIFIED BY '12345678';

--------------------

9、示例：从普通的MySQL数据库（假设MySQL安装路径为/usr/local/webserver/mysql）导出数据到csv文件：

/usr/local/webserver/mysql/bin/mysql -S /tmp/mysql3306.sock -D tongji\_logs -e "select \* from log\_visits\_2010\_05\_10 into outfile '/data0/test.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '\\"'  ESCAPED BY '\\\\\\' LINES TERMINATED BY '\\n';"

--------------------

10、示例：普通MySQL和Infobright建表对比  
　　①、普通MySQL的InnoDB存储引擎建表：

CREATE TABLE IF NOT EXISTS \`log\_visits\_2010\_05\_12\` (  
  \`id\` int(11) NOT NULL AUTO\_INCREMENT,  
  \`cate\_id\` int(11) NOT NULL,  
  \`site\_id\` int(11) unsigned NOT NULL,  
  \`visitor\_localtime\` char(8) NOT NULL,  
  \`visitor\_idcookie\` varchar(255) NOT NULL,  
  PRIMARY KEY (\`id\`),  
  KEY \`cate\_site\_id\` (\`cate\_id\`,\`site\_id\`),  
  KEY \`visitor\_localtime\` (\`visitor\_localtime\`)  
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

②、Infobright的BRIGHTHOUSE存储引擎建表：

CREATE TABLE IF NOT EXISTS \`log\_visits\` (  
  \`id\` int(11) NOT NULL,  
  \`cate\_id\` int(11) NOT NULL,  
  \`site\_id\` int(11) NOT NULL,  
  \`visitor\_localtime\` char(8) NOT NULL,  
  \`visitor\_idcookie\` varchar(255) NOT NULL,  
) ENGINE=BRIGHTHOUSE DEFAULT CHARSET=utf8;

注：BRIGHTHOUSE存储引擎建表时不能有AUTO\_INCREMENT自增、unsigned无符号、unique唯一、主键PRIMARY KEY、索引KEY。

--------------------

11、示例：从csv文件导入数据到Infobright数据仓库：

/usr/local/infobright/bin/mysql -S /tmp/mysql3307.sock -D dw --skip-column-names -e "LOAD DATA INFILE '/data0/test.csv' INTO TABLE log\_visits\_2010\_04\_13 FIELDS TERMINATED BY ',' ESCAPED BY '\\\\\\' LINES TERMINATED BY '\\n';"

--------------------

12、示例：普通MySQL和Infobright查询速度对比（共220多万条记录）：  
　　①、普通MySQL的InnoDB存储引擎（已建索引）：

mysql> SELECT config\_browser\_name, count(\*) AS total FROM \`browser\_info\` GROUP BY config\_browser\_name order by total DESC;  
\+---------------------+---------+  
| config\_browser\_name | total   |  
\+---------------------+---------+  
| IE                  | 2204016 |  
| CH                  |   20650 |  
| FF                  |   10475 |  
| MO                  |    6147 |  
| OT                  |    1631 |  
| OP                  |    1282 |  
| SF                  |     797 |  
| KM                  |       5 |  
| KO                  |       2 |  
\+---------------------+---------+  
9 rows in set (1 min 28.13 sec)

②、Infobright的BRIGHTHOUSE存储引擎：

mysql> SELECT config\_browser\_name, count(\*) AS total FROM \`browser\_info\` GROUP BY config\_browser\_name order by total DESC;  
\+---------------------+---------+  
| config\_browser\_name | total   |  
\+---------------------+---------+  
| IE                  | 2204016 |  
| CH                  |   20650 |  
| FF                  |   10475 |  
| MO                  |    6147 |  
| OT                  |    1631 |  
| OP                  |    1282 |  
| SF                  |     797 |  
| KM                  |       5 |  
| KO                  |       2 |  
\+---------------------+---------+  
9 rows in set (0.84 sec)

--------------------

13、（可选）停止MySQL/Infobright：

/data0/mysql/3307/mysql stop

原文：http://blog.s135.com/infobright/

[http_www.infobright.org_downloads_ice_infobright-3.3.1-x86_64-ice.tar.gz]: http://www.infobright.org/downloads/ice/infobright-3.3.1-x86_64-ice.tar.gz
[http_www.infobright.org_downloads_ice_infobright-3.3.1-i686-ice.tar.gz]: http://www.infobright.org/downloads/ice/infobright-3.3.1-i686-ice.tar.gz

发表评论取消回复

表情：

评论列表（有 0 条评论，130人围观）

还没有评论，来说两句吧...

相关阅读

相关数据仓库：oracle应用笔记

数据仓库：oracle应用笔记存储过程 merge into dual 表 dblink DDL语句查询造数一些函数

客官°小女子只卖身不卖艺/ 2024年03月25日 19:38/ 0 赞/ 45 阅读

相关 Infobright高性能数据仓库

1. 概述 Infobright是一款基于独特的专利知识网格技术的列式数据库。Infobright简单易用，快速安装部署，使用中无

Bertha 。/ 2022年10月12日 13:57/ 0 赞/ 171 阅读

相关 mysql infobright

test.txt 1,"one,two or three",100 2,"one,two or three",1234 3,"one,two or three",3

小咪咪/ 2022年08月07日 04:40/ 0 赞/ 146 阅读

相关 MySQL Infobright 数据仓库快速安装笔记

Infobright是一个与MySQL集成的开源数据仓库（Data Warehouse）软件，可作为MySQL的一个存储引擎来使用，SELECT查询与普通MySQL无区别。

刺骨的言语ヽ痛彻心扉/ 2022年06月16日 23:19/ 0 赞/ 131 阅读

相关 Infobright的优点

　　 Infobright的优点如下：（1）高压缩比率：高压缩比率通常是10:1，某些应用可能达到40:1 ,每列数据的相似度越高就会具有越高的压缩比

小灰灰/ 2022年06月12日 14:06/ 0 赞/ 192 阅读

相关在linux环境下安装infobright

注意: 下面是在linux环境下面安装 infobright RPM包的安装步骤。安装说明： 1.下载安装包地址：http://www.infobr

约定不等于承诺〃/ 2022年06月12日 12:18/ 0 赞/ 254 阅读

相关 infobright简介

infobright的安装步骤： http://blog.csdn.net/lxpbs8851/article/details/7586552 infobright的基

深藏阁楼爱情的钟/ 2022年06月12日 11:46/ 0 赞/ 249 阅读

相关 [数据仓库]基础理论笔记

第一节互联网电商大数据环境如果你真正进入这个行业了！入职后你所在部门一般叫：数据平台、数据中心、数据部可能的团队：数据仓库组；BI（商业智能）组、某事业

迷南。/ 2022年05月10日 05:06/ 0 赞/ 178 阅读

相关 MySQL快速安装

电脑要求： 1.32位 2.安装有联想软件商店 3.安装有360软件管家安装软件： 1.mysql-5.5.37-win32 2.Navicat for

我会带着你远行/ 2022年04月23日 01:20/ 0 赞/ 225 阅读

相关数据仓库基础理论笔记

from：[https://blog.csdn.net/china\_demon/article/details/51891873][https_blog.csdn.net_c

墨蓝/ 2022年03月28日 02:37/ 0 赞/ 236 阅读