Solr8.0速成系列 | Solr挑战千万级别数据-备课细节 07

ゝ一世哀愁。 2022-01-29 11:23 302阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70][]

## 开篇主旨： ##

创建一个solr8.0最新专栏，为让粉丝学员学到更多，特此准备 实战 千万数据级别的一堂课，穿插讲解了其它方面的技能点，如架构设计、软件安装、系统优化、linux运维等...

课程准备过程中遇到很多问题，出现很多波折，特此记录下

## 实战 ##

**1.博客表构建**

爬取了csdn 一万多条优质博客，因为含有文章内容大字段，所以理论上有千万级别的数据，可是索引到solr中的过程中出现各种问题（问题以及解决方案下文会讲到）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 1][]

不得已改变思路，创建1000万的模拟数据，表只建立了3个字段

**博客表：Id，标题，介绍**

这样表的记录简单多了

**1.如何构建1000万条数据？**

采用这种方法，复制之前博客表数据，递增插入

INSERT into  lp\_blog  SELECT uuid(), title, intro from lp\_blog (重复执行几次就ok)

备注：可以LIMIT 0,1000000限制插入数据量也能解决

**2.承接上面语句：插入千万条大数据量报错，会报“The total number of locks exceeds the lock table size”**

问题是mysql   innodb\_buffer\_pool\_size设置默认是8M，所以继续改配置

windows cmd:

mysql -u root -p

密码：root

进入mysql命令

show variables like "%\_buffer%";(不要忘记带;号，没有;号表示一条语句没有结束)

默认的innodb\_buffer\_pool\_size=8M

修改 innodb\_buffer\_pool\_size的值为3G：

SET GLOBAL innodb\_buffer\_pool\_size=67108864;（3\*1024\*1024\*1024，不要忘记;号）

**3.承接问题2:. Variable 'innodb\_buffer\_pool\_size' is a read only variable**

如错误提，因为是window版本绿色版，所以

window安装的可以直接更改my.ini的配置**innodb\_buffer\_pool\_size **然后重启mysql即可

**4.启动solr多次导入数据失败？**

**导入到一半就系统错误**

**直接解决方案：**

指定内存,linux需要加-force

bin/solr start  -m 8g -force

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 2][]

5.数据正常导入，但是速度特别的慢，一秒200+

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 3][]

解决方案：发现磁盘满了，内存不多造成，重新换了一台机器，内存扩扩展到20G，硬盘200G，这项速度执行上升

数据占用2G+，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 4][]

2000万数据，用时7分钟+，还是很快的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 5][]

6.启动成功访问solr管理页面，无法访问

这个就很好解决了，防火墙没关造成的（因为是新装的虚拟机、配置JDK、配置的静态IP等）

命令如下：

\# service firewalld start;  或者 \#systemctl start firewalld.service;\#开启防火墙

\# service firewalld stop;  或者 \#systemctl stop firewalld.service;\#关闭防火墙

\# service firewalld restart;  或者 \#systemctl restart firewalld.service;  \#重启防火墙

systemctl disable firewalld.service\#禁止防火墙开启自启

7.可以访问

还有其他一些问题，不过先整理课件了，准备课程...

## 课程部分构思 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 11][]

准备相关软件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 12][]

## End ##

希望小伙伴有所收获，抱团学，相互进步，做个一朝架构师迈进的程序员，欢迎关注转发  @架构师速成记

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70]: /images/20220129/48e9990a632a4d28912cd6f1ecff0fb0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 1]: /images/20220129/e210c7f97221444fb54f9a5580c69265.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 2]: /images/20220129/874077fa69db4da0b1591aebde794f5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 3]: /images/20220129/8d30262337984c65907c5ddf56500540.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 4]: /images/20220129/f295011dd0f74ed69aee1dc4bf1a04e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 5]: /images/20220129/912c246788bc4f89b7a643aac266f2d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 6]: /images/20220129/b2782f5145744698bc4fa4c679dfe0af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 7]: /images/20220129/40043b0b5fb74791a6d2d5f6985a833d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 8]: /images/20220129/c8ca99343fb948868994a3a0fddff86d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 9]: /images/20220129/851ddad382a04f28b45fb50476daba9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 10]: /images/20220129/19f49fddd4874c389e17ab01b43e3c7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 11]: /images/20220129/aa475757dae64d9ebefb50526ae1c998.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 12]: /images/20220129/da7c768711774c9e84d1600291ba0f67.png