iSCSI（一） iSCSI详解及 iSCSI配置

电玩女神 2022-07-16 09:50 2861阅读 0赞

**iSCSI（一） iSCSI详解 及 iSCSI配置**

>        在集群系统中存储是很重要的一部分，而且存储相关的内容：从硬件设备、接口到文件系统、传输网络、数据协议等，涉及的知识非常多，这里不发散，重点认识iSCSI。在前面[《高可用集群》][Link 1]简单认识了DAS/NAS/SAN，下面将会认识iSCSI， 并进行iSCSI的基本配置实现。

## **1、认识iSCSI** ##

>        iSCSI（Internet Small Computer System Interface，Internet 小型计算机系统接口)是一种由IBM公司研究开发的IP SAN技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，基于 TCP/IP的协议连接iSCSI服务端（Target）和客户端(Initiator)，使得封装后的SCSI数据包可以在通用互联网传输，最终实现iSCSI服务端映射为一个存储空间（磁盘）提供给已连接认证后的客户端。

### **1-1、SCSI** ###

![20161013234721997][]

>        SCSI（Small Computer System Interface）是一种I/O技术，规范了一种并行的I/O总线和相关的协议，SCSI的数据传输是以块的方式进行的。

>        如上图，SCSI总线通过SCSI控制器来和硬盘之类的设备进行通信,  **SCSI控制器称为Target，访问的客户端应用称为Initiator**。窄SCSI总线最多允许8个、宽SCSI总线最多允许16个不同的SCSI设备和它进行连接，每个SCSI设备都必须有自己唯一的**SCSI ID（设备的地址）**。

> **       LUN（Logical Unit Number，逻辑单元号）**是为了使用和描述更多设备及对象而引进的一个方法，每个SCSI ID上最多有32个LUN，一个LUN对应一个逻辑设备。

>        广泛应用于小型机上，正在成为PC 服务器的标准接口，实现高速数据传输（可达320MB/s），常见的SCSI设备：硬盘、磁盘阵列、打印机、光盘刻录机等。

### **1-2、iSCSI实现** ###

![20161013234722319][]

> **1、iSCSI Initiator**

>          iSCSI 启动器，从本质上说，iSCSI 启动器是一个客户端设备，用于将请求连接并启动到服务器（iSCSI 目标）。

![20161013234722778][]

>         如上图，iSCSI 启动器有**三种实现方式**：可以完全基于硬件实现，比如 iSCSI HBA 卡；硬件TOE卡与软件结合的方式；完全基于软件实现，而软件 iSCSI 启动器适用于大部分主流操作系统平台，下面就是用软件方式来配置。

> **2、iSCSI Target**

>        即 iSCSI 目标，它是 iSCSI 网络的服务器组件，通常是一个存储设备，用于包含所需的数据并回应来自 iSCSI 启动器的请求。

> **3、工作过程**

![20161013234723069][]

![20161013234723419][]

>        Initiator发出请求后，会在**本地的操作系统**会生成了相应的SCSI命令和数据I/O请求，然后这些命令和请求被封装加密成IP信息包，通过以太网（TCP/IP）传输到Targer。

>        当Targer接收到信息包时，将进行解密和解析，将SCSI命令和I/O请求分开。SCSI命令被发送到SCSI控制器，再传送到SCSI存储设备。

>        设备执行SCSI命令后的响应，经过Target封装成iSCSI响应PDU，再通过已连接的TCP/IP网络传送给Initiator。

>         Initiator会从iSCSI响应PDU里解析出SCSI响应并传送给操作系统，操作系统再响应给应用程序。

### **1-3、iSCSI与FC SAN** ###

![20161013234723741][]

>         FC（FiberChannel，光纤通道）是利用光纤信道结合光纤通道交换机实现高速的数据存储网络。FC性能很好，但价格却贵得惊人，管理起来也非常困难。

>         所以iSCSI利用现有的以太网络，用户只需要少量的投入，就可以方便、快捷地对信息和数据进行交互式传输和管理。当然iSCSI与FC相比也存在明显的不足，如速度性能、安全可靠性。

![20161013234724263][]

### **1-4、SAN与NAS / iSCSI与NFS** ###

![20161013234725116][]

>         通过前面文章知道，SAN与NAS是完全不同架构的存储方案，前者支持Block协议，后者则支持File协议；SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上，会产生I/O操作，而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统，所以CPU密集型应用可以选用NAS。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构，而NAS是将目光集中在应用、用户和文件以及它们共享的数据上，显得更"高级"。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。

>         以上区别具体到iSCSI和NFS：iSCSI可优化空间更大，性能稍好，但技术难度更高；而NFS在系统层面的支持更多，像一些备份、恢复等操作较简单。

## **2、相关准备配置** ##

### **2-1、具体使用资源** ###

![20161013234725497][]

> > 1、各主机系统：RHEL 5.8 64bit
> > 
> > 2、Target：
> > 
> > > Soft：scsi-target-utils
> > > 
> > > IP：192.168.18.240
> > > 
> > > LUN1：/dev/sda5 50G（以分区代替）
> > > 
> > > LUN2：/dev/sda6 20G
> > 
> > 2、三台节点主机node1，node2，node3：
> > 
> > > Soft：iscsi-initiator-utils
> > > 
> > > Node1： IP：192.168.18.241 host name：node1.tjiyu,com；
> > > 
> > > Node2： IP：192.168.18.242 host name：node2.tjiyu.com;
> > > 
> > > Node3： IP：192.168.18.243 host name：node3.tjiyu.com;

### **2-2、配置前所需要的准备** ###

>        各节点Initiator和Target端需要做以下准备：

> > 1、配置IP、关闭防火墙/SELINUX；
> > 
> > 2、配置各节点名称；
> > 
> > 3、时间同步；

>        在前面《[heartbeat v2 haresource 配置可用集群][heartbeat v2 haresource]》说到的高可用集群已有详细介绍，这里就不再给出了。

>        当然我们这里可以用Target端主机作为跳板机，因为很多相同的命令都要在各节点上执行，可以另外加一台跳板机，可以SSH连接各节点，这样就可以在跳板机上给各节点分发命令了。

>        首先在Target上配置各节点的hostname，方便操作：

![20161013234725725][]

>        然后生成Target端的SSH KEY，再发给到各主机，如下：

> >     [root@localhost ~]# ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''
> >     
> >         [root@localhost ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node3.tjiyu.com
> >     
> >         [root@localhost ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node3.tjiyu.com
> >     
> >         [root@localhost ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node3.tjiyu.com

>        接着为命令前面常规部分设置为别名，方便操作，最后尝试给各节点同步时间，如下：

> >     [root@localhost ~]# alias ssh_node='for I in {1..3}; do ssh node$I'
> >     
> >             [root@localhost ~]# ssh_node 'ntpdate cn.ntp.org.cn'; done

![20161013234726060][]

![20161013234726397][]

## **3、下载安装** ##

>        配置好yum源，直接在target端安装scsi-target-utils，这个只是iSCSI软件的管理工具（类似ipvsadm），具体的数据处理模块已整合在内核中，如下：

> >     [root@localhost ~]# yum install scsi-target-utils

![20161013234726685][]

>        各节点上分别执行安装iscsi-initiator-utils，当然也可以在Target上通过SSH执行，但那是串行的，不如分别在各节点上分别执行快，如下：

> >     [root@node1 ~]# yum install iscsi-initiator-utils

![20161013234726881][]

## **4、认识配置工具** ##

### **4-1、target端配置工具（tatadm）** ###

![20161013234727310][]

>        Target端安装scsi-target-util后，提供了相应的管理配置工具tgtadm，可以用target、LUN、用户都进管理，不过因为iSCSI模块工作在内核，tgtadm的配置只在内存中，下次开机重启不会生效，所以可以用过配置文件/etc/tgt/targets.conf来配置，启动时另一个工具tgt-adm会读取该文件。

>        tatadm使用语法如下：

> >     tgtadm --lld [driver] --op [operation] --mode [mode] [OPTION]...
> >     
> >             (1)、添加一个新的 target 且其ID为 [id]， 名字为 [name].
> >     
> >                 --lld [driver] --op new --mode target --tid=[id] --targetname [name]
> >     
> >             (2)、显示所有或某个特定的target:
> >     
> >                 --lld [driver] --op show --mode target [--tid=[id]]
> >     
> >             (3)、向某ID为[id]的设备上添加一个新的LUN，其号码为[lun]，且此设备提供给initiator使用。[path]是某"块设备"的路径，此块设备也可以是raid或lvm设备。lun0已经被系统预留。
> >     
> >                 --lld [driver] --op new --mode=logicalunit --tid=[id] --lun=[lun] --backing-store [path]
> >     
> >             (4)、删除ID为[id]的target:
> >     
> >                 --lld [driver] --op delete --mode target --tid=[id]
> >     
> >             (5)、删除target [id]中的LUN [lun]：
> >     
> >                 -lld [driver] --op delete --mode=logicalunit --tid=[id] --lun=[lun]
> >     
> >             (6)、定义某target的基于主机的访问控制列表，其中，[address]表示允许访问此target的initiator客户端的列表：
> >     
> >                 --lld [driver] --op bind --mode=target --tid=[id] --initiator-address=[address]
> >     
> >             (7)、解除target [id]的访问控制列表中[address]的访问控制权限：
> >     
> >                 --lld [driver] --op unbind --mode=target --tid=[id] --initiator-address=[address]

### **4-2、Initiator端配置工具（iscsiadm）** ###

![20161013234727506][]

>        而Initiator各节点安装iscsi-initiator-utils后，也提供了一些配置管理工具，其中最主要的是iscsiadm 命令，提供了对 iSCSI 目标节点、会话、连接以及发现记录的操作，iscsiadm使用语法如下：

> >     iscsiadm
> >     
> >             -m, 同 --mode, 其选项有 discovery, node, fw（启动值）, host, iface（iSCSI 接口）和 session。
> >     
> >             -I，同 --interface, 表示接口。
> >     
> >             -o, 同 --op, 可实现对数据库的操作，其选项有 new, delete, update 和 show。
> >     
> >             -n, 同 --name, 指定其数据记录里的名字。
> >     
> >             -t, 同 --type, 其选项有 sendtargets（st), fw 和 isns, 仅在 -m 模式为 discovery 时有效。
> >     
> >             -p, 同 --portal, 指定其目标主机的 IP 地址和端口，默认端口为 3260。
> >     
> >             -L, 同 --loginall，其选项有 all，manual 和 automatic，指定其登录会话时的类型。
> >     
> >             -T, 同 --targetname，表示其目标名字。
> >     
> >             -v, 同 --value，通常在 --op=update 时指定其值。

## **5、配置target端** ##

### **5-1、创建分区当作LUN** ###

>        按上面的资源分配，在target端创建两个分区/dev/sda5和/dev/sda6，分别当作LUN，注意这时并不需要格式化文件系统，因为文件系统不在target端，过程如下：

> >     [root@localhost ~]# fdisk /dev/sda
> >     
> >             [root@localhost ~]# partprobe /dev/sda
> >     
> >             [root@localhost ~]# fdisk -l

![20161013234727888][]

![20161013234728131][]

### **5-2、启动tgtd服务** ###

>        启动target端的tgtd服务，并配置开机启动，查看网络连接情况，可以看到tgtd监听了tcp的3260端口，如下：

> >     [root@localhost ~]# chkconfig tgtd on
> >     
> >             [root@localhost ~]# chkconfig tgtd --list
> >     
> >             [root@localhost ~]# service tgtd start
> >     
> >             [root@localhost ~]# netstat -tunlp |grep tgtd

![20161013234728435][]

### **5-3、创建target及LUN,并绑定网络** ###

>        先创建一个target，ID为1，名称为iqn.2016-10.com.tjiyu:mystore.disk1（全局唯一标识名）；然后给该target绑定网络192.168.18.0/24，也就是对这个网络内的主机可以发现该target；接着给该target创建两个LUN，使用上面创建的两个分区，注意LUN的ID从1开始分配，因为0已经被target控制器占用了，如下：

> >     [root@localhost ~]# tgtadm --lld iscsi -o new -m target -t 1 -T iqn.2016-10.com.tjiyu:mystore.disk1
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o bind -m target -t 1 -I 192.168.18.0/24
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o new -m logicalunit -t 1 -l 1 -b /dev/sda5
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o new -m logicalunit -t 1 -l 2 -b /dev/sda6

![20161013234728694][]

>        查看下配置的信息，LUN的0已经被target控制器占用了，如下：

> >     [root@localhost ~]# tgtadm -L iscsi -o show -m target

![20161013234729091][]

![20161013234729319][]

### **5-4、配置访问用户** ###

>        iSCSI可以配置基于IP或基于用户（CHAP）的认证方式，基于IP像上面绑定开放网络就可以了；基于用户除了绑定网络，还需要配置访问用户（如果使用基于用户的认证，必须首先开放基于IP的认证），CHAP是双向的认证机制，我们这里只配置单向的用户认证。

>        先创建帐号tjiyu，并为其授予访问上面ID为1的target的权限（绑定），如下：

> >     [root@localhost ~]# tgtadm --lld iscsi --op new --mode account --user tjiyu --password 123456
> >     
> >             [root@localhost ~]# tgtadm --lld iscsi --op bind --mode account --tid 1 --user tjiyu
> >     
> >             [root@localhost ~]# tgtadm --lld iscsi --op show --mode account

![20161013234729576][]

## **6、配置各initiator节点** ##

### **6-1、配置initiator名称** ###

>        分别在各节点配置initiator名称，名称也是iqn格式的（可以用iscsi-name生成），直接配置在文件/etc/iscsi/initiatorname.iscsi中就好，如下：

> >     [root@node1 ~]# vim /etc/iscsi/initiatorname.iscsi
> >     
> >             [root@node1 ~]# cat /etc/iscsi/initiatorname.iscsi
> >     
> >             InitiatorName=iqn.2016-10.com.tjiyu:node1_4rs3r3
> >     
> >             InitiatorAlias=node1

![20161013234729772][]

![20161013234730060][]

![20161013234730256][]

### **6-2、配置target访问用户** ###

>        因为上面在target端创建并绑定了用户tjiyu，所以各Initiator节点需要先开放CHAP认证，并配置该用户信息，initiator配置文件为/etc/iscsi/iscsid.conf，在文件中修改这三项即可，注意，看清楚是哪三项，因为有几个配置相似，过程如下：

> > >     [root@node1 ~]# vim /etc/iscsi/iscsid.conf

![20161013234730513][]

### **6-3、启动各节点iscsi服务** ###

>        各节点执行的命令一样，可以在跳板机上执行，先配置开机启动，然后启动iscsi服务，注意，上面查看安装信息看到还有一个iscsid服务，它会随着iscsi服务一起启动的，如下：

> >     [root@localhost ~]# ssh_node 'chkconfig iscsi on'; done
> >     
> >             [root@localhost ~]# ssh_node 'service iscsi start'; done

![20161013234730725][]

### **6-4、各节点发现target，并登录** ###

>        各节点要使用target的LUN必须先发现，再登录后才能用，发现操作指定target的IP地址，登录需要指定发现的target名称和IP/端口；注意，如果登录不成功，可能是因为上面的配置用户不对，修改正确后需要重启iscsi服务，重新发现target，不然还是登录不了，过程如下，

> >     [root@localhost ~]# ssh_node 'iscsiadm -m discovery -t st -p 192.168.18.240'; done
> >     
> >             [root@localhost ~]# ssh_node 'iscsiadm -m node -T iqn.2016-10.com.tjiyu:mystore.disk1 -p 192.168.18.240:3260 -l'; done

![20161013234730997][]![20161013234731209][]

>        发现登录成功后，相关信息保存在/var/lib/iscsi/send\_targets/目录下，下次启动会自动登录的；

![20161013234731544][]

>        查看会话相关信息：

> >     Initiator：[root@node1 ~]# iscsiadm -m session -s
> >     
> >             Target：[root@localhost ~]# tgtadm --lld iscsi --op show --mode target

## **7、测试** ##

> **    Target的两个LUN在initiator端识别为两个磁盘设备，可以在上面进行分区、格式化文件系统等操作，就是本地的磁盘设备一样。不过它们在各节点上的设备名称可能不一样，这里因为开始都是一个硬盘，所有都一样。**

### **7-1、创建分区，并格式化** ###

>        上面登录成功后，查看各节点的存储空间，发现各节点都多了两个磁盘设备，这两个磁盘设备就是我们上面创建target分区模拟的LUN，一个50G，另一个20G，如下：

> >     [root@localhost ~]# ssh_node 'fdisk -l'; done

![20161013234731788][]

>        然后在node1上操作，在50G的/dev/sdb上创建一个10G的分区，并格式化为ext3文件系统，如下：

> >     [root@node1 ~]# fdisk /dev/sdb
> >     
> >             [root@node1 ~]# partprobe /dev/sdb
> >     
> >             [root@node1 ~]# fdisk –l
> >     
> >             [root@node1 ~]# mkfs.ext3 /dev/sdb1

![20161013234732466][]

![20161013234732678][]

### **7-2、各节点挂载测试** ###

>        上面在node1上分区/dev/sdb1后，在另外两个节点上可以查看到分区及创建的文件系统，不过却挂载不上去，需要partprobe /dev/sdb内核识别后才能挂载，在node3上挂载如下：

> >     [root@node3 ~]# partprobe /dev/sdb
> >     
> >             [root@node3 ~]# mount /dev/sdb1 /mnt
> >     
> >             [root@node3 ~]# ls /mnt
> > 
> >   
> >   
> >

![20161013234733560][]

>        然后，在node1上复制/etc/fstab进去，然后在node2上也挂载，可以发现复制进去的文件，但在已经挂载的node3上却长时间看不到复制进去的文件，重新挂载后才能看到，如下：

![20161013234733819][]

> **       这说明多个节点同时挂载后，一个节点的操作和另外节点不是实时同步的，是在内存中有缓存的，所以这样用同时操作一个文件很可能会发生成崩溃，待后面解决**。

## **8、删除操作及target端文件配置** ##

### **8-1、删除各节点登录信息** ###

>        先使各节点登出，然后再删除发现的的信息，最后把残留的目录也删除，过程如下：

> >     [root@localhost ~]# ssh_node 'iscsiadm -m node -T iqn.2016-10.com.tjiyu:mystore.disk1 -p 192.168.18.240:3260 -u'; done
> >     
> >             [root@localhost ~]# ssh_node 'iscsiadm -m node -T iqn.2016-10.com.tjiyu:mystore.disk1 -p 192.168.18.240:3260 -o delete'; done
> >     
> >             [root@localhost ~]# ssh_node 'rm -rf /var/lib/iscsi/send_targets/192.168.18.240*'; done

![20161013234734107][]

### **8-2、删除target端配置** ###

>        先解除绑定，再删除LUN，最后删除target，过程如下：

> >     [root@localhost ~]# tgtadm -L iscsi -o unbind -m target -t 1 -I 192.168.18.0/24
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o delete -m logicalunit -t 1 -l 2
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o delete -m logicalunit -t 1 -l 1
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o delete -m target -t 1
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o show -m target

![20161013234734772][]

### **8-3、文件配置target信息** ###

>        上面我们说过tgtadm配置的信息，重启后会失效，需要通过/etc/tgt//targets.conf配置文件来配置才不会；该配置文件里有很多样例，如配置不使用缓存等，配置信息如下：

> >     <target iqn.2016-10.com.tjiyu:mystore.disk1> #配置target名称
> >     
> >                 <backing-store /dev/sda5> #配置共享磁盘
> >     
> >                     vendor_id test #配置发行商（任意）
> >     
> >                     lun 6 #配置LUN号
> >     
> >                 </backing-store>
> >     
> >                 <backing-store /dev/sda6> #配置共享磁盘
> >     
> >                     vendor_id test #配置发行商（任意）
> >     
> >                     lun 8 #配置LUN号
> >     
> >                 </backing-store>
> >     
> >                 incominguser tjiyu 123456 #配置认证的用户名和密码
> >     
> >                 initiator-address 192.168.18.0/24 #配置允许的网段
> >     
> >             </target>

![20161013234735060][]

>        过程如下：

> >     [root@localhost ~]# vim /etc/tgt//targets.conf
> >     
> >             [root@localhost ~]# service tgtd restart
> >     
> >             [root@localhost ~]# tgtadm -L iscsi -o show -m target

![20161013234735288][]

![20161013234735553][]

### **8-4、各节点重新发现并登录** ###

>        和上面6-4一样，各节点重新发现target，并登录，如下：

![20161013234735803][]

>        然后在node1上查看，可以看到前面测试格式化的分区还在，不过从/dev/sdb1变为了/dev/sdc1，重新挂载，发现复制进去的文件也还在，如下：

![20161013234736060][]

>        到这里，配置iSCSI应用就可以正常运行了，关于测试中发现的**共享存储带来的问题**，待后面解决，后面将在本文件的基础上进行集群文件系统gfs2及clvm的相关配置……

【参考资料】

1、iSCSI：[http://baike.baidu.com/link?url=5OlHGOXZ8Su0TpG1GmAzHrlsJw6GHaAvo4IHjddVZ9RuKtZQANsq1lHe0WFURzBofmNVIVZGeNscvBZw-k6Kwa][http_baike.baidu.com_link_url_5OlHGOXZ8Su0TpG1GmAzHrlsJw6GHaAvo4IHjddVZ9RuKtZQANsq1lHe0WFURzBofmNVIVZGeNscvBZw-k6Kwa]

2、常见的三种存储技术以及iSCSI协议：[http://xslwahaha.blog.51cto.com/4738972/1617781][http_xslwahaha.blog.51cto.com_4738972_1617781]

3、详解Linux配置iSCSI方法：[http://tech.watchstor.com/storage-module-121394.htm][http_tech.watchstor.com_storage-module-121394.htm]

4、linux系统简单搭建iSCSI：[http://cuchadanfan.blog.51cto.com/9940284/1696408][http_cuchadanfan.blog.51cto.com_9940284_1696408]

5、CentOS6.4+cman+rgmanager+iscsi+gfs2+cLVM 实现廉价的可扩展的集群共享存储：[http://freeloda.blog.51cto.com/2033581/1279063][http_freeloda.blog.51cto.com_2033581_1279063]

[Link 1]: http://blog.csdn.net/tjiyu/article/details/52643096
[20161013234721997]: /images/20220716/c22a37394d4b44bdb96399ba12bb5d46.png
[20161013234722319]: /images/20220716/a98a351e22e94f9ea9d67a8d89ed2675.png
[20161013234722778]: /images/20220716/494f47b5b87f47428869a7460fec4349.png
[20161013234723069]: /images/20220716/d9c8e24870f345459bfaf4822e315934.png
[20161013234723419]: /images/20220716/564b8f84c78247afab3e79cec46bd4f7.png
[20161013234723741]: /images/20220716/7a4ea75a4b654bb68aa0d0545d6cd842.png
[20161013234724263]: /images/20220716/4ee992284ce04dea96310c12255f86ec.png
[20161013234725116]: /images/20220716/45cd6a2d4e5241df8f7c7817c7380b00.png
[20161013234725497]: /images/20220716/51c4b41d02e44adfbb4644f3b9aefe38.png
[heartbeat v2 haresource]: http://blog.csdn.net/tjiyu/article/details/52669394
[20161013234725725]: /images/20220716/c305482416d44c5a8ca0bfd80a9c6117.png
[20161013234726060]: /images/20220716/8b2b95923ab1429d877819bf4e791369.png
[20161013234726397]: /images/20220716/8cc67847128d4c4ab944bfca84fa658d.png
[20161013234726685]: /images/20220716/421597722749430bb41d18108fd09ceb.png
[20161013234726881]: /images/20220716/252adaffc92f46ca91212387a372bddf.png
[20161013234727310]: /images/20220716/813b3b346e2d4832ac7d9c35b14acc3b.png
[20161013234727506]: /images/20220716/8cf32b3012544645ad39688f0f2d3359.png
[20161013234727888]: /images/20220716/7b9a532f609f412492fea3de91d0a644.png
[20161013234728131]: /images/20220716/629bf599666b41668f5791c76812db6d.png
[20161013234728435]: /images/20220716/20dfdfb6422e4c2186a8413f5172538f.png
[20161013234728694]: /images/20220716/5dbca437e1224a0e96c3967635bed337.png
[20161013234729091]: /images/20220716/73293effa5f944dbb138dd45414b852b.png
[20161013234729319]: /images/20220716/f704e0719e0b4e6cbc0f6f2156f67910.png
[20161013234729576]: /images/20220716/ba4b40ffa81a4395893304f05c4ffcb8.png
[20161013234729772]: /images/20220716/fe8c2e8d569f46e3850956f9a3d1d337.png
[20161013234730060]: /images/20220716/c01282f490ea49518dccb458ce71912c.png
[20161013234730256]: /images/20220716/48e4f758220d4c9b943ebe0cb38db475.png
[20161013234730513]: /images/20220716/87b22fedbfb44e298bdaf9574f9ca6c8.png
[20161013234730725]: /images/20220716/c0b72261d57a424db1b593a8fd4758ff.png
[20161013234730997]: https://img-blog.csdn.net/20161013234730997
[20161013234731209]: /images/20220716/521455f090a646ab8578ad83f3f63d63.png
[20161013234731544]: /images/20220716/fa2fdab5c91749848d2ea791daaa79a7.png
[20161013234731788]: /images/20220716/9bfcb0f20de34d84825ded068c5ffc20.png
[20161013234732466]: /images/20220716/48906b328dbb4a6eb3e4403b8369f387.png
[20161013234732678]: /images/20220716/d88aaa2c17b84ec08c95e4cc6a47a677.png
[20161013234733560]: /images/20220716/d1b55649602b426bbdf46f2359bcf552.png
[20161013234733819]: /images/20220716/363f43eaba114d399b20a45ec053cb2b.png
[20161013234734107]: /images/20220716/c7c91fd803704b0eb6a4b0d7b79e66e2.png
[20161013234734772]: /images/20220716/fdb3c40615af49c8bd02e2ba03dfddfc.png
[20161013234735060]: /images/20220716/9533f579fd1646e28e4f8080bcbc532e.png
[20161013234735288]: /images/20220716/94ef26acd2714092943e18e95a80f98e.png
[20161013234735553]: /images/20220716/57083fb8aab9454c8bd435250b4a9ccc.png
[20161013234735803]: /images/20220716/0af7615c3e0942b8abcea852f52aac31.png
[20161013234736060]: /images/20220716/546d1946a83949a5ad491e8336ca02ab.png
[http_baike.baidu.com_link_url_5OlHGOXZ8Su0TpG1GmAzHrlsJw6GHaAvo4IHjddVZ9RuKtZQANsq1lHe0WFURzBofmNVIVZGeNscvBZw-k6Kwa]: http://baike.baidu.com/link?url=5OlHGOXZ8Su0TpG1GmAzHrlsJw6GHaAvo4IHjddVZ9RuKtZQANsq1lHe0WFURzBofmNVIVZGeNscvBZw-k6Kwa
[http_xslwahaha.blog.51cto.com_4738972_1617781]: http://xslwahaha.blog.51cto.com/4738972/1617781
[http_tech.watchstor.com_storage-module-121394.htm]: http://tech.watchstor.com/storage-module-121394.htm
[http_cuchadanfan.blog.51cto.com_9940284_1696408]: http://cuchadanfan.blog.51cto.com/9940284/1696408
[http_freeloda.blog.51cto.com_2033581_1279063]: http://freeloda.blog.51cto.com/2033581/1279063