本地源的搭建（Apt、Pypi、Rubygem）

布满荆棘的人生 2022-08-21 02:12 816阅读 0赞

很多情况下，尤其是在公司工作，内部网络与外部网络是不相通的，因此经常需要在本地构建源。

（注：本文内容是在UbuntuServer14.04环境下应用的，部分命令请做相应调整，比如apt-get）

### APT本地源的搭建 ###

本节介绍使用apt-mirror搭建apt本地源的方法，简单几步就行：

（注：请先准备100G以上的空间来保存镜像文件，是的你没有看错，100G，建议选个快些的网络吧...）

首先，安装apt-mirror

apt-get命令的源配置位于/etc/apt/sources.list，而apt-mirror命令的源配置位于/etc/apt/mirror.list，很好记吧。

（mirror.list文件中配置的就是下载apt源所有文件的地址，建议采用国内的源，这里以阿里云的源为例，其他的见后边附1）

准备好之后就可以同步了：

然后就是漫长的等待了，同步的镜像文件目录为/var/spool/apt-mirror/mirror/mirrors.aliyun.com/ubuntu/，当然如果增加了其他的源，在/var/spool/apt-mirror/mirror目录下还有其他的地址为名的目录。

同步完成之后，放到httpd/apache2等http服务中就行，以apache2为例：

由于Apache2的默认网页文件目录位于/var/www/html，因此，可以做个软链接

<table style="border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> $ sudo ln -s /var/spool/apt-mirror/mirror/mirrors.aliyun.com/ubuntu /var/www/html/ubuntu</th> 
  </tr> 
 </tbody> 
</table>

然后就可以通过如下地址访问了

如果看到地址下边是dist/和pool/两个目录就OK了，然后放到/etc/apt/sources.list中试试吧

执行更新命令"apt-get update"，然后享受风驰电掣的速度吧。

### Pypi本地源的搭建 ###

#### 使用Bandersnatch进行完整同步 ####

本节介绍使用Bandersnatch进行镜像同步的方法，还是善意提醒一下，您需要准备大约120G以上的空间，对，您又没看错，这还是2014年的情况。

假定您已经安装python以及python-pip，这里我们用virtualenv来进行安装与使用。

首先安装virtualenvwrapper

把下面这句加到~/.bashrc里面，如不嫌麻烦，也可以每次都手动执行。

<table style="font-family:Arial,sans-serif; border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border-style:solid; border-color:rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> <p style="margin-top:0px; margin-bottom:0px; padding-top:0px; padding-bottom:0px; text-align:left"> source /usr/local/bin/virtualenvwrapper.sh</p> </th> 
  </tr> 
 </tbody> 
</table>

然后首先source一下.bashrc，第一次会创建一批文件（夹）到~/.virtualenvs/

<table style="font-family:Arial,sans-serif; border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border-style:solid; border-color:rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> <p style="margin-top:0px; margin-bottom:0px; padding-top:0px; padding-bottom:0px; text-align:left"> $ source ~/.bashrc</p> </th> 
  </tr> 
 </tbody> 
</table>

建立一个virtualenv，会自动进入该env，会看到命令行前边有（bandersnatch）

安装bandersnatch

第一次运行“bandersnatch mirror”命令会提示您进行相关配置，编辑/etc/bandersnatch.conf

directory即镜像文件要下载到的位置，master是镜像源，之前是尝试配置国内的源的（由于要求https的地址，只能添加清华大学的源，**master = https://pypi.tuna.tsinghua.edu.cn**），但是发现好像只能镜像目录或索引，无奈还是用回官方源。

然后再次运行“bandersnatch mirror”命令即可开始下载。

<table style="font-family:Arial,sans-serif; border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border-style:solid; border-color:rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> $ bandersnatch mirror</th> 
  </tr> 
 </tbody> 
</table>

（注：由于现在还在镜像同步中，下一步如何操作等同步完再补上）

#### 只用pip2pi工具仅同步所需的Pypi包 ####

全部下载所有的镜像文件有时候确实是比较耗时的，那么也可以仅同步所需的Pypi包。

首先，安装pip2pi工具

或

然后，创建存放软件包的仓库

之后就可以下载软件包了，可以单个下载，也可以批量下载，比如

requirements.txt文件是一个待下载软件包列表，比如[openstack需求的包列表][openstack]。

软件包下载后，建立索引：

若软件需求有更新，可以如下更新索引：

最后，将库地址配置给http服务就行了，方法同apt的类似，也可以采用自己的服务软件，比如nginx配置，这里介绍nginx的配置方法。

给Nginx服务器添加虚拟主机配置：

【或】当然也可以像apt源的部署方法一样，做一个软链接给apache2，或者配置apache

<table style="color:rgb(51,51,51); font-family:Arial,sans-serif; font-size:14px; line-height:20px; border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top; background-color:rgb(240,240,240)"> $ sudo ln -s /var/spool/<span style="color:rgb(51,51,51); background-color:rgb(240,240,240)"><strong>pypi-mirror</strong></span> /var/www/html/pypi</th> 
  </tr> 
 </tbody> 
</table>

源的使用方法及国内其他源的地址见附1。

### RubyGem本地源的搭建 ###

本节介绍rubygems-mirror工具下载本地源的方法，再次善意提醒，gem源的大小也很惊人，目前是220G（2016-3），您是不是已经习惯了，哭晕在厕所好嘛~

假设您已经安装ruby和gem了。首先安装rubygems-mirror：

编辑~/.gem/.mirrorrc（最开始可能没有这个文件，创建一个就行）

主要的参数有from和to，当然，from已经换成淘宝源，不只是快一点哟；to的话是镜像文件保存的位置。

此时执行命令gem mirror即可进行镜像下载啦。

终于下完了，用了两天两夜，不知道多大呢，du一下半天都出不来结果啊。。。听着老迈的硬盘格拉格拉的声音，实在心疼，还是df一下吧，妈呀，使用220G，幸亏虚拟机给了500G的空间，

### 附1：国内源 ###

#### APT源 ####

修改/etc/apt/sources.list（建议先备份：sudo cp /etc/apt/sources.list /etc/apt/sources.list.back），选择添加如下内容，然后运行"apt-get update"即可（列表是针对ubuntu14.04的，即trusty版本）：

<table style="border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> <p style="text-align:left; margin-top:0px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> # 阿里源（个人推荐）：</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> &nbsp;</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> #&nbsp;163源：</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> &nbsp;</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> <span style="color:rgb(51,51,51); background-color:rgb(240,240,240)"><strong>#&nbsp;</strong></span>搜狐源：</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.sohu.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.sohu.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.sohu.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.sohu.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.sohu.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.sohu.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.sohu.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.sohu.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.sohu.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://mirrors.sohu.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> &nbsp;</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> <span style="color:rgb(51,51,51); background-color:rgb(240,240,240)"><strong>#&nbsp;</strong></span>官方源：</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://archive.ubuntu.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://archive.ubuntu.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://archive.ubuntu.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://archive.ubuntu.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://archive.ubuntu.com/ubuntu/ trusty main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://archive.ubuntu.com/ubuntu/ trusty-security main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://archive.ubuntu.com/ubuntu/ trusty-updates main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://archive.ubuntu.com/ubuntu/ trusty-proposed main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb-src http://archive.ubuntu.com/ubuntu/ trusty-backports main restricted universe multiverse</p> <p style="text-align:left; margin-top:10px; margin-bottom:0px; padding-top:0px; padding-bottom:0px"> deb http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse</p> </th> 
  </tr> 
 </tbody> 
</table>

另外，最近在学习CI过程中陆续添加的源，其中的内容相对于ubuntu的apt源版本会新很多：

#### Pypi源 ####

Pypi的国内镜像源有

对于pip这种在线安装的方式来说，很方便，但网络不稳定的话很要命。使用国内镜像相对好一些，

如果想手动指定源，可以在pip后面跟-i 来指定源，比如用豆瓣的源来安装web.py框架：

<table style="border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> pip install web.py -i http://pypi.douban.com/simple</th> 
  </tr> 
 </tbody> 
</table>

注意后面要有/simple目录！！！

要配置成默认的话，需要创建或修改配置文件（linux的文件在~/.pip/pip.conf，windows在%HOMEPATH%\\pip\\pip.ini），修改内容为：

这样在使用pip来安装时，会默认调用该镜像。

#### RubyGem源 ####

<table style="border-collapse:collapse; margin:0px; overflow-x:auto"> 
 <tbody> 
  <tr> 
   <th style="border:1px solid rgb(221,221,221); padding:7px 10px; vertical-align:top; color:rgb(51,51,51); background-color:rgb(240,240,240)"> https://ruby.taobao.org&nbsp;淘宝（注意，淘宝已经改用https的地址了）</th> 
  </tr> 
 </tbody> 
</table>

使用方法（添加淘宝源，删除官方源）：

### 附2：参考资料 ###

[http://blog.csdn.net/get\_set/article/details/50706293][http_blog.csdn.net_get_set_article_details_50706293]

[http://linux.cn/article-4926-1.html][http_linux.cn_article-4926-1.html]

[http://blog.csdn.net/get\_set/article/details/50708471][http_blog.csdn.net_get_set_article_details_50708471]

[http://topmanopensource.iteye.com/blog/2004853][http_topmanopensource.iteye.com_blog_2004853]

[https://github.com/rubygems/rubygems-mirror][https_github.com_rubygems_rubygems-mirror]

[https://pypi.python.org/pypi/bandersnatch][https_pypi.python.org_pypi_bandersnatch]

[http://ju.outofmemory.cn/entry/106899][http_ju.outofmemory.cn_entry_106899]

[http://doc.devpi.net/latest/quickstart-pypimirror.html\#installing-devpi-server][http_doc.devpi.net_latest_quickstart-pypimirror.html_installing-devpi-server]

[http://www.diyoms.com/python/1058.html][http_www.diyoms.com_python_1058.html]

[openstack]: https://github.com/openstack/requirements/blob/master/global-requirements.txt
[http_blog.csdn.net_get_set_article_details_50706293]: http://blog.csdn.net/get_set/article/details/50706293
[http_linux.cn_article-4926-1.html]: http://linux.cn/article-4926-1.html
[http_blog.csdn.net_get_set_article_details_50708471]: http://blog.csdn.net/get_set/article/details/50708471
[http_topmanopensource.iteye.com_blog_2004853]: http://topmanopensource.iteye.com/blog/2004853
[https_github.com_rubygems_rubygems-mirror]: https://github.com/rubygems/rubygems-mirror
[https_pypi.python.org_pypi_bandersnatch]: https://pypi.python.org/pypi/bandersnatch
[http_ju.outofmemory.cn_entry_106899]: http://ju.outofmemory.cn/entry/106899
[http_doc.devpi.net_latest_quickstart-pypimirror.html_installing-devpi-server]: http://doc.devpi.net/latest/quickstart-pypimirror.html#installing-devpi-server
[http_www.diyoms.com_python_1058.html]: http://www.diyoms.com/python/1058.html