python小工具集锦

短命女 2022-06-07 04:12 185阅读 0赞

# 用于记录Python的工具知识点 #

--------------------

## pip 相关 ##

*  `pip list`列出pip安装的所有包
 *  `pip list --outdated`列出可更新的包
 *  `pip install somepackage`
 *  `pip uninstall somepackage`
 *  `pip install --upgrade somepackage`
 *  `pip install pip-review`、`pip-review --local --interactive`更新所有的包

**另外pip默认源，有些时候确实很慢，建议更改为国内源，比如科大，清华**

```
    mkdir ~/.pip
    sudo vim ~/.pip/pip.conf
    
    #加入下面行
    [global]
    index-url = https://pypi.mirrors.ustc.edu.cn/simple
    ```

**自动生成和安装requirements.txt依赖**  
在我们的Python项目里经常会添加`requirements.txt`文件，里面记录了当前程序的所有依赖包及其精确版本号。主要用于重新构建项目所需要的运行环境依赖。requirements.txt可以通过pip命令自动生成和安装

*  生成requirements.txt文件
    
        pip freeze > requirements.txt
 *  安装requirements.txt依赖
    
        pip install -r requirements.txt

## virtualenv相关 ##

virtualenv是管理不同Python环境的工具，这里介绍如何建立一个keras环境

*  首先安装该包 `pip install virtualenv`
 *  建立虚拟环境目录 `mkdir $HOME/.virtualenvs`
 *  在该目录内建立keras环境 `virtualenv keras`
 *  启动运行keras环境 `source keras/bin/activate`
 *  停止运行 deactivate
 *  如果没有启动虚拟环境，系统也安装了pip工具，那么`pip install ..`将被安装在系统环境中，为了避免发生此事，可以在~/.bashrc文件中加上：`export PIP_REQUIRE_VIRTUALENV=true`
 *  如下图所示步骤：  
    ![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMDExMTYyODM1Mzky]
    
    至此已经结束，但是每次运行keras都要`source /../..activate`是不是有点费事呢，下面使用virtualenvwrapper工具辅助管理虚拟环境
 *  安装该包 `sudo pip install virtualenvwrapper`
 *  在~/.bashrc中添加行：`export WORKON_HOME=$HOME/.virtualenvs`
 *  在~/.bashrc中添加行：`source /usr/local/bin/virtualenvwrapper.sh`  
    ![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMDExMTYzOTA1MTg1]
 *  运行： `source ~/.bashrc`
 *  列出所有虚拟环境 `workon`
 *  启动运行虚拟环境 `workon keras`
 *  如下步骤  
    ![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMDExMTY0MTUzODEx]
 *  删除虚拟环境 `rmvirtualenv keras`
 *  可能遇见问题：
    
    1.  bash: /usr/local/bin/virtualenvwrapper.sh: 没有那个文件或目录  
        解决方案：找到`virtualenvwrapper.sh`文件位置，然后更新`~/.bashrc`
    2.  no module name virtualenvwrapper  
        ![在这里插入图片描述][20190429161200346.png]  
        解决方案：`sudo vim ~/.bashrc`重新添加环境变量添加内容如下：
        
            export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
            export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
        
        完整变量如图  
        ![在这里插入图片描述][20190429161517637.png]  
        更新一下：`source ~/.bashrc`

--------------------

## Jupyter notebook ##

[jupyter notebook][] 可谓是神器，虽然做大型工程会有点吃力，不过确实很方便使用

pip install jupyter

\#\#\#\#有趣的功能简介：

*  播放音频

from IPython.display import Audio
    Audio(url="http://www.nch.com.au/acm/8k16bitpcm.wav")

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMjA4MTAxMDA5OTg4]

from IPython.display import YouTubeVideo
    YouTubeVideo('sjfsUzECqK0')

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMjA4MTAxMDI5MjM5]

## 时间相关 ##

*  time

#获取当前时间，时区
    >>>import time 
    >>>time.time() #当前时间（距离1970年1月1日 00:00:00的秒数，即时间戳）
    1507705104.837813
    
    >>>time.localtime() 
    time.struct_time(tm_year=2017, tm_mon=10, tm_mday=11, tm_hour=14, tm_min=43, tm_sec=8, tm_wday=2, tm_yday=284, tm_isdst=0)
    #输出解释：year，month (1-12)，day (1-31)，hours (0-23)，minutes (0-59)，seconds (0-59)，weekday (0-6, Monday is 0)，Julian day (day in the year, 1-366)，DST (Daylight Savings Time) ，flag (-1, 0 or 1) 是否是夏令时
    
    #Normal format
    >>>ISOTIMEFORMAT='%Y-%m-%d %X'
    >>>time.strftime(ISOTIMEFORMAT, time.gmtime(time.time())) # 零时区时间
    '2017-10-11 06:49:37'
    
    >>>time.strftime(ISOTIMEFORMAT, time.localtime(time.time())) # 本时区时间
    '2017-10-11 14:38:29'
    >>>time.timezone/3600 #当前时区
    -8 
    
    #时间转时间戳
    >>>dt = "2017-10-11 06:49:37"
    >>>timeArray = time.strptime(dt, "%Y-%m-%d %H:%M:%S")      #转换成时间数组
    >>>timestamp = time.mktime(timeArray)                      #转换成时间戳
    >>>print (timestamp)
    1507675777.0

## python 常用字符集合 ##

import string
    
    string.ascii_letters
    Out: 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'
    
    string.ascii_lowercase
    Out: 'abcdefghijklmnopqrstuvwxyz'
    
    string.ascii_uppercase
    Out: 'ABCDEFGHIJKLMNOPQRSTUVWXYZ'
    
    Istring.digits
    Out: '0123456789'
    
    string.punctuation
    Out: '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~'
    
    string.whitespace
    Out: '\t\n\x0b\x0c\r '

## 局域网传输工具 ##

# 终端下打开文件所在目录
    python -m SimpleHTTPServer

默认端口为8000，此时与你同在一个局域网的设备就能通过你的**ip:8000**从你这下载文件了

## 中文转拼音 ##

from xpinyin import Pinyin           
    # default splitter is `-`
    p = Pinyin()
    print (p.get_pinyin(u"合肥"))
    print (p.get_pinyin(u"合肥", show_tone_marks=True))
    print (p.get_pinyin(u"合肥", ''))
    print (p.get_pinyin(u"合肥", ' '))
    print (p.get_initial(u"合"))
    print (p.get_initials(u"合肥"))
    print (p.get_initials(u"合肥", u''))

![这里写图片描述][aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMzA5MTU0NTUyMTU]

## python emoji表情 ##

发现了一个比较有意思的[库][Link 1]

from emoji import emojize
    print(emojize(":sushi:"+' '+":thumbs_up:"+' '+":ghost:"+' '+":boy:"+' '+":man:"+' '+":woman:"))

输出如下：  
![样例][70]

并附上emoji各表情对应名称的[链接][Link 2]

--------------------

# 数据处理小技巧 #

1.  **Pandas过滤dataframe中包含特定字符串的数据**  
    在实际应用过程中使用`in`或者其他办法也可以，在这里介绍`contains`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zNTk2NTM1MQ_size_16_color_FFFFFF_t_70]
2.  **列表解析**  
    ![在这里插入图片描述][20190708163011441.png]

[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMDExMTYyODM1Mzky]: /images/20220607/0f761ff29d98433dbac99b58007abc7d.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMDExMTYzOTA1MTg1]: /images/20220607/41ba156fccad4a29b0dfafbbb7d1674e.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMDExMTY0MTUzODEx]: /images/20220607/df6618af815e4225a5b609267323ddb6.png
[20190429161200346.png]: /images/20220607/ace2962099234c8c9e175f4d96109766.png
[20190429161517637.png]: /images/20220607/5f10a18174c94fa3a8d64e1461a76032.png
[jupyter notebook]: http://jupyter.org/index.html
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMjA4MTAxMDA5OTg4]: /images/20220607/63d7fb9daaf54d1784e278104f944073.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcxMjA4MTAxMDI5MjM5]: /images/20220607/a5b4f3f391d9432faaad5bbc7108b092.png
[aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTgwMzA5MTU0NTUyMTU]: /images/20220607/a99a456e383e4b8fa31909d58529679b.png
[Link 1]: https://github.com/kyokomi/emoji
[70]: /images/20220607/cd0bd4e9f7544bf9b0557f836dce4568.png
[Link 2]: http://www.oicqzone.com/tool/emoji/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zNTk2NTM1MQ_size_16_color_FFFFFF_t_70]: /images/20220607/930dff0d2055495b87082399f0311602.png
[20190708163011441.png]: /images/20220607/59cfbde5f1504f5fb7e3d69c08ae97cf.png