用Python解决女朋友看电影没字幕的需求

浅浅的花香味﹌ 2022-12-10 07:14 214阅读 0赞

# 用Python解决女朋友看电影没字幕的需求 #

### 文章目录 ###

*  用Python解决女朋友看电影没字幕的需求
 *   *  一、故事情节
     *  二、开发前的准备工作
     *  三、开发过程详细介绍
     *   *  （一）接口规范说明
         *  （二）项目开发
         *   *  1、界面部分的实现
             *  2、处理音视频功能开发
             *  3、发送数据翻译功能的开发
     *  四、效果展示
     *  五、总结

## 一、故事情节 ##

是这样子的，女朋友晚上突然翻到了自己喜欢看的一个电影，但是没有字幕，这让她很苦恼。

我急中生智，紧急的解决了我女朋友的需求。

想到了使用Python做一个可以识别语音，然后翻译出来文字的软件。

![在这里插入图片描述][resize_m_lfit_w_962_pic_center]

如下图就是本片文章所要完成的效果，哈哈，是不是还不错，很棒的样子。

如果有兴趣可以给我点个赞，之后带来更多好玩、有趣的demo和实现的教程。

《甄嬛传》第一集的某一小段：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center]

**其实，是这样子的：**

最近剧荒，偶然翻出了曾经下载的电视剧回味一番，经典就是经典，不论是剧情还是台词，都那么有魅力，咦？等等，台词，台词……作为一个IT从业者，我忽然灵光一现——现在语音识别技术这么发达，能否有什么办法能帮我保存下一些精彩桥段的台词呢？或许我也可以是个野生字幕君:p ,似乎也可以在此基础上顺手再翻译一下个别难懂的台词！

略加思索，我大概有了个想法——做个视频中提取音频的程序，而后去请求一个开放的语音识别API来帮我把语音转为文字。鉴于之前调用有道智云的愉快经验，我决定再次拿来为我所用，很快做出了这个[demo][]（请忽略这丑丑的界面布局，能用就行……）。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 1]

欢迎关注我，`一块来履行我之前的承诺`，`连更一个月之内`，把几篇写完。

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>预计完成时间</th> 
   <th>开发dome名字以及功能&amp;发布文章内容</th> 
   <th>是否已写完</th> 
   <th>文章链接</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>9月3</td> 
   <td>文本翻译，单文本翻译，批量翻译demo。</td> 
   <td>已完成</td> 
   <td>CSDN：<a href="https://blog.csdn.net/qq_17623363/article/details/108511541" rel="nofollow">点我直达</a> <br>微信公众号：<a href="https://mp.weixin.qq.com/s/6AMzkTtPKf4JcATHD-_yAg" rel="nofollow">点我直达</a></td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>9月11</td> 
   <td>OCR-demo，完成批量上传识别;在一个demo中可选择不同类型的OCR识别《包含手写体/印刷体/身份证/表格/整题/名片），然后调用平台能力，具体实现步骤等。</td> 
   <td>已完成</td> 
   <td>CSDN：<a href="https://blog.csdn.net/qq_17623363/article/details/108588629" rel="nofollow">点我直达</a><br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>10月27</td> 
   <td>语音识别demo，demo中上传—段视频，并截取视频中短语音识别-demo的一段音频进行短语音识别</td> 
   <td></td> 
   <td>CSDN：<a href="https://truedei.blog.csdn.net/article/details/109153738" rel="nofollow">点我直达</a><br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>9月17</td> 
   <td>智能语音评测-demo</td> 
   <td></td> 
   <td>CSDN：<br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>9月24</td> 
   <td>作文批改-demo</td> 
   <td></td> 
   <td>CSDN：<br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>9月30</td> 
   <td>语音合成-demo</td> 
   <td></td> 
   <td>CSDN：<br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>10月15</td> 
   <td>单题拍搜-demo</td> 
   <td></td> 
   <td>CSDN：<br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>10月20</td> 
   <td>图片翻译-demo</td> 
   <td></td> 
   <td>CSDN：<br>微信公众号：</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 二、开发前的准备工作 ##

首先，是需要在有道智云的个人页面上创建实例、创建应用、绑定应用和实例，获取调用接口用到的应用的id和密钥。具体个人注册的过程和应用创建过程详见文章[不到100行代码搞定Python做OCR识别身份证，文字等各种字体][100_Python_OCR]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 2]

## 三、开发过程详细介绍 ##

下面介绍具体的代码开发过程。

### （一）接口规范说明 ###

首先分析有道智云的API输入输出规范。根据[文档][Link 1]来看，调用接口格式如下：

**有道语音识别API HTTPS地址：**

https://openapi.youdao.com/asrapi

**接口调用参数:**

<table> 
 <thead> 
  <tr> 
   <th>字段名</th> 
   <th>类型</th> 
   <th>含义</th> 
   <th>必填</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>q</td> 
   <td>text</td> 
   <td>要翻译的音频文件的Base64编码字符串</td> 
   <td>True</td> 
   <td>必须是Base64编码</td> 
  </tr> 
  <tr> 
   <td>langType</td> 
   <td>text</td> 
   <td>源语言</td> 
   <td>True</td> 
   <td><a href="https://ai.youdao.com/DOCSIRMA/html/%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%ABASR/API%E6%96%87%E6%A1%A3/%E7%9F%AD%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1/%E7%9F%AD%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1-API%E6%96%87%E6%A1%A3.html#section-8" rel="nofollow">支持语言</a></td> 
  </tr> 
  <tr> 
   <td>appKey</td> 
   <td>text</td> 
   <td>应用 ID</td> 
   <td>True</td> 
   <td>可在 <a href="https://ai.youdao.com/appmgr.s" rel="nofollow">应用管理</a> 查看</td> 
  </tr> 
  <tr> 
   <td>salt</td> 
   <td>text</td> 
   <td>UUID</td> 
   <td>True</td> 
   <td>UUID</td> 
  </tr> 
  <tr> 
   <td>curtime</td> 
   <td>text</td> 
   <td>时间戳（秒）</td> 
   <td>true</td> 
   <td>秒数</td> 
  </tr> 
  <tr> 
   <td>sign</td> 
   <td>text</td> 
   <td>签名，通过md5(应用ID+q+salt+curTime+密钥)生成</td> 
   <td>True</td> 
   <td>应用ID+q+salt+curTime+密钥的MD5值</td> 
  </tr> 
  <tr> 
   <td>signType</td> 
   <td>text</td> 
   <td>签名版本</td> 
   <td>True</td> 
   <td>v2</td> 
  </tr> 
  <tr> 
   <td>format</td> 
   <td>text</td> 
   <td>语音文件的格式，wav</td> 
   <td>true</td> 
   <td>wav</td> 
  </tr> 
  <tr> 
   <td>rate</td> 
   <td>text</td> 
   <td>采样率， 推荐 16000 采用率</td> 
   <td>true</td> 
   <td>16000</td> 
  </tr> 
  <tr> 
   <td>channel</td> 
   <td>text</td> 
   <td>声道数， 仅支持单声道，请填写固定值1</td> 
   <td>true</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>type</td> 
   <td>text</td> 
   <td>上传类型， 仅支持base64上传，请填写固定值1</td> 
   <td>true</td> 
   <td>1</td> 
  </tr> 
 </tbody> 
</table>

其中q为base64编码的待识别音频文件，“上传的文件时长不能超过120s，文件大小不能超过10M”，这点需要注意一下。

API的**返回内容**较为简单：

<table> 
 <thead> 
  <tr> 
   <th>字段</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>errorCode</td> 
   <td>识别结果错误码，一定存在。 详细信息参加 <a href="https://ai.youdao.com/DOCSIRMA/html/%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%ABASR/API%E6%96%87%E6%A1%A3/%E7%9F%AD%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1/%E7%9F%AD%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1-API%E6%96%87%E6%A1%A3.html#section-9" rel="nofollow">错误代码列表</a></td> 
  </tr> 
  <tr> 
   <td>result</td> 
   <td>识别结果，识别成功一定存在</td> 
  </tr> 
 </tbody> 
</table>

### （二）项目开发 ###

这个项目使用`python3`开发，包括`maindow.py`，`videoprocess.py`，`srbynetease.py`三个文件。

`界面`部分，使用python自带的`tkinter库`，提供视频文件选择、时间输入框和确认按钮；

`videoprocess.py`:来实现在视频的指定时间区间提取音频和处理API返回信息的功能；

`srbynetease.py`:将处理好的音频发送到短语音识别API并返回结果。

#### 1、界面部分的实现 ####

界面部分代码如下，比较简单。

root=tk.Tk()
    root.title("netease youdao sr test")
    frm = tk.Frame(root)
    frm.grid(padx='50', pady='50')
    
    btn_get_file = tk.Button(frm, text='选择待识别视频', command=get_file)
    btn_get_file.grid(row=0, column=0,  padx='10', pady='20')
    path_text = tk.Entry(frm, width='40')
    path_text.grid(row=0, column=1)
    
    start_label=tk.Label(frm,text='开始时刻：')
    start_label.grid(row=1,column=0)
    start_input=tk.Entry(frm)
    start_input.grid(row=1,column=1)
    
    end_label=tk.Label(frm,text='结束时刻：')
    end_label.grid(row=2,column=0)
    end_input=tk.Entry(frm)
    end_input.grid(row=2,column=1)
    
    sure_btn=tk.Button(frm, text='开始识别', command=start_sr)
    sure_btn.grid(row=3,column=0,columnspan=3)
    root.mainloop()

其中sure\_btn的绑定事件start\_sr()做了简单的异常处理，并通过弹窗打印最终的识别结果:

def start_sr():
        print(video.video_full_path)
     if len(path_text.get())==0:
            sr_result = '未选择文件'
        else:
            video.start_time = int(start_input.get())
            video.end_time = int(end_input.get())
            sr_result=video.do_sr()
    
        tk.messagebox.showinfo("识别结果", sr_result)

#### 2、处理音视频功能开发 ####

（1）在videoprocess.py中，我用到了python的moviepy库来处理视频，按指定起止时间截取视频，提取音频，并按API要求转为base64编码形式：

def get_audio_base64(self):
        video_clip=VideoFileClip(self.video_full_path).subclip(self.start_time,self.end_time)
        audio=video_clip.audio
        result_path=self.video_full_path.split('.')[0]+'_clip.mp3'
        audio.write_audiofile(result_path)
        audio_base64 = base64.b64encode(open(result_path,'rb').read()).decode('utf-8')
        return audio_base64

（2）处理好的音频文件编码传到封装好的有道智云API调用方法中：

def do_sr(self):
        audio_base64=self.get_audio_base64()
        sr_result=srbynetease.connect(audio_base64)
        print(sr_result)
        if sr_result['errorCode']=='0':
            return sr_result['result']
        else:
            return "Something wrong , errorCode:"+sr_result['errorCode']

#### 3、发送数据翻译功能的开发 ####

srbynetease.py中封装的调用方法比较简单，按API文档“组装”好data\{\}发送即可：

def connect(audio_base64):
        data = { }
        curtime = str(int(time.time()))
        data['curtime'] = curtime
        salt = str(uuid.uuid1())
        signStr = APP_KEY + truncate(audio_base64) + salt + curtime + APP_SECRET
        sign = encrypt(signStr)
        data['appKey'] = APP_KEY
        data['q'] = audio_base64
        data['salt'] = salt
        data['sign'] = sign
        data['signType'] = "v2"
        data['langType'] = 'zh-CHS'
        data['rate'] = 16000
        data['format'] = 'mp3'
        data['channel'] = 1
        data['type'] = 1
    
        response = do_request(data)
    
        return json.loads(str(response.content,'utf-8'))

## 四、效果展示 ##

随手打开《甄嬛传》第一集的某一小段试试：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 3]

效果可以，断句的一点小瑕疵可以忽略。没想到这短语音识别API博古通今，古文语音识别也这么溜，厉害厉害！

## 五、总结 ##

一番尝试带我打开了新世界的大门，从今天开始我可以是一个不打字却能搬运字幕的野生字幕君了，后面再有时间可以试试识别完翻译成其他语言的操作，嗯，是技术的力量！

项目地址：https://github.com/LemonQH/SRFromVideo

**`关注我微信公众号第一时间推送给你哦：`**

回复`菜单`，更有好礼，惊喜在等着你。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 4]

**欢迎扫码加入我创建的社区群哦，可以与我更进一步的交流，群里还有很多大佬等着你，一起玩耍，一起进步！！！**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 5]

[resize_m_lfit_w_962_pic_center]: /images/20221123/3d1e090361e4400a84316d164e4adee7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/8f4cf683fc4b44b49d436421614e17e2.png
[demo]: https://github.com/LemonQH/SRFromVideo
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/f9eff019e2ed4424ab3e45e2aa430dc9.png
[100_Python_OCR]: https://blog.csdn.net/qq_17623363/article/details/108588629
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/6d7a9bf86c4748c2930104e15c0e79c2.png
[Link 1]: https://ai.youdao.com/DOCSIRMA/html/%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%ABASR/API%E6%96%87%E6%A1%A3/%E7%9F%AD%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1/%E7%9F%AD%E8%AF%AD%E9%9F%B3%E8%AF%86%E5%88%AB%E6%9C%8D%E5%8A%A1-API%E6%96%87%E6%A1%A3.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/2c555e013d11478a869c3e9cc109c3df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/c26e58bee42f40b483eba3af72ac420c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE3NjIzMzYz_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/1ed895a34ae04bcfbd7979e94ef7d373.png