关于Python中生成器的原理与使用浅谈

待我称王封你为后i 2024-03-24 18:32 101阅读 0赞

![e79c242374263bc0fc43b6f839e7132d.jpeg][]

生成器表达式本质上就是一个迭代器，是定义迭代器的一种方式，是允许自定义逻辑的迭代器。本文将详细讲解一下Python中生成器的原理与使用，需要的可以参考一下

我们学习完推导式之后发现，推导式就是在容器中使用一个for循环而已，为什么没有元组推导式？

原因就是“元组推导式”的名字不是这样的，而是叫做生成器表达式。

### 什么是生成器 ###

生成器表达式本质上就是一个迭代器，是定义迭代器的一种方式，是允许自定义逻辑的迭代器。生成器使用generator表示。

### 迭代器和生成器的区别 ###

迭代器本身是系统内置的， 无法重写内置的逻辑结构；而生成器是用户自定义的，可以重写逻辑结构。所以生成器就是一个迭代器，只是我们将自己写的迭代器叫做生成器作为区分而已。

### 创建方式 ###

生成器有两种创建方式

1.生成器表达式，就是“元组推导式”

3.生成器函数，就是使用def定义，里面使用`yield`关键字

### 生成器表达式 ###

#### 基本语法 ####

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>from</code> <code>collections </code><code>import</code> <code>Iterator, Iterable</code> <code># 生成器表达式（元组推导式）</code> <code>gen </code><code>=</code> <code>(i </code><code>*</code> <code>2</code> <code>for</code> <code>i </code><code>in</code> <code>range</code><code>(</code><code>1</code><code>, </code><code>11</code><code>))</code> <code>print</code><code>(</code><code>isinstance</code><code>(gen, Iterable))&nbsp; </code><code># 判断是否是迭代对象</code> <code>print</code><code>(</code><code>isinstance</code><code>(gen, Iterator))&nbsp; </code><code># 判断是否是迭代器</code> <code># 这个 gen 就是生成器</code> </td> 
 </tr> 
 </tbody> 
</table>

### 生成器函数 ###

我们上面说到，生成器函数如何定义？其实和普通的函数定义的方法是一样的，都是要使用`def`关键字来定义，其它的写法没有任何要求，普通函数怎么写生成器函数就怎么写，唯一的要求就是要使用`yield`关键字。

要注意，**生成器函数就是一个函数，是使用了yield的函数，只不过生成器函数是用来定义生成器的。**

### yield关键字 ###

`yield`这个关键字其实类似于`return`关键字，`return`关键字的作用是在函数中使用，用来返回数据，`yield`关键字的作用也是一样的，就是用来返回数据，但是和`return`还有其它的不同之处。

#### yield和return ####

**共同点**

执行到对应语句的时候，就会返回对应的值。

**不同点**

`return`执行的时候，函数就跳出，然后`return`之后的所有作用域语句就会全部跳出，当函数再次调用的时候，整个函数就重新执行。

`yield`执行的时候，返回数据，但是函数就会记住跳出的位置，当你再次调用函数（生成器）的时候，就从上一次跳出的地方继续执行，是不是和迭代器的取值有异曲同工之处？

#### yield的使用方法 ####

yield的使用方法有两种，一种是和return的使用方法一样，在关键字的后面直接添加返回值，这是推荐使用的方法；

第二种方法使用将yield作为一个函数使用，就是在yield后面使用括号，在括号中填写返回的值。

### 生成器函数的基本使用 ###

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 </td> 
 <td> <code># 1、定义一个生成器函数</code> <code># 生成器函数就是一个使用yield的函数</code> <code>def</code> <code>myGen():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>1</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>yield</code> <code>11</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>2</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>yield</code> <code>22</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>3</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>yield</code> <code>33</code> <code># 2、初始化生成器</code> <code># 执行生成器函数，返回一个对象，就是生成器对象，简称生成器</code> <code>from</code> <code>collections </code><code>import</code> <code>Iterator</code> <code>gen </code><code>=</code> <code>myGen()</code> <code>res </code><code>=</code> <code>isinstance</code><code>(gen, Iterator)</code> <code>print</code><code>(res)&nbsp; </code><code># True&nbsp; 返回True说明生成器本质上就是一个迭代器</code> <code># 3、调用生成器</code> <code># 生成器本质上就是一个迭代器，还记得迭代器如何调用吗？</code> <code>res </code><code>=</code> <code>next</code><code>(gen)</code> <code>print</code><code>(res)</code> <code>"""</code> <code>结果：</code> <code>1&nbsp;&nbsp; （生成器函数中的语句 print(1)）</code> <code>11&nbsp; （yield返回的值，print(res)）</code> <code>"""</code> </td> 
 </tr> 
 </tbody> 
</table>

#### send的使用 ####

`send`和`next`一样，都是用来取出迭代器中的值的函数，`send`是生成器的内置函数。而且send和next相比，功能更加的强大，next只能取值；send不但能取值，而且还能发送值。

**实例**

定义生成器函数

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 </td> 
 <td> <code>def</code> <code>myGen():</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>'process start'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>#&nbsp; res获取yield的值</code> <code>&nbsp;&nbsp;&nbsp;</code><code>res </code><code>=</code> <code>yield</code> <code>100</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(res, </code><code>'内部打印1'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>'process start'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>res </code><code>=</code> <code>yield</code> <code>200</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(res, </code><code>'内部打印2'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(</code><code>'process start'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;</code><code>res </code><code>=</code> <code>yield</code> <code>300</code> <code>&nbsp;&nbsp;&nbsp;</code><code>print</code><code>(res, </code><code>'内部打印3'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

初始化生成器

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>gen </code><code>=</code> <code>myGen()</code> </td> 
 </tr> 
 </tbody> 
</table>

第一次调用生成器

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code># 在使用send时，第一次传递的数据必须是None，这是硬性语法，以为send第一次传递参数的时候，还没有遇到yield，所以不能传送。</code> <code>res </code><code>=</code> <code>gen.send(</code><code>None</code><code>)</code> <code>print</code><code>(res)</code> <code>"""</code> <code>结果：</code> <code>process start</code> <code>100</code> <code>"""</code> </td> 
 </tr> 
 </tbody> 
</table>

使用send第一次调用生成器的时候执行了下面的语句：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>print</code><code>(</code><code>'process start'</code><code>)</code> <code>res </code><code>=</code> <code>yield</code> <code>100</code> </td> 
 </tr> 
 </tbody> 
</table>

执行到yield 100的时候，才碰到了yield，但是send之前没有遇到过yield，所以不能传入任何值，None没有任何意义，这是硬性语法。

这里注意，`res = yield 100`中的res此时没有任何价值。因为这个一条语句我们目前只执行了一半，执行了`yield 100`，还有res的赋值没有完成，所以现在的res没有任何的意义。

第一次调用生成器，返回100，这个100则是语句`res = yield 100`返回的值。

第二次调用

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>res </code><code>=</code> <code>next</code><code>(gen)</code> <code>print</code><code>(res)</code> <code>"""</code> <code>结果：</code> <code>None 内部打印1</code> <code>process start</code> <code>200</code> <code>"""</code> </td> 
 </tr> 
 </tbody> 
</table>

第二次调用执行了以下语句：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>res </code><code>=</code> <code>yield</code> <code>100</code> <code>print</code><code>(res, </code><code>'内部打印1'</code><code>)</code> <code>print</code><code>(</code><code>'process start'</code><code>)</code> <code>res </code><code>=</code> <code>yield</code> <code>200</code> </td> 
 </tr> 
 </tbody> 
</table>

注意，生成器函数在调用的时候，会从上一次yield返回值的地方，就是`res = yield 100`，但是这个语句第二次调用的时候，只会执行一半，因为另一半在第一次调用的时候已经执行完了，就是`yield 100`，就是说还有res的赋值没有进行，但是第二次调用使用的是next，next没有传送值的能力，所以res就没有赋予任何值，，在打印的时候，res就是一个None。

第三次调用

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>res </code><code>=</code> <code>gen.send(</code><code>'第三次调用'</code><code>)</code> <code>print</code><code>(res)</code> <code>"""</code> <code>结果：</code> <code>第三次调用 内部打印2</code> <code>process start</code> <code>300</code> <code>"""</code> </td> 
 </tr> 
 </tbody> 
</table>

第三次调用执行的语句是：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>res </code><code>=</code> <code>yield</code> <code>200</code> <code>print</code><code>(res, </code><code>'内部打印2'</code><code>)</code> <code>print</code><code>(</code><code>'process start'</code><code>)</code> <code>res </code><code>=</code> <code>yield</code> <code>300</code> </td> 
 </tr> 
 </tbody> 
</table>

这次和第二次的调用基本是一样的，但是这次是使用send调用，所以传送了值过去，执行于是将值赋予了res。

第四次调用

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>res </code><code>=</code> <code>gen.send(</code><code>None</code><code>)</code> <code>print</code><code>(res)</code> <code>"""</code> <code>结果：</code> <code>None 内部打印3</code> <code>StopIteration&nbsp; （报错）</code> <code>"""</code> </td> 
 </tr> 
 </tbody> 
</table>

第四次调用，执行以下语句：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 </td> 
 <td> <code>res </code><code>=</code> <code>yield</code> <code>300</code> <code>print</code><code>(res, </code><code>'内部打印3'</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

第四次调用生成器，没有可以执行的yield语句，所以返回不了任何数据，因此报出了 `StopIteration`的错误。

### 可迭代对象的优化 ###

现在我们就已经学习完了容器和迭代器、生成器的相关知识，我们也知道了可迭代对象和迭代器的区别，那么现在我们要说的是，如果我们需要制定一个容器供我们遍历使用，那么我们优先使用迭代器而不是容器这样的一个普通的可迭代对象。

在我们之后的日常使用过程当中，我们有时就会发现，我们需要在一个循环中遍历一个容器供我们使用，但是这个容器中的值非常多，使这个容器占据的内存空间非常大，消耗了大量的资源，导致我们的程序非常慢。这个时候我们就需要使用迭代器或者生成器去遍历，迭代器每次遍历只占据当次遍历时的内存空间，因此非常的节省资源，所以这就是我们优先使用迭代器的理由。

### 总结 ###

现在我们就学习完了python中的所有的函数类型，知道了python中的有内置函数、自定义函数，之后我们还会学习一些python的常用标准库和第三方库，里面也有一些我们经常用到的函数。

*  普通函数，使用def定义
 *  匿名函数，使用lambda定义
 *  闭包函数，内函数调用外函数的变量，并且外函数将内函数返回，这样的嵌套下，外函数就是一个闭包函数，但是一般的情况下，我们并不特意的作出一个闭包函数，而是要使用闭包这么一个功能
 *  高阶函数，就是将函数作为参数使用的函数，常用的内置高阶函数有map、filter、reduce、sorted
 *  递归函数，自己调用自己的函数
 *

以上就是一文详解Python中生成器的原理与使用的详细内容，希望可以帮到你。

转自：[微点阅读][Link 1] [https://www.weidianyuedu.com][Link 1]

[e79c242374263bc0fc43b6f839e7132d.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/076d9fc1822a4b2fa68a6947453d62f1.png
[Link 1]: https://www.weidianyuedu.com