写得太好了！5面蚂蚁3面拼夕夕2面字节，吊打面试官

梦里梦外; 2021-07-20 23:03 374阅读 0赞

### 前言 ###

在大数据、高并发的系统中，为了突破瓶颈，会将系统进行水平扩展和垂直拆分，形成独立的服务。每个独立的服务背后，可能是一个集群在对外提供服务。这就会碰到一个问题，整个系统是由多个服务(子系统)组成的，数据需要在各个服务中不停流转。如果数据在各个子系统中传输时，速度过慢，就会形成瓶颈，降低整个系统的性能。从而就形成了以Kafka为中心的解决方案！

因为阅读Kafka源码重要性就不言而喻，今天小编就分享一份拼多多Kafka的源码笔记，现已面向大众全面开源！（**为了不影响大家的阅读体验，免费获取方式放在了文末！**）

![就这一次！拼多多内部架构师培训Kafka源码笔记（现已绝版）][Kafka]

> 这份笔记从Kafka的应用场景、源码环境搭建开始逐步深人，不仅介绍Kafka的核心概念，而且对Kafka生产者、消费者、服务端的源码进行深人的剖析，最后介绍Kafka常用的管理脚本实现，让读者不仅从宏观设计上了解Kafka,而且能够深人到Kafka的细节设计之中。在源码分析的过程中，还穿插了笔者工作积累的经验和对Kafka设计的理解，希望读者可以举一反三， 不仅知其然，而且知其所以然。

## 1 进程 ##

#### **进程与程序** ####

操作系统之中最为通用的概念就是「进程」。与此相关的面试题以及各种技术优化策略也层出不穷，足以够证明它对于理解操作系统中举足轻重的地位。事实上，通过「进程」，程序员可以更为直观的理解自己所开发的软件，并且能够从中深刻的认识到操作系统在软件运行做了些什么。

简单来讲，进程就是正在执行的程序。每个进程都包含有属于自己的一段地址空间，可以看作是一部分内存空间。在这样的地址空间中，进程能够根据需要进行内存的读写。

地址空间里面一般包含可执行程序，以及对应程序的数据及其堆栈。与每个进程相关的还有一组资源，通常包括寄存器（包括程序计数器和堆栈指针）以及运行程序所需的所有其他信息。从这可以看出，程序本身只是指令、数据以及其组织形式的一种描述方式，而程序的实际的运行实例就是一个进程。

不过进程与程序也并不完全等同，他们不是简单的一一对应的关系，而是在不同层面的表现形式。他们的主要区别在于：

>  *  程序是进程的静态文本，而进程是执行程序的动态过程；
>  *  进程与程序不是一一对应，同一程序可在不同进程中运行，一个进程也可以执行多个程序；
>  *  程序是一种长期可保存的文本，进程是暂时的一次执行过程；
>  *  进程是操作系统分配调度的独立单位，而程序是操作系统层级之上的应用程序。

#### **进程状态** ####

从上面我们知道，进程可看作是程序运行的动态过程。那么为了更好的对进程进行描述，我们给运行中的进程定义了三种基本状态，包括就绪、执行和阻塞。

这就是所谓的三态模型，描述了进程在整个运行周期中状态变化。每个状态的转移过程可以通过下图来表示。

![afea5b23491ef451987d45641aa889fd.png][]

**`就绪状态`** 是指进程已经被分配到了所有必需的资源，除了`CPU`。在这个状态下，进程处于箭在弦上随时待发的状态，只要一获得`CPU`的执行权限，进程便会立刻执行，从而进入执行状态。

当有多个处于就绪状态的进程时，不同的进程会根据优先级被划分入不同的队列。一个因为时间片用完而进入就绪状态的进程会被划分入低优先级队列，而因为`I/O`操作完成而进入就绪状态的进程，则会被划分入高优先级队列。

**`执行状态`** 是指进程正常运行的状态。而当处于执行状态的进程由于需要等待某个事件发送（通常为等待`I/O`）时，就会放弃`CPU`，从而进入暂时的阻塞状态。`CPU`这时一旦空出，通过不同的调度算法，`CPU`又会被分配给另一个就绪进程。

**`阻塞状态`** 相当于就绪状态和执行状态的一个缓冲状态。当处于执行状态的进程无法正常执行时，会先进入阻塞状态，等待需要的请求执行完成，再回到就绪状态，等待下一次的`CPU`分配和执行。

三态模式是用来描述进程状态转移最为精简的模型，实际上光这三种状态是无法处理复杂的进程运行过程的。所以为了对进程进行更好的管理和调度，在三态模型的基础上引入了两种进程状态，即`创建状态`和`终止状态`，这就有了五态模型。

![a58b2b1125d83b00824dc10e7adce316.png][]

**`创建状态`** 是指进程刚刚创建的状态，在这个状态下，需要等待操作系统完成创建和分配进程的各种所需信息，包括建立`PCB（Process Control Block）`、加载程序并创建地址空间等。在完成这些准备工作后，该进程的状态就会转移为就绪状态并划分入就绪队列中。

> PCB：进程控制块，用于存放进程的管理和控制信息的数据结构

创建状态看起来好像没什么太多用处，毕竟进程就绪的时候肯定完成了创建。但是之所以还是要引入，还是为了确保进程控制块的完整。只有在创建状态完成了进程完整的准备工作（`PCB`生成创建及资源分配），才能进入就绪状态。

这样就保证了处于就绪状态进程的正确性，同时也提升了操作系统对进程的管理的灵活性。操作系统可以从一开始就对进程的创建和资源分配进行管理，更大程度上节省了系统资源的调控。

**`终止状态`** 代表着进程的结束，当进程执行完成后，需要操作系统在终止状态对进程的运行结果进行善后处理。这样的善后处理包括对进程所使用的资源进行回收，并将其它进程所需要的信息传递出去。最后，操作系统还需要对终止的进程进行内存释放，将其`PCB`中的内容清空，并将这部分内存返还给系统。

终止状态意味着进程的执行周期的结束，但却并不表示进程是正常结束的。当一个进程出现了无法预知的错误或者被操作系统或其它进程所终止时，它都会进入终止状态，进行各种资源的回收。

事实上即使是进程的五态模型也不足以用来描述进程复杂的运行过程。由于系统内部资源的限制，并不是为所有进程运行的要求都能够满足，因此在这个基础上，又引入了进程的挂起就绪状态以及对应的挂起阻塞状态。

![44e713d45f80525fcd2708fbef301968.png][]

在七态模型中，活跃就绪是指进程在主存并且可被调度的状态。而静止就绪状态是指就绪进程被对换到辅存时的状态，它是不能被直接调度的状态，只有当主存中没有活跃就绪态进程，或者是挂起态进程具有更高的优先级时，系统才会把挂起就绪态进程调回主存并转换为活跃就绪状态。

活跃阻塞状态是指进程在主存，一旦等待的事件产生便会进入活跃就绪状态。静止阻塞是指阻塞进程对换到辅存时的状态，一旦等待的事件产生便进入静止就绪状态。

进程相关的知识点实在是太多了，包括`PCB`、进程间通信以及和线程相关的概念和基础都是非常重要的知识。但是由于这篇文章的篇幅限制，不好在这里过多展开。

只是点到为止的介绍线程的状态模型，具体进程和线程的内容将会在之后几篇文章中详细展开介绍。

之所以花大力气来介绍线程模型，只因为这是线程跟操作系统关系最为直观的联系所在。

不断优化线程模型的目的就是为了使得操作系统能够更好的去管理程序软件和资源分配的问题。

通过对线程的管理来达到资源合理调配的目的。这本身也就是操作系统作用的重要体现之一，可谓是操作系统的第一大灵魂概念。

## 2 地址空间 ##

地址空间的概念在进程的介绍中略有提及，实际上也与进程有不可分割的关系。一般上的理解上，每个进程拥有其对应的地址空间，存储着该进程用于程序运行时所需的信息和数据。

我们知道，每台计算机都有一些主内存，用于保存正在执行的程序。在一个非常简单的操作系统中，一次只有一个程序在内存中运行。要运行第二个程序，必须删除第一个程序，然后将第二个程序放在内存中。

更复杂的操作系统就能够解决这样的问题，它们可以允许多个程序同时存储在内存中。同时为了防止它们相互干扰（以及与操作系统之间的串扰），会采取某种一般存在于硬件中的保护机制。

通常，每个进程都有其可以使用的一组地址，通常从`0`到某个地址最大值。在最简单的情况下，进程具有的最大地址空间量小于主存储器的总容量。这样，进程可以填满它的地址空间，并且在主内存中也有足够的空间容纳这些信息。

**但是，如果某个进程的地址空间大于计算机的主内存，并且该进程想全部使用它，该怎么办？**

在最初的计算机中，这样的要求是十分过分的。而如今，好在有一种称为虚拟内存的技术，操作系统能够将地址空间抽象化为进程可以引用的地址集，从而使得地址空间与计算机的物理内存分离。这样一来，进程的地址空间就有可能大于计算机的物理内存。

地址空间和物理内存的管理是操作系统功能的重要组成部分，同样也是深入理解操作系统进/线程管理的基础。

## 3 文件 ##

几乎所有操作系统都支持的另一个关键概念就是文件系统。操作系统的主要功能是隐藏磁盘和其他`I/O`设备的特性，并为程序员提供一个与设备或硬件无关的文件的简洁漂亮的抽象模型。

显然需要通过操作系统的调用来创建文件，删除文件，读取文件和写入文件。在读取文件之前，必须先将其放在磁盘上并打开，在读取文件后应将其关闭，以便能够提供调用来执行这些操作。

#### **层次结构** ####

为了提供存放以及找到文件的位置，大多数`PC`操作系统都具有目录的概念，该目录是将文件分组在一起的一种方式。目录是以文件夹的形式进行展现，可以在文件夹中嵌套多个目录。

整个文件系统的模型是一个层次结构，就像是一颗多叉树。从最顶层的文件夹依次以树干、树枝的形式进行查找，就可以搜索到最底部的文件目录。

![64e2fc82d7c9d55da7e60834cbaa4aeb.png][]

目录层次结构中的每个文件都可以通过在目录层次结构的顶部（根目录）给出其路径名来指定。这样的绝对路径名包含必须从根目录遍历才能到达文件的目录列表，并用斜杠分隔各个组件。

> D:/study/学习资源/个人/私は学ぶのが大好きです.mp4

每个进程都会有一个当前的工作目录，在该目录中查找不以斜杠开头的路径名。这就是所谓的相对路径。此外，进程可以通过发出指定新工作目录的系统调用来更改其工作目录。

需要注意的一点是，在读写文件之前，必须先打开该文件，然后再检查权限。如果允许访问，系统将返回一个称为文件描述符的小整数，以用于后续操作。如果禁止访问，则返回错误代码。

#### **挂载** ####

在操作系统的文件系统中，另一个重要概念就是挂载。大多数台式计算机都有一个或多个光盘驱动器，可以在其中插入`CD-ROM`，`DVD`和光盘。（下面以`Unix`系统为例进行介绍）

这些计算机以外的光盘驱动器实际上都可看作是一个文件系统，并且与计算机本身硬盘上的根文件系统是相互独立，彼此无关的。为了提供一种优雅的方式来处理这些可移动介质，操作系统允许将光盘上的文件系统附加到根文件系统的主树上，这就是挂载。

但是，由于无法在`CD-ROM`上指定路径名，因此无法使用该文件系统。`UNIX`不允许使用驱动器名称或数字作为路径名的前缀。这是操作系统应该消除的对于设备的依赖性。取而代之的是，系统调用允许`CD-ROM`上的文件系统附加到根文件系统。

在下图中，`CD-ROM`上的文件系统已安装在目录`b`中，因此可以访问文件`/b/x`和`/b/y`。如果目录`b`包含其它文件，则在安装`CD-ROM`时将无法访问它们，因为`/b`将引用`CD-ROM`的根目录。不过一般而言，文件系统几乎总是挂在空目录上。如果系统包含多个硬盘，它们也都可以挂载到单个树中。

![efcd3ac3821ae3397a4d27ce6cd3719e.png][]

![d1bcee62deeabb94741f47b99a4d9052.png][]

#### **专用文件** ####

文件系统中的另一个重要概念是专用文件。提供专用文件的作用是为了使`I/O`设备看起来像文件。这样，可以使用与读写文件相同的系统调用来读写它们。

存在两种专用文件：块特殊文件和字符特殊文件。块特殊文件用于对设备进行建模，这些设备由一组可随机寻址的块（例如磁盘）组成。通过打开一个块专用文件并读取进行，这样一来程序就可以直接访问设备上相应的块，而无需考虑其上包含的文件系统的结构。

同样，字符专用文件可用于对打印机，调制解调器和其他接受或输出字符流的设备进行建模。按照惯例，特殊文件保存在`/dev`目录中。例如，`dev/lp`可能是打印机（曾经称为行式打印机）。

除此之外，还有一个特殊的文件，就是管道。没错，就是用来进程间通信的那个。事实上，管道是一种伪文件，可用于连接两个进程。如果进程`A`和`B`希望使用管道进行通话，则必须提前进行设置。

![41913c7ad96abecbd1012ec6e14c09ed.png][]

当进程A想要将数据发送到进程B时，它将写在管道上，就好像它是输出文件一样。实际上，管道的实现与文件的实现非常相似。进程B可以通过从管道读取数据来读取数据，就像它是输入文件一样。

因此，进程之间的通信非常类似于普通文件的读写。更强大的是，当进程发现正在写入的输出文件不是真正的文件，而是管道时，就会进行特殊的系统调用。当然具体的实现这里就不展开了，之后在讲进程间通信时再详细介绍。持续关注，收获更多哦～

## 4 输入/输出 ##

所有计算机都具有用于获取输入和产生输出的物理设备，这就是所谓的`I/O`。毕竟，如果用户在完成要求的工作后不知道该怎么办并且无法获得结果，那么计算机将有什么用？

现代计算机中存在多种输入和输出设备，包括键盘，鼠标，显示器，打印机等。这些设备都是由操作系统进行管理和资源的分配。

因此，每个操作系统都有一个`I/O`子系统来管理其`I/O`设备。某些`I/O`软件与设备无关，也就是说，它们同样适用于许多或所有`I/O`设备。其它的`I/O`软件（例如设备驱动程序）则会用于特定的`I/O`设备。

依据`I/O`设备工作方式的不同，通常进行如下分类：

（1）字符设备`character device`，又叫做人机交互设备。用户通过这些设备实现与计算机系统的通信。它们大多是以字符为单位发送和接受数据的，数据通信的速度比较慢。

> 例如，键盘和显示器为一体的字符终端、打印机、扫描仪、包括鼠标等，还有早期的卡片和纸带输入和输出机。含有显卡的图形显示器的速度相对较快，可以用来进行图像处理中的复杂图形的显示。

（2）块设备`block device`，又叫外部存储器，用户通过这些设备实现程序和数据的长期保存。与字符设备相比，它们是以块为单位进行传输的，如磁盘、磁带和光盘等。块的常见尺寸为`512~32768B`之间。

（3）网络通信设备。这类设备主要有网卡、调制解调器等，主要用于与远程设备的通信。这类设备的传输速度比字符设备高，但比外部存储器低。

## 5 保护 ##

我们知道操作系统可以对进程和资源进行管理和控制，而在这个管理过程中，进程运行的正确性必须要得以保证。因此，操作系统内部需要提供一种保护机制来确保进程运行和获取资源的正确性。

从概念上来说，操作系统的保护是指一种控制程序、进程或用户对计算机系统资源进行访问的机制。操作系统中的进程必须加以保护，使其免受其他进程活动的干扰。各种机制是为了确保只有从操作系统中获得了恰当授权的进程才可以操作相应的文件、内存段、`CPU`和其他的资源。

通俗点说，计算机包含大量用户经常希望保护和保密的信息。这些信息可能包括电子邮件，商业计划书，纳税申报单等等。操作系统需要采取一些机制来管理系统的安全性。例如，某些重要文件只能由授权用户访问。

通过为每个文件分配一个`9`位的二进制保护代码来保护系统中的文件。保护代码由三个`3`位字段组成，一个用于所有者，一个用于所有者组的其他成员，另一个用于其他所有者。

每个字段都有`3`位，一位表示读权限，一位表示写权限，一位表示执行权限，这`3`个位称为`rwx`位。例如，保护代码`rwxr-x--x`表示所有者可以读取，写入和执行文件，其他组成员可以读取或执行（但不能写入）文件，其他所有者都可以执行（但不能读取或写入）文件。

除了文件保护之外，操作系统还存在许多其他安全方面的保护机制。这些机制贯穿在操作系统的各个方面，从而能够保证其在资源分配以及程序运行中的可靠性。

## 6 虚拟内存 ##

虚拟内存想必都不会陌生，它主要是解决物理内存所带来的一系列局限问题。虚拟内存能够通过在`RAM`和磁盘之间快速来回移动程序来运行比计算机物理内存更大的程序。

因为虚拟内存的存在，使得应用程序以为它拥有了连续可用的内存，即一个连续完整的地址空间。而实际上，它在物理内存中可能并不连续，通常是被分隔成多个物理内存碎片，甚至还有部分暂时存储在外部磁盘存储器上，在需要时才进行数据交换。

总的来说，虚拟内存将主存看成是一个存储在磁盘空间上的地址空间的高速缓存，主存中只保存活动的区块，并根据需要在磁盘和主存之间来回传送数据。同时，它为进程提供了一致的地址空间，从而简化了内存管理。

除此之外，操作系统为每个进程提供了一个独立的虚拟地址空间，从而保护了每个进程的地址空间不被其他进程破坏。

由此可见，虚拟内存的提出解决了内存空间利用率问题、读写内存的安全性问题、进程间的通信安全问题以及内存读写的效率问题。现在大多数操作系统都使用了虚拟内存，已经成为操作系统中最为基础的概念之一。

# 最后分享一波我的面试宝典——一线互联网大厂Java核心面试题库 #

**以下是我个人的一些做法，希望可以给各位提供一些帮助：**

> **[点击《一线互联网大厂Java核心面试题库》即可免费领取][Java]**，整理了很长一段时间，拿来复习面试刷题非常合适，其中包括了Java基础、异常、集合、并发编程、JVM、Spring全家桶、MyBatis、Redis、数据库、中间件MQ、Dubbo、Linux、Tomcat、ZooKeeper、Netty等等，且还会持续的更新…可star一下！

![image][]

**283页的Java进阶核心pdf文档**

> Java部分：Java基础，集合，并发，多线程，JVM，设计模式
> 
> 数据结构算法：Java算法，数据结构
> 
> 开源框架部分：Spring，MyBatis，MVC，netty，tomcat
> 
> 分布式部分：架构设计，Redis缓存，Zookeeper，kafka，RabbitMQ，负载均衡等
> 
> 微服务部分：SpringBoot，SpringCloud，Dubbo，Docker

![image][image 1]

**还有源码相关的阅读学习**

![image][image 2]

> 分布式部分：架构设计，Redis缓存，Zookeeper，kafka，RabbitMQ，负载均衡等
> 
> 微服务部分：SpringBoot，SpringCloud，Dubbo，Docker

\[外链图片转存中…(img-WpxYWydU-1620708278414)\]

**还有源码相关的阅读学习**

\[外链图片转存中…(img-faBdnxnH-1620708278415)\]

[Kafka]: /images/20210720/0d59ddfd4f714c9f9db7568ddf4d4ad1.png
[afea5b23491ef451987d45641aa889fd.png]: /images/20210720/007bec7d0d5740228f5c9080895bff97.png
[a58b2b1125d83b00824dc10e7adce316.png]: /images/20210720/b71ff4bd0e254cf594f9cdf0d61cac28.png
[44e713d45f80525fcd2708fbef301968.png]: /images/20210720/83c8258cbf634930b0b91d50b742a2e6.png
[64e2fc82d7c9d55da7e60834cbaa4aeb.png]: /images/20210720/915202232fe7400689149ec09316d7c3.png
[efcd3ac3821ae3397a4d27ce6cd3719e.png]: /images/20210720/1d05574aba2147a3ba49a383fde8e7bc.png
[d1bcee62deeabb94741f47b99a4d9052.png]: /images/20210720/8de6212dc36946138c049d7310552655.png
[41913c7ad96abecbd1012ec6e14c09ed.png]: /images/20210720/aa523b4f009a4dffaa1707cf1272be09.png
[Java]: https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB
[image]: /images/20210720/725a050f3441414c88faac1f2c5b75f7.png
[image 1]: /images/20210720/1ddbb1d5d4eb43c2b7e7d2f59e2751c3.png
[image 2]: /images/20210720/d262101aaed0438ca97ba0f55083cdf3.png