排查Linux机器是否已经被入侵

蔚落 2022-04-22 15:48 213阅读 0赞

随着开源产品的越来越盛行，作为一个Linux运维工程师，能够清晰地鉴别异常机器是否已经被入侵了显得至关重要，个人结合自己的工作经历，整理了几种常见的机器被黑情况供参考。

背景信息：以下情况是在CentOS 6.9的系统中查看的，其它Linux发行版类似。

1.入侵者可能会删除机器的日志信息，可以查看日志信息是否还存在或者是否被清空，相关命令示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70][]

2.入侵者可能创建一个新的存放用户名及密码文件，可以查看/etc/passwd及/etc/shadow文件，相关命令示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 1][]

3.入侵者可能修改用户名及密码文件，可以查看/etc/passwd及/etc/shadow文件内容进行鉴别，相关命令示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 2][]

4.查看机器最近成功登陆的事件和最后一次不成功的登陆事件，对应日志“/var/log/lastlog”，相关命令示例：

![20190114130839399.png][]

5.查看机器当前登录的全部用户，对应日志文件“/var/run/utmp”，相关命令示例：

![20190114130858846.png][]

6.查看机器创建以来登陆过的用户，对应日志文件“/var/log/wtmp”，相关命令示例：

![20190114130913954.png][]

7.查看机器所有用户的连接时间（小时），对应日志文件“/var/log/wtmp”，相关命令示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 3][]

8.如果发现机器产生了异常流量，可以使用命令“tcpdump”抓取网络包查看流量情况或者使用工具”iperf”查看流量情况。

9.可以查看/var/log/secure日志文件，尝试发现入侵者的信息，相关命令示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 4][]

10.查询异常进程所对应的执行脚本文件

a.top命令查看异常进程对应的PID

![201901141304045.png][]

b.在虚拟文件系统目录查找该进程的可执行文件

![20190114130422710.png][]

11.如果确认机器已经被入侵，重要文件已经被删除，可以尝试找回被删除的文件。

1>当进程打开了某个文件时，只要该进程保持打开该文件，即使将其删除，它依然存在于磁盘中。这意味着，进程并不知道文件已经被删除，它仍然可以向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程之外，这个文件是不可见的，因为已经删除了其相应的目录索引节点。

2>在/proc 目录下，其中包含了反映内核和进程树的各种文件。/proc目录挂载的是在内存中所映射的一块区域，所以这些文件和目录并不存在于磁盘中，因此当我们对这些文件进行读取和写入时，实际上是在从内存中获取相关信息。大多数与 lsof 相关的信息都存储于以进程的 PID 命名的目录中，即 /proc/1234 中包含的是 PID 为 1234 的进程的信息。每个进程目录中存在着各种文件，它们可以使得应用程序简单地了解进程的内存空间、文件描述符列表、指向磁盘上的文件的符号链接和其他系统信息。lsof 程序使用该信息和其他关于内核内部状态的信息来产生其输出。所以lsof 可以显示进程的文件描述符和相关的文件名等信息。也就是我们通过访问进程的文件描述符可以找到该文件的相关信息。

3>当系统中的某个文件被意外地删除了，只要这个时候系统中还有进程正在访问该文件，那么我们就可以通过lsof从/proc目录下恢复该文件的内容。

假设入侵者将/var/log/secure文件删除掉了，尝试将/var/log/secure文件恢复的方法可以参考如下：

a.查看/var/log/secure文件，发现已经没有该文件。

![20190114130444110.png][]

b.使用lsof命令查看当前是否有进程打开/var/log/secure，

![20190114130451513.png][]

c.从上面的信息可以看到 PID 1264（rsyslogd）打开文件的文件描述符为4。同时还可以看到/var/log/ secure已经标记为被删除了。因此我们可以在/proc/1264/fd/4（fd下的每个以数字命名的文件表示进程对应的文件描述符）中查看相应的信息，如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 5][]

d.从上面的信息可以看出，查看/proc/1264/fd/4就可以得到所要恢复的数据。如果可以通过文件描述符查看相应的数据，那么就可以使用I/O重定向将其重定向到文件中，如：

![20190114130509121.png][]

e.再次查看/var/log/secure，发现该文件已经存在。对于许多应用程序，尤其是日志文件和数据库，这种恢复删除文件的方法非常有用。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 6][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70]: /images/20220327/fd4ee45045a34a769a8431b7cca06f3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 1]: /images/20220327/b023888d61f8492fb671ad435b6bc78b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 2]: /images/20220327/b3acaeb4bc7e45d89e87e19ba8abb9eb.png
[20190114130839399.png]: /images/20220327/4e8935f6d12f4280a79846c1de7e5358.png
[20190114130858846.png]: /images/20220327/4e61a83363bc4ec58a9c8c7ad0a97ac4.png
[20190114130913954.png]: /images/20220327/7357a87f61974a7a9becb937a47e6927.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 3]: /images/20220327/2ea1b799b3034709a81471fab8e16bfe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 4]: /images/20220327/f50d83dff77943718b3ce86c519f58d4.png
[201901141304045.png]: /images/20220327/1335758897214b1fb12ef4828d1e4055.png
[20190114130422710.png]: /images/20220327/30875eb08c3b42a193674420ab0dd997.png
[20190114130444110.png]: /images/20220327/012b54f1a14e442c9d6a103dd11ecf6f.png
[20190114130451513.png]: /images/20220327/f154f48e1fb149c3b3563bc8653da372.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 5]: /images/20220327/5225bdd383de44938ebd2aeaab13d0f4.png
[20190114130509121.png]: /images/20220327/73c4fe3c32f04ef9accddf90e8ad7174.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YWlkYW4xNDY5_size_16_color_FFFFFF_t_70 6]: /images/20220327/58ba752f5034480c8739ad5246b191ac.png