之前有段时间实验室服务器运行的 python 法式经常被 kill 掉，同学的 NLP 实验无法举行。我经由一波操作之后发现了问题，修复了机械。

这篇文章是对其时诊断和修复的复盘，并先容相应的追踪工具 strace 和 BCC 工具包。好奇怪，法式怎么挂了由于其时情景难以复现，我手动模拟其时情况。

使用 python 启动法式，约莫过来十几秒钟时间， 发现法式打印出 killed, 然退却出了，如下所示：重试多次，依然如此。这种每次启动没多久就挂掉应该不是人为的。使用 strace 追踪看看strace 常用来跟踪历程执行时的系统挪用和所吸收的信号。

在 Linux 世界，历程不能直接会见硬件设备，当历程需要会见硬件设备(好比读取磁盘文件，吸收网络数据等等)时，必须通过系统挪用，借助于内核来完成。strace可以跟踪到一个历程发生的系统挪用,包罗参数，返回值，执行消耗的时间。

Linux 最常用的下令 ls, 用来检察指定目录下面的内容，我们用 strace 来看看发生了哪些系统挪用。这里 execve 是加载可执行文件，将 /usr/bin/ls 路径下的可执行加载到内存。brk 一般是修改堆顶，在申请内存时候使用。

系统挪用是内核的收支口，通过这些系统挪用大致能猜出法式发送了什么。除了 "strace + 下令" 常见使用方式。

strace 还可以追踪一个在世的历程。接纳 -p 参数 指定历程 Id。

如下代码块所示。我们来跟踪一下 python 法式，看看到底发生了什么。最后显示 killed by SIGKILL。

通过查资料发现，原来法式收到 kill -9 这个信号。法式死因终于找到了，可是谁发出的这个信号，到底是谁干的！ 接下来如何追踪。

小知识：信号是一种历程之间通信方式。使用 kill 杀掉历程实际上是给这历程发送一个信号。插个探针看看我们在 动态追踪技术原理 内里讲到一些探针技术。

这些技术看上去挺底层的，实际上都有前端工具。今天我们使用的是 BCC 软件包，首先要安装 BCC（https://github.com/iovisor/bcc），要保证你的 Linux 内核至少 4.X。BCC 提供许多工具，资助我们快速对内核中感兴趣的点插入探针。我们这里使用的是 killsnoop。

killsnoop 在 kill 这个挪用内里插入探针，将所有发生的 kill 信号相关的历程信息打印出来。for example:这里第一行显示，ID 为 13967 的历程（启动下令是 shell）给 ID 为 13885 的历程发生一个 -9 信号，返回效果是 0。通过 killsnoop 很容易找出来到底是谁 kill 掉了历程。

拿到这个历程 ID 然后通过 ps -ef | grep ${pid} 搜索一下这个历程，很遗憾，并没有找到这个历程信息。短命历程也不怕！一样能就出来kill 掉我们的历程很狡诈，早就无影无踪了，是一个短命历程，着找谁说理去！！在 Linux 系统中，历程是 fork 系统的产物，父历程通过 fork 挪用发生一个一模一样的历程，所有的历程都有父历程（除了0号历程），那我们就把父历程扒出来。

还好 BCC 提供了 execsnoop 工具原来探测历程的建立。作怪的历程虽然消亡了，最后找到了父历程。

冤有头，债有主！厥后发现这个父历程是 Ubuntu 的定时任务 crontab 发生了。厥后发现我们的机械闯进了挖矿病毒，这一切是挖矿病毒干的。

本文来源：太阳成集团tyc7111cc-www.szieze.com