普京网址 2

一是内核空间的系统调用kexec,kdump 普京网址利用 kexec 启动捕获内核

sysctl net.ipv4.ip_forward = 1

什么是Kexec?

Kexec是一种能够根据已经运行内核的上下文快速启动新内核的一种机制,而不经过BIOS。BIOS的启动在一些大型机器或者有大量外设的机器上时特别耗时。这种机制能够节省需要在不同内核之间切换的开发人员的时间。
Kexec在内核空间和用户空间都有对应的组件,内核提供了几个kexec重启功能的系统调用。用户空间的软件包”kexec-tools”使用这些系统调用,并执行加载和引导第二个内核(捕获内核)。
Kexec由两部分组成,一是内核空间的系统调用kexec_load,负责在生产内核(或者叫第一个内核)启动时将捕获内核(或者叫第二个内核)加载到指定的位置。而是用户空间的kexec-tools,它将捕获内核(second
kernel)的地址传递给生产内核(first
kernel),让系统在崩溃的时候能够找到捕获内核(second
kernel)的地址并运行。

如果系统内存> 16GB, crashkernel=auto会保留512M,
等同于crashkernel=512M

         

1.4 利用crash功能分析内核崩溃

什么是Kdump?

Kdump是一个基于kexec的内核崩溃转储机制,当系统崩溃时,kdump使用kexec启动到第二个内核。地热个内核叫做捕获内核或者又叫“2nd
kernel”,它以很少的内存启动捕获内核,并捕获转储镜像。Kdump的概念是目前最可靠的内核转储技术,已被主要的linux厂商使用。(例如Red
Hat系列)

kdump 是一种先进的基于 kexec 的内核崩溃转储机制。当系统崩溃时,kdump
使用 kexec
启动到第二个内核。第二个内核通常叫做捕获内核,以很小内存启动以捕获转储镜像。第一个内核保留了内存的一部分给第二内核启动用。由于
kdump 利用 kexec 启动捕获内核,绕过了
BIOS,所以第一个内核的内存得以保留。这是内核崩溃转储的本质。详细的在:http://www.ibm.com/developerworks/cn/linux/l-cn-kdump1/index.html\#major3

 

  (1)使用sysctl 命令;

Kdump怎么工作?

在当前系统发生崩溃时,新的捕获内核被加载,然后根据已设置的命令去将当前之前发生崩溃的系统的内存保存到一个特殊的文件(vmcore)中。

下面以Fedora26做为测试演示。(Fedora和CentOS系列的系统已经在kenrel中打开了CONFIG_KEXEC*选项。)

首先需要在系统启动时预留出给第二个内核运行的内存。内核参数”crashkernel=160M”会在系统启动时预留出160M内存的空间给捕获内核运行使用。”crashkerel=xM”还支持其他的参数,详细的可以参考内核参数文档
内核参数。

# dmesg | grep -i reserving
[    0.000000] Reserving 160MB of memory at 656MB for crashkernel (System RAM: 2047MB)

系统启动后我们可以从上面的命令中看到已经预留出了160M的内存从内存的656M处。

安装用户态的包”kexec-tools”,软件包中会提供kdump所需的服务和”kexec”快速内核启动命令,和压缩过滤内存的”makedumpfile”命令。

[root@localhost ~]# dnf install -y kexec-tools

配置,修改kdump相关的配置文件。

[root@localhost ~]# grep -v ^# /etc/kdump.conf 

path /var/crash
core_collector makedumpfile -l --message-level 1 -d 31


[root@localhost ~]# grep -v ^# /etc/sysconfig/kdump
KDUMP_KERNELVER=""

KDUMP_COMMANDLINE=""

KDUMP_COMMANDLINE_REMOVE="hugepages hugepagesz slub_debug quiet"

KDUMP_COMMANDLINE_APPEND="irqpoll nr_cpus=1 reset_devices cgroup_disable=memory mce=off numa=off udev.children-max=2 panic=10 rootflags=nofail acpi_no_memhotplug transparent_hugepage=never nokaslr"

KEXEC_ARGS=""

KDUMP_IMG="vmlinuz"

KDUMP_IMG_EXT=""

配置文件/etc/kdump.conf设置了kdump发生时vmcore文件的存储方式,此文件修改后需要重启kdump的服务。

配置文件/etc/sysconfig/kdump,如果只是修改了COMMANDLINE相关的参数,则不需要去重新build生成新的initramfs文件。

启动kdump服务:

[root@localhost ~]# systemctl restart kdump
[root@localhost ~]# systemctl status kdump
● kdump.service - Crash recovery kernel arming
   Loaded: loaded (/usr/lib/systemd/system/kdump.service; enabled; vendor preset: disabled)
   Active: active (exited) since Sat 2017-07-15 10:46:22 UTC; 36s ago
  Process: 2172 ExecStop=/usr/bin/kdumpctl stop (code=exited, status=0/SUCCESS)
  Process: 2180 ExecStart=/usr/bin/kdumpctl start (code=exited, status=0/SUCCESS)
 Main PID: 2180 (code=exited, status=0/SUCCESS)

Jul 15 10:46:21 localhost dracut[4264]: -rw-r--r--   1 root     root          127 Mar 28 02:15 usr/share/zoneinfo/Etc/UTC
Jul 15 10:46:21 localhost dracut[4264]: drwxr-xr-x   3 root     root            0 Jun 22 13:38 var
Jul 15 10:46:21 localhost dracut[4264]: lrwxrwxrwx   1 root     root           11 Jun 22 13:38 var/lock -> ../run/lock
Jul 15 10:46:21 localhost dracut[4264]: lrwxrwxrwx   1 root     root            6 Jun 22 13:38 var/run -> ../run
Jul 15 10:46:21 localhost dracut[4264]: drwxr-xr-x   2 root     root            0 Jun 22 13:38 var/tmp
Jul 15 10:46:21 localhost dracut[4264]: ========================================================================
Jul 15 10:46:21 localhost dracut[4264]: *** Creating initramfs image file '/boot/initramfs-4.11.9-300.fc26.x86_64kdump.img' done ***
Jul 15 10:46:22 localhost kdumpctl[2180]: kexec: loaded kdump kernel
Jul 15 10:46:22 localhost kdumpctl[2180]: Starting kdump: [OK]
Jul 15 10:46:22 localhost systemd[1]: Started Crash recovery kernel arming.

所有的服务都配置完成,如果此时系统发生了panic或者其他的一些导致系统崩溃的现象,这是kdump服务会将当时的内存镜像按照用户的配置保存起来。一个简单的方式是通过命令来触发:

[root@localhost ~]# echo c > /proc/sysrq-trigger

[some console log]
... ...
         Starting Kdump Vmcore Save Service...
kdump: dump target is /dev/vda1
kdump: saving to /sysroot//var/crash/127.0.0.1-2017-07-16-04:21:36/
[    2.718001] EXT4-fs (vda1): re-mounted. Opts: data=ordered
kdump: saving vmcore-dmesg.txt
kdump: saving vmcore-dmesg.txt complete
kdump: saving vmcore
Copying data                       : [100.0 %] -
kdump: saving vmcore complete
... ...
[/some console log]

当系统重启后就能在指定的目录下看到生成的vmcore文件。可以参考配置文件”/etc/kdump.conf”里的”path”字段。

[root@localhost ~]# ls -lt /var/crash/*/
total 33492
-rw-------. 1 root root 34253115 Jul 16 04:21 vmcore
-rw-r--r--. 1 root root    40360 Jul 16 04:21 vmcore-dmesg.txt

转储文件被保存后可以用”crash”这个软件包来分析这个”vmcore”文件。

开始提到了Kexec内核部分提供了一些系统调用,”kexec_load()” 和
“kexec_file_load()”,其中一个用来加载捕获内核 – “kexec
-l”,另外一个来提供系统重启 – “kexec -e”。

系统调用”kexec_load()”可以加载一个新的内核并之后能够被”reboot()”调用。它是被这样定义的:

long kexec_load(unsigned long entry, unsigned long nr_segments,
                       struct kexec_segment *segments, unsigned long flags);

其中一个比较重要的是”kexec_segment”结构体:

struct kexec_segment {
    void   *buf;        /* Buffer in user space */
    size_t  bufsz;      /* Buffer length in user space */
    void   *mem;        /* Physical address of kernel */
    size_t  memsz;      /* Physical address length */
};

当reboot()的参数为”LINUX_REBOOT_CMD_KEXEC”并被调用时,则启动新的内核时就调用”kexec_load()”系统调用。另外“CONFIG_KEXEC”必须在编译kernel时被打开。

系统调用”kexec_load_file()”会设置2个参数”kernel”和”initramfs”给”kexec”命令。”kexec”会读取这些数据来创建对应的数据段。

long kexec_file_load(int kernel_fd, int initrd_fd,
                           unsigned long cmdline_len, const char *cmdline,
                           unsigned long flags);

同样的”CONFIG_KEXEC_FILE”参数也要在内核编译时被打开。

目前的大多数发行版都已经打开了”KEXEC”相关的配置参数。

以上就是一个kdump的简单流程。有关”kdump”能够捕获到的内核崩溃时间可以参考文档”/usr/share/doc/kexec-tools/kexec-kdump-howto.txt”。或者请参考我们写的测试用例
kdump-test。

参考资料:
kdump-paper
kdump-introduction
fedora-kexec-tools

查看/etc/grub.conf 文件,发现crashkernel=auto,

在VMware中安装了centos,重启时报错:Failed
to start Crash recovery kernel arming

  crashkernel=<范围1>:<大小1>, <范围2>:<大小2>

某天挂载了一个新硬盘后,我的centos7系统第二天就出现了崩溃现象,报错如题“failed
to start crash recovery kernel arming”.

重新启动系统,kdump服务启动成功。

#path /var/crash    #kdump本地存储目录,默认是存放在/var/crash目录下,可以根据使用习惯设置.
path /usr/local/cores 
...
#raw /dev/vg/lv_kdump    #kdump可以直接写入移动介质.
raw /dev/sdb1
...
#nfs my.server.com:/export/tmp    #kdump可以通过NFS保存到网络上其它存储设备中.
nfs test.example.com:/export/cores
...
#ssh user@my.server.com      #kdump可以通过SSH传输协议,保存远程主机上.
#sshkey /root/.ssh/kdump_id_rsa
ssh user@test.example.com
sshkey /root/.ssh/mykey

那么什么是kdump呢?

普京网址 1

crashkernel=128M@16M    #为Kdump保留128M的内存空间,内存地址从16M(physical address 0x01000000)开始.

意思大致为“内存崩溃捕获机制未能成功启动”,一搜才知道这是因为一个叫做kdump的服务无法启动导致的。

又应该设在哪里呢?实际我们可以完全省略“@Y”这一部分,这样,kernel
会为我们自动选择

2.1 kernel的调校途径

如果系统的内存> 8 GB但是<= 16
GB,crashkernel=auto会保留256M,等同于crashkernel=256M;

本质是kdump服务启动失败

  当然,crashkernel的值还可以通过如下形式实现更灵活的配置.

如果系统的内存 <= 8 GB 对kdump
kernel不会保留任何内容;也就是说,crashkernel=auto 等

查看 /etc/grub.conf文件,发现crashkernel=auto,问题就出在这儿:

  kdump能监控系统内核运行状态,其地位比较特殊.
kdump的内存空间是在系统启动时,由引导程序分配的,相对于系统内核,kdump内存是一个独立的空间.

那接下来查找失败的原因:

启动失败的原因

cp /etc/sysctl.d/99-sysctl.conf /etc/sysctl.d/99-sysctl.conf.bak    #备份系统默认的内核参数文件
vim /etc/sysctl.d/99-my.conf    #创建新的内核参数文件

...
<tunable class>.<tunable> = <value>   #写入要调校的参数类和值
 <tunable class>.<tunable> = <value>
...
save    #保存文件
reboot\ sysctl -p /etc/sysctl.d/99-my.conf  #重启系统或者使用sysctl -p 命令载入新的内核参数配置

接下来就是改写配置,但是没能在系统中找到博文中所说的/etc/grub.conf这个文件,后来想到从Centos
7之后启动就采用grub2 了,所以vi
/etc/grub2.cfg把其中的crashkernel=auto改成crashkernel=256M重启就成功了。

 

  1. Kdump工具

于关掉了机器上的kdump功能;

一个起始地址。而对于 X 的大小,般对
i386/x86_64 的系统, 设为 128M 即可;对于 powerpc

   crashkernel的值可以设置成“auto”,在一些拥有较大内存的系统中,利于实现Kdump的自动化管理.

系统对crashkernel=auto的定义为:

普京网址 2

  对于RHEL7.4及之后的版本,kdump支持INTEL IOMMU.
而不支持RHEL7.3及之前的版本.

安装虚拟机时,给虚拟机设置的内存为1G,所以说系统关掉了kdump。

先来说一下,什么是kdump

可以通过如下命令指定kdump的内存空间大小.

看到一个博文中说与启动文件配置有关

于关掉了机器上的kdump功能;
如果系统的内存> 8 GB 但是<= 16
GB,crashkernel=auto会保留256M,等同于crashkernel=256M;
如果系统内存>
16GB,crashkernel=auto会保留512M,等同于crashkernel=512M。

  Kdump是RHEL7中自带的内核管理工具.在RHEL7.1之前的版本,kdump作为安装完成之后的可选组件自动安装,从RHEL7.1开始kdump被植入安装界面,作为系统基础工具供安装选择.

Kdump是一个内核崩溃转储机制,在系统崩溃的时候,Kdump将捕获系统信息,这对于针对崩溃的原因非常有帮助。注意,Kdump需要预留一部分系统内存,而且这部分内存对于其他用户是不可用的。

1.3 Kdump的存储

注:centos7后为:vi
/etc/grub2.cfg 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章