kdump是系统崩溃的时候,用来转储运行内存的一个工具。
系统一旦崩溃,内核就没法正常工作了,这个时候将由kdump提供一个用于捕获当前运行信息的内核,
该内核会将此时内存中的所有运行状态和数据信息收集到一个dump core文件中以便之后分析崩溃原因。
一旦内存信息收集完成,可以让系统将自动重启。
kdump是RHEL5之后才支持的,2006被主线接收为内核的一部分。它的原理简单来说是在内存中保留一块
区域,这块区域用来存放capture kernel,当production kernel发生crash的时候,通过kexec把保留区域的
capure kernel给运行起来,再由捕获内核负责把产品内核的完整信息 - 包括CPU寄存器、堆栈数据等转储
到指定位置的文件中。
kexec是kdump机制的关键,包含两部分:
内核空间的系统调用kexec_load。负责在生产内核启动时将捕获内核加载到指定地址。
用户空间的工具kexec-tools。将捕获内核的地址传递给生产内核,从而在系统崩溃的时候找到捕获内核的地址并运行。
kdump是一种基于kexec的内核崩溃转储机制。当系统崩溃时,kdump使用kexec启动到第二个内核。第二个内核通常
叫做捕获内核,以很小内存启动以捕获转储镜像。第一个内核保留了内存的一部分给第二个内核启动使用。
由于kdump利用kexec启动捕获内核,绕过了BIOS,所以第一个内核的内存得以保留。这是内存崩溃转储的本质。
捕获内核启动后,会像一般内核一样,去运行为它创建的ramdisk上的init程序。而各种转储机制都可以事先在init中实现。
为了在生产内核崩溃时能顺利启动捕获内核,捕获内核以及它的ramdisk是事先放到生产内核的内存中的。
生产内核的内存是通过/proc/vmcore这个文件交给捕获内核的。为了生成它,用户工具在生产内核中分析出内存的使用和
分布等情况,然后把这些信息综合起来生成一个ELF头文件保存起来。捕获内核被引导时会被同时传递这个ELF文件头的
地址,通过分析它,捕获内核就可以生成出/proc/vmcore。有了/proc/vmcore这个文件,捕获内核的ramdisk中的脚本就
可以通过通常的文件读写和网络来实现各种策略了。
RHEL5开始,kexec-tools是默认安装的。
如果需要调试kdump生成的vmcore文件,需要手动安装kernel-debuginfo包。
(1) 预留内存
可以修改内核引导参数,为启动捕获内核预留指定内存。
在/etc/grub.conf (一般为/boot/grub/grub.conf的软链接)中:
crashkernel=Y@X,Y是为kdump捕获内核保留的内存,X是保留部分内存的起始位置。
默认为crashkernel=auto,可自行设定如crashkernel=256M。
(2) 配置文件
配置文件为/etc/kdump.conf,以下是几个常用配置:
# path /var/crash
默认的vmcore存放目录为/var/crash/%HOST-%DATE/,包括两个文件:vmcore和vmcore-dmesg.txt
# ssh <user@service>
will copy /proc/vmcore to <user@server>:<path>/%HOST-%DATE/ via SSH
make sure user has necessary write permissions on server.
自动拷贝到远程机器上。
# default <reboot | halt | poweroff | shell | mount_root_run_init>
Actions to perform in case dumping to intended target fails.
转储失败时执行。
(3) 启动服务
# chkconfig kdump on // 开机启动
# service kdump status // start、stop、restart等
(4) 功能验证
Magic System request key is a magical key combo you can hit which the kernel will respond to regardless
of whatever else it is doing, unless it is completely locked up.
使用sysrq需要编译选项CONFIG_MAGIC_SYSRQ的支持。详细信息可看documentation/sysrq.txt。
故意让系统崩溃,来测试kdump是否正常工作。
# echo c > /proc/sysrq-trigger
Will perform a system crash by a NULL pointer dereference.
A crash dump will be taken if configured.
Magic SysRq还有一些很有趣的值,有的具有很大的破环性,输出在/var/log/messages:
f:call oom_kill to kill a memory hog process. 执行oom killer。
l:shows a stack backtrace for all active CPUs. 打印出所有CPU的stack backtrace。
m:dump current memory info. 打印出内存使用信息。
p:dump the current registers and flags. 打印出所在CPU的寄存器信息。
(5) 捕获内核
捕获内核是一个未压缩的ELF映像文件,查看捕获内核是否加载到内存中:
# cat /sys/kernel/kexec_crash_loaded
缩小捕获内核占用的内存:
# echo N > /sys/kernel/kexec_crash_size
当系统崩溃时,通过kdump可以获得当时的内存转储文件vmcore,但是该如何分析vmcore呢?
crash是一个用于分析内核转储文件的工具,一般和kdump搭配使用。
使用crash时,要求调试内核vmlinux在编译时带有-g选项,即带有调试信息。
如果没有指定vmcore,则默认使用实时系统的内存来分析。
值得一提的是,crash也可以用来分析实时的系统内存,是一个很强大的调试工具。
crash使用gdb作为内部引擎,语法类似于gdb,命令的使用说明可以用<cmd> help来查看。
使用crash需要安装crash工具包和内核调试信息包:
crash
kernel-debuginfo-common
kernel-debuginfo
Analyze Linux crash dump data or a live system.
crash [OPTION] NAMELIST MEMORY-IMAGE (dumpfile form)
crash [OPTION] [NAMELIST] (live system form)
使用crash来调试vmcore,至少需要两个参数:
NAMELIST:未压缩的内核映像文件vmlinux,默认位于/usr/lib/debug/lib/modules/$(uname -r)/vmlinux,由
内核调试信息包提供。
MEMORY-IMAGE:内存转储文件vmcore,默认位于/var/crash/%HOST-%DATE/vmcore,由kdump生成。
例如:# crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/%HOST-%DATE/vmcore
(1) 错误类型
首先可以在vmcore-dmesg.txt中先查看错误类型,如:
1. divide error: 0000 [#1] SMP,除数为0造成内核崩溃,由1号CPU触发。
2. BUG: unable to handle kernel NULL pointer dereference at 000000000000012c,引用空指针。
这样一来就能知道引发内核崩溃的错误类型。
(2) 错误地点
RIP为造成内核崩溃的指令,Call Trace为函数调用栈,通过RIP和Call Trace可以确定函数的调用路径,以及在
哪个函数中的哪条指令引发了错误。
例如RIP为:[<ffffffff812cdb54>] ? tcp_enter_loss+0x1d3/0x23b
[<ffffffff812cdb54>]是指令在内存中的虚拟地址。
tcp_enter_loss是函数名(symbol)。
0x1d3是这条指令相对于tcp_enter_loss入口的偏移,0x23b是函数编译成机器码后的长度。
这样一来就能确定在哪个函数中引发了错误,以及错误的大概位置。
Call Trace为函数的调用栈,是从下往上看的。可以用来分析函数的调用关系。
(3) crash基本输出
# crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/%HOST-%DATE/vmcore
KERNEL: /usr/lib/debug/lib/modules/2.6.32-358.el6.x86_64/vmlinux DUMPFILE: vmcore [PARTIAL DUMP] CPUS: 12 DATE: Fri Sep 19 16:47:01 2014 UPTIME: 7 days, 06:37:46 LOAD AVERAGE: 0.19, 0.05, 0.01 TASKS: 282 NODENAME: localhost.localdomain RELEASE: 2.6.32-358.el6.x86_64 VERSION: #1 SMP Tue Oct 29 10:18:21 CST 2013 MACHINE: x86_64 (1999 Mhz) MEMORY: 48 GB PANIC: "Oops: 0002 [#1] SMP " (check log for details) PID: 0 COMMAND: "swapper" TASK: ffffffff81a8d020 (1 of 12) [THREAD_INFO: ffffffff81a00000] CPU: 0 STATE: TASK_RUNNING (PANIC)
这些基本输出信息简单明了,可由sys命令触发。
(4) crash常用命令
bt:打印函数调用栈,displays a task's kernel-stack backtrace,可以指定进程号bt <pid>。
log:打印系统消息缓冲区,displays the kernel log_buf contents,如log | tail -n 30。
ps:显示进程的状态,>表示活跃的进程,如ps | grep RU。
sys:显示系统概况。
kmem -i:显示内存使用信息。
dis <addr>:对给定地址进行反汇编。
exception RIP即为造成错误的指令。
关于log命令:
内核首先把消息打印到内核态的ring buffer,用户态的klogd负责读取并转发给syslogd,让它记录到磁盘。
在内核崩溃时,可能无法把消息记录到磁盘,但是ring buffer中一般会有记录。所以log命令有时候能查看
到系统日志中所缺失的信息。
(5) 结构体和变量
查看结构体中所有成员的值,例如:
# ps | grep RU
> 0 0 0 ffffffff81a8d020 RU 0.0 0 0 [swapper]
# struct task_struct ffffffff81a8d020
struct task_struct { state = 0, stack = 0xffffffff81a00000, usage = { counter = 2 }, flags = 2097408,
显示整个结构体的定义:
# struct task_struct
struct task_struct { volatile long int state; void *stack; atomic_t usage; unsigned int flags;
显示整个结构体的定义,以及每个成员的偏移:
# struct -o task_struct
struct task_struct { [0] volatile long int state; [8] void *stack; [16] atomic_t usage; [20] unsigned int flags; ...
显示结构体中的成员定义,以及它的偏移:
# struct task_struct.pid
struct task_struct { [1192] pid_t pid; }
显示结构体中成员的值:
# struct task_struct.pid ffffffff81a8d020
pid = 0
查看全局变量的值:
# p sysctl_tcp_rmem
sysctl_tcp_rmem = $4 = {40960, 873800, 41943040}
查看percpu全局变量(加前缀per_cpu_):
# p per_cpu__irq_stat
PER-CPU DATA TYPE: irq_cpustat_t per_cpu__irq_stat; // 变量类型的声明 PER-CPU ADDRESSES: [0]: ffff880028216540 // 0号CPU对应变量的地址 [1]: ffff880645416540 ...
查看0号CPU对应变量的值:
# struct irq_cpustat_t ffff880028216540
struct irq_cpustat_t { __softirq_pending = 0, __nmi_count = 4780195, irq0_irqs = 148, ...
(6) 反汇编和源码行
反汇编:
# dis ffffffffa021ba91 // 反汇编一条指令
# dis -l probe_2093+497 10 // 反汇编从某个地址开始的10条指令
对于内核中的符号:
# sym tcp_v4_do_rcv // 通过symbol,显示虚拟地址和源码位置
# sym ffffffff8149f930 // 通过虚拟地址,显示symbol和源码位置
对于模块中的符号:
需要先加载相应的模块进来,才能显示符号对应的源码:
# mod // 查看模块
# mod -s module /path/to/module.ko // 加载模块
# sym symbol // 显示符号对应的模块源码,也可以用virtual address
(7) 修改内存
提供动态的修改运行中内核的功能,以供调试,但是RHEL和CentOS上不允许。
wr:modifies the contents of memory.
wr [-u | -k | -p] [-8 | -16 | -32 | -64] [address | symbol] value
使用例子:
# p sysctl_tcp_timestamps
sysctl_tcp_timestamps = $3 = 1
# wr sysctl_tcp_timestamps 0
wr: cannot write to /dev/crash!
我勒个擦,/dev/crash的文件属性是rw,但是crash_fops中并没有提供写函数,所以还是只读的。
这个功能很有用,但被RHEL和CentOS禁止了,所以如需动态修改运行内核还是用systemtap吧。
文章浏览阅读565次。本文主要介绍如何使用C#通过OPC方式连接PLC,并提供了相应的程序和学习资料,以便读者学习和使用。OPC服务器是一种软件,可以将PLC的数据转换为标准的OPC格式,允许其他软件通过标准接口读取或控制PLC的数据。此外,本文还提供了一些学习资料,包括OPC和PLC的基础知识,C#编程语言的教程和实例代码。这些资料可以帮助读者更好地理解和应用本文介绍的程序。1.该程序是通讯方式是CSharp通过OPC方式连接PLC,用这种方式连PLC不用考虑什么种类PLC,只要OPC服务器里有的PLC都可以连。_c#opc通信
文章浏览阅读1.6w次,点赞3次,收藏10次。实践环境物理机:Windows10教育版,操作系统版本 17763.914虚拟机:Ubuntu18.04.3桌面版在Hyper-V中的刚安装好Ubuntu虚拟机之后,会发现鼠标滑动很不顺畅,也不能向虚拟机中拖拽文件或者复制内容。在VMware中,可以通过安装VMware tools来使物理机和虚拟机之间达到更好的交互。在Hyper-V中,也有这样的工具。这款工具可以完成更好的鼠标交互,我的..._win10 hyper-v ubuntu18.04 文件拷贝
文章浏览阅读156次。前言互联网时代,瞬息万变。一个小小的走错,就有可能落后于别人。我们没办法去预测任何行业、任何职业未来十年会怎么样,因为未来谁都不能确定。只能说只要有互联网存在,程序员依然是个高薪热门行业。只要跟随着时代的脚步,学习新的知识。程序员是不可能会消失的,或者说不可能会没钱赚的。我们经常可以听到很多人说,程序员是一个吃青春饭的行当。因为大多数人认为这是一个需要高强度脑力劳动的工种,而30岁、40岁,甚至50岁的程序员身体机能逐渐弱化,家庭琐事缠身,已经不能再进行这样高强度的工作了。那么,这样的说法是对的么?_类初始化一个静态属性 为线程池
文章浏览阅读1w次,点赞13次,收藏43次。说来也是惭愧,一直以来,在装环境的时候都会从官网下载Maven。然后再在idea里配置Maven。以为从官网下载的Maven是必须的步骤,直到今天才得知,idea有捆绑的 Maven 我们只需要搞一个配置文件就行了无需再官网下载Maven包以后再在新电脑装环境的时候,只需要下载idea ,网上找一个Maven的配置文件 放到 默认的 包下面就可以了!也省得每次创建项目都要重新配一次Maven了。如果不想每次新建项目都要重新配置Maven,一种方法就是使用默认的配置,另一种方法就是配置 .._安装idea后是不是不需要安装maven了?
文章浏览阅读45次。家是我们一生中最重要的地方,小时候,我们在这里哭、在这里笑、在这里学习走路,在这里有我们最真实的时光,用相机把它记下吧。 很多家庭在拍摄孩子时有一个看法,认为儿童摄影团购必须是在风景秀丽的户外,即便是室内那也是像大酒店一样...
文章浏览阅读429次。Dockerfile介绍Dockerfile是构建镜像的指令文件,由一组指令组成,文件中每条指令对应linux中一条命令,在执行构建Docker镜像时,将读取Dockerfile中的指令,根据指令来操作生成指定Docker镜像。Dockerfile结构:主要由基础镜像信息、维护者信息、镜像操作指令、容器启动时执行指令。每行支持一条指令,每条指令可以携带多个参数。注释可以使用#开头。指令说明FROM 镜像 : 指定新的镜像所基于的镜像MAINTAINER 名字 : 说明新镜像的维护(制作)人,留下_rocker/r-base镜像
文章浏览阅读223次。该系统将提供便捷的信息发布、物业报修、社区互动等功能,为小区居民提供更加便利、高效的服务。引言: 随着城市化进程的加速,小区管理成为一个日益重要的任务。因此,设计一个基于微信小程序的小区管理系统成为了一项具有挑战性和重要性的毕设课题。本文将介绍该小区管理系统的设计思路和功能,以期为小区提供更便捷、高效的管理手段。四、总结与展望: 通过本次毕设项目,我们实现了一个基于微信小程序的小区管理系统,为小区居民提供了更加便捷、高效的服务。通过该系统的设计与实现,能够提高小区管理水平,提供更好的居住环境和服务。_ssm基于微信小程序的公寓生活管理系统
文章浏览阅读635次。文章来源i春秋入坑Ubuntu半年多了记得一开始学的时候基本一星期重装三四次=-= 尴尬了 觉得自己差不多可以的时候 就吧Windows10干掉了 c盘装Ubuntu 专心学习. 这里主要来说一下使用Ubuntu的正确姿势Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的开源GNU/Linux操作系统,Ubuntu 是基于DebianGNU/Linux,支..._ubuntu安装攻击工具包
文章浏览阅读335次。需求:C++中将BYTE型数组传递给Java中,考虑到内存释放问题,未采用通过返回值进行数据传递。public class demoClass{public native boolean getData(byte[] tempData);}JNIEXPORT jboolean JNICALL Java_com_core_getData(JNIEnv *env, jobject thisObj, jbyteArray tempData){ //resultsize为s..._jni引用byte[]
文章浏览阅读2.1k次,点赞5次,收藏30次。本教程代码开源:GitHub 欢迎star文章目录一、平面模型分割1. 代码2. 说明3. 运行二、圆柱模型分割1. 代码2. 说明3. 运行三、欧几里得聚类提取1. 代码2. 说明3. 运行四、区域生长分割1. 代码2. 说明3. 运行五、基于最小切割的分割1. 代码2. 说明3. 运行六、使用 ProgressiveMorphologicalFilter 分割地面1. 代码2. 说明3. 运行一、平面模型分割在本教程中,我们将学习如何对一组点进行简单的平面分割,即找到支持平面模型的点云中的所有._pclpy.pcl.pointcloud.pointxyzi转为numpy
文章浏览阅读141次。一 其实在 skyeye 上移植 arm-linux 并非难事,网上也有不少资料, 只是大都遗漏细节, 以致细微之处卡壳,所以本文力求详实清析, 希望能对大家有点用处。本文旨在将 arm-linux 在 skyeye 上搭建起来,并在 arm-linux 上能成功 mount NFS 为目标, 最终我们能在 arm-linux 里运行我们自己的应用程序. 二 安装 Sky..._nfs启动 arm
文章浏览阅读598次,点赞2次,收藏5次。00为了形成一个体系,想将前面学过的一些东西都拉来放在一起总结总结,方便学习,方便记忆。攻防世界 Pwn 新手攻防世界 Pwn 进阶 第一页01 4-ReeHY-main-100超详细的wp1超详细的wp203 format2栈迁移的两种作用之一:栈溢出太小,进行栈迁移从而能够写入更多shellcode,进行更多操作。栈迁移一篇搞定有个陌生的函数。C 库函数 void *memcpy(void *str1, const void *str2, size_t n) 从存储区 str2 _pwn snprintf