OBServer 节点 core 掉后如何收集堆栈 #

本文介绍 OBServer 节点 core 掉后如何排查确认，并收集堆栈。

问题现象 #

正常运行的 OBServer 突然异常退出。

问题排查 #

可以通过如下几种方法排查 OBServer 是否 core 掉。

• 执行如下命令查看 OBServer 进程是否存在，若输出为 0 表示进程不存在。

  [root@x.x.x.x ~]$ ps -ef | grep 3.1.5 | grep -v grep | wc -l
  0
  

• 查看对应的 OBServer 日志里是否输出 CRASH ERROR 关键字，如下所示。

  [root@x.x.x.x ~]$ grep "CRASH ERROR" /home/admin/ob3.1.5/log/observer.log
  CRASH ERROR!!! sig=11, sig_code=0, sig_addr=59ef, timestamp=1683513011732829, tid=27670, tname=observer, trace_id=0-0, extra_info=((null)), lbt=0x9bac9c8 0x9b9d248 0x2ac7a28ac62f 0x2ac7a2f8a9fd 0x2ac7a2f8a893 0x9461d97 0x22ed172 0x2ac7a2ee7554 0x22ebe28
  

• 查看对应的 OBServer 机器 /etc/sysctl.conf 文件中指定的 kernel.core_pattern 位置是否生成对应的 core 文件，如下所示。

  [root@x.x.x.x ~]$ grep "kernel.core_pattern" /etc/sysctl.conf
  kernel.core_pattern = /home/admin/core_test/core-%e-%p-%t
  
  [root@x.x.x.x ~]$ ls -l /home/admin/core_test/core-observer-27670-1683513011
  -rw------- 1 admin admin 8723914752 5月   8 10:30 /home/admin/core_test/core-observer-27670-1683513011
  

  说明

  • 如果没有指定 kernel.core_pattern，默认会在 OceanBase 数据库的 home_path 路径下生成 core.${ob_pid} 的文件。

  • 可以通过 ulimit -a 或者 ulimit -c 查看当前资源的限制，如果设置为 0 或者很小则会在发生节点 core 时无法生产 core 文件的情况。

收集堆栈 #

安装 debuginfo #

在收集堆栈之前，需要先安装一下 oceanbase-ce-debuginfo 包。

注意

需安装对应 OceanBase 数据库版本的 oceanbase-ce-debuginfo 包，比如当前使用的 OceanBase 数据库版本为：Server version: 5.7.25 OceanBase 3.1.5 (r100000252023041721-6d73a6764190f46bbc0805dc27eea5ab08e1920c) (Built Apr 17 2023 21:10:15)，则下载对应的 V3.1.5 版本 oceanbase-ce-debuginfo 包。

1. 下载的 oceanbase-ce-debuginfo 包

   wget https://mirrors.aliyun.com/oceanbase/community/stable/el/7/x86_64/oceanbase-ce-debuginfo-3.1.5-100000252023041721.el7.x86_64.rpm
   

2. 安装 debuginfo

   yum install oceanbase-ce-debuginfo-3.1.5-100000252023041721.el7.x86_64.rpm -y
   

   如果执行安装命令时提示如下内容，您可以使用 rpm –force 方式安装，示例入下。

   提示信息：

   file /usr/lib/debug from install of oceanbase-ce-debuginfo-3.1.5-100000252023041721.el7.x86_64 conflicts with file from package filesystem-3.2-25.el7.x86_64
   

   rpm 命令安装：

   rpm -ivh --force oceanbase-ce-debuginfo-3.1.5-100000252023041721.el7.x86_64.rpm
   

3. 将安装后的 observer.debug 文件拷贝到跟 OBServer 可执行文件同一级目录下

   [root@x.x.x.x opt]$ rpm -ql oceanbase-ce-debuginfo | grep observer.debug
   /usr/lib/debug/home/admin/oceanbase/bin/observer.debug
   [root@x.x.x.x opt]$ cp /usr/lib/debug/home/admin/oceanbase/bin/observer.debug /home/admin/ob3.1.5/bin/
   

收集堆栈 #

我们需要借助 addr2line 或者 gdb 来收集发生 core 时刻的堆栈：

1. 使用 addr2line 收集堆栈

   # 如果没有 addr2line 命令，需要先安装 
   yum install -y binutils
   
   addr2line -pCfe /home/admin/ob3.1.5/bin/observer 0x9bac9c8 0x9b9d248 0x2b910122b62f 0x2b91019098ed 0x2b9101909783 0x946be28 0x22ed172 0x2b9101866554    0x22e
   safe_backtrace at ??:?
   oceanbase::common::coredump_cb(int, siginfo_t*) at ??:?
   ?? ??:0
   ?? ??:0
   ?? ??:0
   oceanbase::observer::ObServer::wait() at ??:?
   main at ??:?
   ?? ??:0
   _start at ??:?
   

2. 使用 gdb 命令收集

堆栈分析 #

可以将堆栈信息发送到社区问答或者给到对应的社区支持人员，社区同学会帮忙分析处理。