天天看点

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

目录

监听状态正常,应用反馈时断时连

listener进程crash

ora-12514 tns 监听程序当前无法识别连接描述符中请求服务

11g scan listener无法注册服务故障

listener hang

tns-12535 tns-00505处理

应用测试连接不上数据库,连接直接报tns-12547: tns:lost contact处理

由oracle的listener引起的报错很多,很大一部分是由于配置不当导致的。通常,我们要么从tnsnames.ora找原因,要么从lisntener.ora找原因。基本上,我们从oracle连接的时候报出的错误代码可以快速查到原因。

下面介绍的几类故障及处理方法,难度稍微要大一些

故障现象:

客户端新发起的短连接时断时连,如下所示:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

故障原因:

因短连接持续性发起连接耗尽监听ip 1521端口资源,导致监听无法正常处理连接请求。

超过每秒50次连接则需要关注,可通过tail -20f listener.log 观察,如持续性快速刷屏则可能已经出现连接风暴.

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

故障解决/日志分析:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

故障环境:

操作系统为:sunos 5.10

数据库版本:oracle 10.2.0.4

故障现象:

listener进程已经crash, 查看主机数据库监听日志listener_ngsetdb3/4.log如下:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

系统日志:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

故障分析:

listener进程crash是由于ipmp出现故障所致,listener随后在探测不到服务节点时,直接crash。oracle mos文章solaris cluster 3.x: ipmp group failure impact [id 1006916.1]对此有详细描述:在sun cluster中,短暂的网络故障会导致ipmp组失败,并触发资源组切换。并且,它会在38秒后回切!

处理方法:

查看监听日志listener.log跟系统日志(/var/adm/ messages)。

手动重启两个节点的listener,oracle提供了一个解决方案:修改/etc/default/mpathd文件下的ipmp failure_detection_time变量值,即将失败检测时间从默认的10秒(10000)增加到20秒(20000)以上

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

注:修改该参数需要重启mpathd服务。

客户端无法通过监听连接数据库

故障原因:

1.实例未注册到listener中,可通过lsnrctl status 查看

2.oracle process达到上限无法建立新的连接。

故障解决:

手工注册数据库,alter system register;

检查数据库用户连接分布情况,并show process 查看连接限制

select username,count(1) from v$session group by username order by 2 asc;

 ps :大部分情况由开发商程序bug引起。

scan listener 无法注册service服务

bug 13066936

故障解决:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

任意环境

从其他应用主机tnsping发现延迟很大

查看监听状态报如下错:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

listener.log有如下报错:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

故障分析:

too many open files意味着maximum number of open files per process 达到了上限。因此listener hang住的原因是该limit设置过小。

将oracle用户的soft limit提升为至少1024,然后重新oracle用户登录,检验ulimit合格后,重新启动数据库和监听。

具体解决办法如下:

在/etc/system增加以下行

set rlim_fd_max=65536

set rlim_fd_cur=4096

重新登录oracle并检验oracle用户的限制

su – oracle

ulimit -ha

ulimit –sa

重新启动数据库和监听

db alert日志报如下错误:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

一个客户端连接整个步骤:

客户端发起一个connection连接监听

监听启动一个专属进程(服务器进程,也就是我们通常说的loca=no进程)用于接收这个connection

在专属进程启动之后,监听会将这个connection传递给这个专属进程

专属进程通过这个connection来跟客户端握手

专属进程跟客户端信息交换需要建立一个session

session打开

当在以上的第3步到第4步时客户端关闭,所以当专属进程尝试跟客户端联系时发现连接已关闭时,就会报出我们看到的错误!!

错误一般是由于程序异常断开导致超时,11g r1如果出现如上的错误信息会写入到sqlnet.log,11g r2会写入到alert.log,

其实出现此错误是正常的现象。

如果不想这样的信息打印在alert日志中,

在sqlnet.ora设置

diag_adr_enabled = off

在listener.ora设置

diag_adr_enabled_ = off

重启监听

环境:hp-ux 11.31 ia64

数据库版本:11.2.0.4

应用测试连接不上数据库,连接直接报tns-12547: tns:lost contact。

但查看监听状态,crs状态,数据库状态均正常。crs日志、css日志及agent日志均无报错。

应用连接数据库直接报tns-12547: tns:lost contact

监听日志发现一直在报连接失败:

Oracle常见故障——Listener类:Hang、Crash及连接风暴的判断

问题导致的原因有在32位平台中当listener.log超过2g会报这个错。

oracle_home下的一些执行文件权限不对也会导致相同的错误,但我们这个是64位的,排除第一种,

所以去查询执行文件的权限是否正常。

1、 通过对比发现部分执行文件少了s权限,做了relink all,重新同步执行文件

2、 由于数据库使用的是asm,磁盘属组为asmadmin,故对比问题节点及正常节点db oracle_home下属组为asmadmin的文件,将问题节点文件权限修正即可解决问题。

<b>本文来自云栖社区合作伙伴"dbaplus",原文发布时间:2015-12-23</b>