ANBOB™

On SuES 12 sp4, a shell call sed with ‘-i’ flag to modify the file execution and report an errort, This shell worked well on the previous server, The linux user (tried also with root) can create, read and update any files in the NFS mounted folder. But the temporary file created by sed doesn’t work.

前段时间整理过关于control file的一个等待《Troubleshooting performance event ‘enq: CF – contention’》， 这里再记录关于control file的另一个event( 这里没用等待), 此event只是通知类event，和db file sequential read类似为数据库的I/O类操作，但wait class并非USER I/O，而是SYSTEM I/O. 问题时段control file sequential read占到了AWR top 1 event, 占用约90%的DB TIME.

操作系统资源限制有时会导致上面的应用程序无法fock新进程或open 文件，导致连接创建失败或实例crash, 尤其当数据库的进程数搞的很大时，开始的OS kernel resource limit没有级联的修改，就有可能导致该问题的发生。

昨天看到oracle binary file 显示oracle执行文件名后带星号如oracle*,可能比较困惑，这样的文件名实例还是可用的， 实际这只是ls的显示问题，*并不是文件名的一部分。

最近遇到几次故障升级oracle 12c后，相同的硬件有几次instance crash同时伴有LGWR 核心进程N seconds not move现象，OSW中vmstat ‘B’列会伴有突然大量的blocked（通常是I/O）问题，mpstat/iostat 显示$ORACLE_BASE所在本地文件系统出现90-100% busy现象， ps 显示LGWR和一些FG进程同时在等待相同事OS Kernel function address。

在Oracle方面，可以停止和启动自治数据库。我们可以说不使用数据库时不付款，但是不使用应用程序时不能说不付款。因为即使不使用应用程序，数据库也已启动。 oracle推出 Serverless Standby Database 叫做Oracle Autonomous Data Guard，我们认为它可能被标记为“无服务器”，因为您看不到备用服务器：您没有选择形状，也没有连接到它。切换完全透明自动化，但是价格上需要购买与主服务器相同的价格购买空闲的CPU和备用存储。

VI 在Unix、Linux系统是使用最常用的命令，DBA 经常在服务器上查看DB ALERT LOG等日志文件时，经常会遇到” ex: 0602-101 Out of memory saving lines for undo.” 报错，有时不得以用tail +more，甚至可以用awk +sed直接过滤， 这里记录一下解决VI 打开报错的问题，即使百MB的文件。

Infiniband(IB) 是一个用网络通信标准，满足科学计算实验的要求， 致力于服务器端的高性能计算的互联技术，适合用于RAC的CACHE FUSION和ORACLE Exadata等工程系统一体机，分布式存储系统. 使用ifconfig 查看ip信息，如果服务器上有IB时会提示如下错误”Infiniband hardware address can be incorrect”

总会有一些创新型的客户走在技术的最前端，但有些问题无参考这是最担忧的问题，最近就一个非常新的环境ORACLE 19C 2-nodes RAC on IBM LinuxONE大机，同一大机部分节点上oracle实例频繁重启，重启前OS日志中有输出“avahi-daemon[4537]: Withdrawing address record for 28.83.70.4 on bond0.3112”…

巡检一套AIX lvm的主机上的oracle环境时，发现ASM disk的PV存在PVID, 根据ORACLE的最佳实践，这很可能会导致后期ASM DISK header corrupted ，而出现ASM disk无法识别，造成数据灾难， 这里记录一下如果有PVID和ASM DISK混淆时的风险和修复方案。

一套Oracle RAC环境经常的重启，日志中出现IPC time out 、LMSn has not moved for NN sec, 检查网络状态存在reassembly failures和RX-ERR和TX-ERR. 重组包的内核参数已经增加过，未解决问题，调整ring buffer后情况有所改善。

在 Linux 内核处理 TCP 网络数据的操作中发现了三个相关的安全漏洞。 其最严重的安全漏洞会被远程攻击者利用在运行受影响软件的系统上触发一个内核崩溃，从而影响到系统的可用性。对于安装现在运行oracle 数据库的环境，anbob建议禁用tcp_sack的方式解决SACK问题高危。

Udev is the mechanism used to create and name /dev device nodes corresponding to the devices that are present in the system. Udev uses matching information provided by sysfs with rules provided by the user to dynamically add the required device nodes.

The following error message is displayed in the database host operating system log of a customer today.

kernel: EXT4-fs warning (device dm-0): ext4_dx_add_entry: Directory index full!

A few days ago, I encountered a case, a 11.2.0.4 three-node Oracle RAC database on RHEL 6.6 , when trying to login to the database instance using sqlplus “/ as sysdba” on the third node, It’s very slow, and vmstat show that there is a very large swap in and out, but there is still a lot of memory free space

If kernel can not find memory to allocate when it’s needed, it puts in-use user data pages on the swap-out queue, to be swapped out. If the Virtual Memory (VM) cannot allocate memory and canot swap out in-use memory, the Out-of-memory killer may begin killing current userspace processes.

这次预警主要是因为AIX的新特性Flash cache device相关的bug引起的ORACLE 数据库可用性风险， 虽然坑是AIX挖的，但是对于装数据库和巡检(RDA），DBA及客户就是直接受害者。 OracleDBA在使用RDA巡检运行在AIX 7.1 、7.2上使用了ASM 的数据库时可能会把库查死

建议在SLSE 12或以后的版本，或LINUX 7等以后的版本时，先了解一下系统变化，至少在安装RAC时， 把DefaultTasksMax修改加入到安装方档中去， 可能Oracle 在以后的安装文档或最佳实践中会增加该内容。

dcli 为Oracle Exadata Machine中提供的管理cell的工具，全名 Distributed Command Line Interface，在Exadata， Exalogic， Exalytics等系列一体机都自带这个工具, 该工具是一套python脚本，可以用文本工具直接查看编辑， 在当前的IT管理中批量管理几百台机器已不是什么稀奇的事， 所以在日常一些批量共性的常规检查和运维就需要一种维护工具自动实现或者叫自动化运维工具， 当前较流行的有puppet和ansible 产品

因为我国是东八时区(UTC+8),所以我国将在北京时间2017年1月1日的7时59分59秒也会做闰秒调整和全球同步，到时会出现7:59:60的特殊现象。对时间敏感的系统不可忽略,除了航天系统,我们的数据库系统应该也要做好检查, 润秒有可能会使OS Reboot,应用HANG, Clusterware restart影响.