忘れかけのIT備忘録

今まで学んできた知識や小技、なるほど!と思ったことをメモするブログです。

ACFS検証

ACFSについて、机上の知識はあるものの、実務経験が無いため、実際の動きを検証してみました。

ACFS(ASM Cluster File System:ASMクラスタファイルシステム)は、11gR2の新機能でADVM(ASM Dynamic Volume Manager:ASM動的ボリュームマネージャ)で管理されるボリューム上にのみ作成できる共有ストレージ向けクラスタファイルシステムです。
ASMファイルとして扱えないファイル(※1)を格納でき、ディレクトリを作成してACFSにマウントすることで通常のファイルシステムのように使用できます。

ACFSを使用する場合、ADVM管理対象ボリュームを含むディスク・グループのCOMPATIBLE.ASMとCOMPATIBLE.ADVMを11.2以上にする必要があります。(asmcmdのsetattr、SQL*Plusのalter diskgroupどちらでも設定できます)
なお、COMPATIBLE.ADVMはASM動的ボリューム作成時に自動的に設定されます。
また、ACFS暗号化、レプリケーション、セキュリティ、タグ付けを使用する場合、COMPATIBLE.ASMとCOMPATIBLE.ADVMを11.2.0.2以上にする必要があります。

【補足】
・ACFSはASMが提供する機能なのでファイルのストライピングやミラーリングも可能です
・ADVMはボリューム管理とディスクデバイスとしてのインタフェースを提供します。(LinuxのLVMみたいなイメージ)
・ACFSを使用する場合、COMPATIBLE設定以外にADVM、カーネルモジュール(oracleoks、oracleadvm、oracleacfs)が必要です。(Grid Infrastructureインストール時に一緒にインストールされます)

(※1)ASMファイルとして扱えないファイル
Oracleソフトウェアなどの実行可能ファイル
・アラートログ、トレースファイル、PFILEなどのテキストファイル
・外部表のデータファイル
・BFILE
など

なお、サポート対象外ですが11.2.0.3以降は下記ファイルも格納できます。
・RMANバックアップセット
アーカイブログファイル
・DataPumpダンプファイル
※ただし、Expert RAC 11gR2黒本には「直接ASMファイルとして作成できるDBファイルやRMANバックアップファイルなどはACFSに配置するべきではない」との記載があります

■検証環境
OS:Oracle Linux 6.5
DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型データベース)構成

■前提
・ASMの冗長構成は標準冗長性(2多重)

■設定情報
#クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

#DATAディスク・グループ(ACFS作成対象)の属性情報
#asmcmdで確認
ASMCMD [+] > lsattr -l -G DATA
Name                     Value
access_control.enabled   FALSE
access_control.umask     066
au_size                  1048576
cell.smart_scan_capable  FALSE
compatible.asm           12.1.0.0.0
compatible.rdbms         10.1.0.0.0
content.check            FALSE
content.type             data
disk_repair_time         3.6h
failgroup_repair_time    24.0h
idp.boundary             auto
idp.type                 dynamic
phys_meta_replicated     true
sector_size              512
thin_provisioned         FALSE

#SQL*Plusで確認
SQL> select
  2   GROUP_NUMBER,
  3   NAME,
  4   STATE,
  5   TYPE,
  6   COMPATIBILITY,
  7   DATABASE_COMPATIBILITY,
  8   VOTING_FILES
  9  from
 10    v$asm_diskgroup g
 11  order by
 12    GROUP_NUMBER
 13  ;

GROUP_NUMBER NAME       STATE                TYPE               COMPATIBILITY        DATABASE_COMPATIBILI VOT
------------ ---------- -------------------- ------------------ -------------------- -------------------- ---
           1 CRS        MOUNTED              NORMAL             12.1.0.0.0           10.1.0.0.0           Y
           2 DATA       MOUNTED              NORMAL             12.1.0.0.0           10.1.0.0.0           N
           3 FRA        MOUNTED              NORMAL             12.1.0.0.0           10.1.0.0.0           N

■検証パターン
①ACFS作成
②ACFSスナップショット作成
③ACFSスナップショット削除
④ACFS削除

■検証
①ACFS作成
ACFS作成後、ACFSマウントポイント配下にファイルを作成・更新できるか検証します

【検証手順】
1. ACFSマウントポイントにするディレクトリ作成
2. ASM動的ボリューム作成
3. ACFSの作成
4. ACFSマウント
5. ACFSマウントポイントをレジストリに登録
6. ACFSリソースをCRSに登録
7. ACFSマウントポイント配下にファイル作成・更新

【想定】
ACFSが作成され、ACFSマウントポイント配下にファイルを作成・更新できるはず

【検証結果】
ACFSが作成され、ACFSマウントポイント配下にファイルを作成・更新できた

【参考】
1. ACFSマウントポイントにするディレクトリ作成
[root@node1 ~]# mkdir -p /home/grid/images
[root@node1 ~]# chmod 777 /home/grid/images
[root@node1 ~]$ ls -ld /home/grid/images
drwxrwxrwx 4 root root 4096  9月 20 13:56 2022 /home/grid/images

2. ASM動的ボリューム作成
[grid@node1 ~]$ asmcmd -p
ASMCMD [+] > volinfo -G DATA images
volume images not found in diskgroup DATA
ASMCMD [+] > volcreate -G DATA -s 300M images
ASMCMD [+] > volinfo -G DATA images
Diskgroup Name: DATA

     Volume Name: IMAGES
     Volume Device: /dev/asm/images-261
     State: ENABLED
     Size (MB): 320
     Resize Unit (MB): 64
     Redundancy: MIRROR
     Stripe Columns: 8
     Stripe Width (K): 1024
     Usage:
     Mountpath:

[grid@node1 ~]$ sqlplus / as sysasm
(中略)
SQL> select volume_name, volume_device from v$asm_volume where volume_name = 'IMAGES';

VOLUME_NAME                    VOLUME_DEVICE
------------------------------ ------------------------------
IMAGES                         /dev/asm/images-261

[grid@node1 ~]$ ls -l /dev/asm
合計 0
brwxrwx--- 1 root asmadmin 251, 133633  9月 20 13:37 2022 images-261

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.IMAGES.advm
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

3. ACFSの作成
[grid@node1 ~]$ mkfs -t acfs /dev/asm/images-261
mkfs.acfs: バージョン                   = 12.1.0.2.0
mkfs.acfs: ディスク上のバージョン           = 39.0
mkfs.acfs: ボリューム                    = /dev/asm/images-261
mkfs.acfs: ボリューム・サイズ               = 335544320  ( 320.00 MB )
mkfs.acfs: フォーマットが完了しました。

4. ACFSマウント
#マウント前
[root@node1 ~]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/vg_node1-lv_root   31G   20G  9.0G  69% /
tmpfs                         2.0G  620M  1.4G  32% /dev/shm
/dev/sda1                     477M   55M  397M  13% /boot

#ACFSマウント
[root@node1 ~]# mount -t acfs /dev/asm/images-261 /home/grid/images

#マウント後
[root@node1 ~]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/vg_node1-lv_root   31G   20G  9.0G  69% /
tmpfs                         2.0G  621M  1.4G  32% /dev/shm
/dev/sda1                     477M   55M  397M  13% /boot
/dev/asm/images-261           320M   40M  281M  13% /home/grid/images

#ACFSマウントポイント情報確認
[grid@node1 ~]$ acfsutil info fs /home/grid/images/
/home/grid/images/
    ACFSバージョン: 12.1.0.2.0
        ディスク上のバージョン:       39.0
    フラグ:        MountPoint,Available
    マウント時間:   Tue Sep 20 13:51:16 2022
        割当て単位:       4096
    ボリューム:      1
    合計サイズ:   335544320  ( 320.00 MB )
    合計空き領域:   147791872  ( 140.94 MB )
    ファイル・エントリ表の割当て: 65536
    プライマリ・ボリューム: /dev/asm/images-261
        ラベル:
        状態:                 Available
        メジャー、マイナー:          251、133633
        サイズ:                  335544320  ( 320.00 MB )
        空き領域:                  147791872  ( 140.94 MB )
        ADVMディスクグループ         DATA
        ADVMサイズ変更の増分: 67108864
        ADVMの冗長性:       mirror
        ADVMのストライブ列:   8
        ADVMのストライブ幅:     1048576
    スナップショット数:  1
    スナップショットの領域使用量: 69632  (  68.00 KB )
    レプリケーション・ステータス: DISABLED

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.IMAGES.advm
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                             168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

[root@node1 ~]# ls -l /home/grid/images
合計 64
drwx------ 2 root root 65536  9月 20 13:56 2022 lost+found
★ACFSマウントポイントへアクセスできた

5. ACFSマウントポイントをレジストリに登録
通常のファイルシステムは/etc/fstabで自動マウント設定しますが、ACFSはASMインスタンス起動後にマウントする必要があるため、/etc/fstabでは設定できません。
なので、ASMインスタンス起動後に自動マウントさせるため、ACFSレジストリに登録します

#登録前
[root@node1 ~]# /sbin/acfsutil registry -l

#登録
[root@node1 ~]# /sbin/acfsutil registry -a /dev/asm/images-261 /home/grid/images
acfsutil registry: mount point /home/grid/images successfully added to Oracle Registry

#登録後
[root@node1 ~]# /sbin/acfsutil registry -l
Device : /dev/asm/images-261 : Mount Point : /home/grid/images : Options : none : Nodes : all : Disk Group : DATA : Volume : IMAGES
#lオプションだと1行で表示されてしまうため、オプションなしで再度確認
[root@node1 ~]# /sbin/acfsutil registry
Mount Object:
  Device: /dev/asm/images-261
  Mount Point: /home/grid/images
  Disk Group: DATA
  Volume: IMAGES
  Options: none
  Nodes: all

6. ACFSリソースをCRSに登録
ACFSマウントポイントをOracleホームとして使用する場合、DB起動前にACFSがマウントされていないとDB起動できないため、srvctl add filesystemでACFSマウントポイントをOracle clusterwareに登録する必要があります

#登録
[root@node1 ~]# /u01/app/12.1.0/grid/bin/srvctl add filesystem -d /dev/asm/images-261 -m /home/grid/images -g DATA  -v IMAGES
PRCA-1022 : ACFSファイルシステム・リソースは、ディスク・グループdataおよびボリュームimagesにすでに存在します
★検証環境が12.1だからかもしれませんが、すでに登録されていたようです

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.IMAGES.advm
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.data.images.acfs
               ONLINE  ONLINE       node1                    mounted on /home/gri
                                                                                d/images,STABLE
               ONLINE  ONLINE       node2                    mounted on /home/gri
                                                                                d/images,STABLE
               ONLINE  ONLINE       node3                    mounted on /home/gri
                                                                                d/images,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

7. ACFSマウントポイント配下にファイル作成・更新
7-1. ノード1でファイル作成・更新
[grid@node1 ~]$ ls -l /home/grid/images/
合計 64
drwx------ 2 root root 65536  9月 20 13:56 2022 lost+found
[grid@node1 ~]$ echo "Hello, Oracle! by node1" >> /home/grid/images/acfstest.txt
[grid@node1 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall    24  9月 20 14:19 2022 acfstest.txt
drwx------ 2 root root     65536  9月 20 13:56 2022 lost+found
[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
★ACFSマウントポイントにファイルを作って更新できました

7-2. ノード2でファイル作成・更新
[grid@node2 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall    24  9月 20 14:19 2022 acfstest.txt
drwx------ 2 root root     65536  9月 20 13:56 2022 lost+found
[grid@node2 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
★ノード1で更新した内容が見れています

[grid@node2 ~]$ echo "Hello, Oracle! by node2" >> /home/grid/images/acfstest.txt
[grid@node2 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2

7-3. ノード3でファイル作成・更新
[grid@node3 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall    47  9月 20 14:19 2022 acfstest.txt
drwx------ 2 root root     65536  9月 20 13:56 2022 lost+found
[grid@node3 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
★ノード2で更新した内容が見れています

[grid@node3 ~]$ echo "Hello, Oracle! by node3" >> /home/grid/images/acfstest.txt
[grid@node3 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3

#ノード1の最終的なacfstest.txtの内容 ※ノード2・3も同様
[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
★全ノードで共通の内容が見れています

②ACFSスナップショット作成
ACFSスナップショットは特定の時点のACFSのコピーで、ファイルシステムごとに作成できます
バックアップツールとしても使用できます

【検証手順】
1. ACFSスナップショット作成
2. ACFSマウントポイント配下に作成したファイル(オリジナル)更新

【想定】
ACFSスナップショット作成できるはず
ACFSマウントポイント配下に作成したファイル(オリジナル)を更新してもACFSスナップショットは更新されないはず

【検証結果】
ACFSスナップショット作成できた
ACFSマウントポイント配下に作成したファイル(オリジナル)を更新してもACFSスナップショットは更新されなかった

【参考】
1. ACFSスナップショット作成
#作成前
[grid@node1 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall    72  9月 20 14:21 2022 acfstest.txt
drwx------ 2 root root     65536  9月 20 13:56 2022 lost+found

#作成
[grid@node1 ~]$ acfsutil snap create snap1 /home/grid/images
acfsutil snap create: スナップショットの操作が完了しました。

#作成後
[grid@node1 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall    72  9月 20 14:21 2022 acfstest.txt
drwx------ 2 root root     65536  9月 20 13:56 2022 lost+found
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS
drwxrwx--- 6 root root 4096  9月 20 13:56 2022 repl
drwxr-xr-x 3 root root 4096  9月 20 14:25 2022 snaps
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps
合計 4
drwxrwxrwx 4 root root 4096  9月 20 14:25 2022 snap1
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1/
合計 4
-rw-r--r-- 1 grid oinstall 72  9月 20 14:21 2022 acfstest.txt
[grid@node1 ~]$ cat /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
[grid@node1 ~]$ acfsutil snap info snap1 /home/grid/images/
スナップショット名:               snap1
スナップショットの場所:           /home/grid/images/.ACFS/snaps/snap1
ROスナップショットまたはRWスナップショット:  RO
親の名前:                 /home/grid/images/
スナップショット作成時刻:      Tue Sep 20 14:25:00 2022
★ACFSスナップショットが作成された

2. ACFSマウントポイント配下に作成したファイル(オリジナル)更新
ACFSマウントポイント配下に作成したファイル(オリジナル)を更新しても、ACFSスナップショットには影響しない(更新されない)ことを確認します

#ファイル(オリジナル)更新
[grid@node1 ~]$ echo "hoge,fuga,piyo" >> /home/grid/images/acfstest.txt
[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
hoge,fuga,piyo

[grid@node1 ~]$ ls -l /home/grid/images/acfstest.txt
-rw-r--r-- 1 grid oinstall 87  9月 20 14:34 2022 /home/grid/images/acfstest.txt

[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
hoge,fuga,piyo
★ファイル(オリジナル)が更新された

#ACFSスナップショット確認
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
-rw-r--r-- 1 grid oinstall 72  9月 20 14:21 2022 /home/grid/images/.ACFS/snaps/snap1/acfstest.txt

[grid@node1 ~]$ cat /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
★ACFSスナップショットは更新されていない

③ACFSスナップショット削除
ACFSスナップショットを削除できるか検証します

【検証手順】
1. ACFSスナップショット削除

【想定】
ACFSスナップショットが削除できるはず

【検証結果】
ACFSスナップショットが削除できた

【参考】
1. ACFSスナップショット削除
#削除前
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/
合計 4
drwxrwxrwx 4 root root 4096  9月 20 14:25 2022 snap1
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1
合計 4
-rw-r--r-- 1 grid oinstall 72  9月 20 14:21 2022 acfstest.txt
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
-rw-r--r-- 1 grid oinstall 72  9月 20 14:21 2022 /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
[grid@node1 ~]$ acfsutil snap info snap1 /home/grid/images/
スナップショット名:               snap1
スナップショットの場所:           /home/grid/images/.ACFS/snaps/snap1
ROスナップショットまたはRWスナップショット:  RO
親の名前:                 /home/grid/images/
スナップショット作成時刻:      Tue Sep 20 14:25:00 2022

#削除
[grid@node1 ~]$ #ACFSスナップショット削除
[grid@node1 ~]$ acfsutil snap delete snap1 /home/grid/images
acfsutil snap delete: スナップショットの操作が完了しました。

#削除後
[grid@node1 ~]$ acfsutil snap info snap1 /home/grid/images/
acfsutil snap info: ACFS-03051: スナップショットsnap1は存在しません。
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS
合計 8
drwxrwx--- 6 root root 4096  9月 20 13:56 2022 repl
drwxr-xr-x 2 root root 4096  9月 20 14:45 2022 snaps
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/
合計 0
★ACFSスナップショットは削除された

④ACFS削除
作成したACFS削除後、ACFSマウントポイント配下に作成したファイルも削除されているか検証します

#クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.IMAGES.advm
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.data.images.acfs
               ONLINE  ONLINE       node1                    mounted on /home/gri
                                                                                d/images,STABLE
               ONLINE  ONLINE       node2                    mounted on /home/gri
                                                                                d/images,STABLE
               ONLINE  ONLINE       node3                    mounted on /home/gri
                                                                                d/images,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

【検証手順】
1. ACFSマウントポイントレジストリ解除
2. ACFSマウントポイントのアンマウント(全ノード)
3. ACFSファイルシステム削除
4. ボリューム無効化

【想定】
ACFSが削除され、ACFSマウントポイント配下に作成したファイルも削除されるはず

【検証結果】
ACFSが削除され、ACFSマウントポイント配下に作成したファイルも削除された

【参考】
1. ACFSマウントポイントレジストリ解除
[root@node1 ~]# /sbin/acfsutil registry -l
Device : /dev/asm/images-261 : Mount Point : /home/grid/images : Options : none : Nodes : all : Disk Group : DATA : Volume : IMAGES
[root@node1 ~]# /sbin/acfsutil registry
Mount Object:
  Device: /dev/asm/images-261
  Mount Point: /home/grid/images
  Disk Group: DATA
  Volume: IMAGES
  Options: none
  Nodes: all
[root@node1 ~]# /sbin/acfsutil registry -d /home/grid/images
acfsutil registry: successfully removed ACFS mount point /home/grid/images from Oracle Registry
[root@node1 ~]# /sbin/acfsutil registry -l
[root@node1 ~]# /sbin/acfsutil registry

2. ACFSマウントポイントのアンマウント(全ノード)
[root@node1 ~]# df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/vg_node1-lv_root   31G   20G  9.0G  69% /
tmpfs                         2.0G  621M  1.4G  32% /dev/shm
/dev/sda1                     477M   55M  397M  13% /boot
[root@node1 ~]# umount /home/grid/images
umount: /home/grid/images: マウントされていません
★ACFSマウントポイントレジストリ解除時点で全ノードともアンマウントされていた

3. ACFSファイルシステム削除
後続でボリューム削除しない場合のみ実施します。ボリューム削除するとファイルシステムも削除されます

[root@node1 ~]# /sbin/acfsutil rmfs /dev/asm/images-261

4. ボリューム無効化
[grid@node1 ~]$ asmcmd -p
ASMCMD [+] > volinfo -G data -a
Diskgroup Name: DATA

     Volume Name: IMAGES
     Volume Device: /dev/asm/images-261
     State: ENABLED
     Size (MB): 320
     Resize Unit (MB): 64
     Redundancy: MIRROR
     Stripe Columns: 8
     Stripe Width (K): 1024
     Usage:
     Mountpath:

ASMCMD [+] > voldisable -G data images
ASMCMD [+] > volinfo -G data -a
Diskgroup Name: DATA

     Volume Name: IMAGES
     Volume Device: /dev/asm/images-261
     State: DISABLED
     Size (MB): 320
     Resize Unit (MB): 64
     Redundancy: MIRROR
     Stripe Columns: 8
     Stripe Width (K): 1024
     Usage:
     Mountpath:

ASMCMD [+] > voldelete -G DATA images
ASMCMD [+] > volinfo -G data -a
diskgroup data has no volumes or is not mounted
★ASMボリュームが削除された

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------
[root@node1 ~]# ls -l /home/grid/images/
合計 0
★ACFSマウントポイント配下のファイルも削除された

ACFSの作成・削除、ACFSスナップショットの作成・削除について確認できました。
次回も11gR2の新機能のSCANやサーバープールについて検証したいと思います。

# 1記事に記載する量が多すぎるので落ち着いたら分けようと思います。。

RACのノード削除検証(全ノードから製品削除)

RACのノード削除検証 - 忘れかけのIT備忘録では特定ノードから製品を削除する検証をしましたが、全ノードから製品を削除する検証もしたので書こうと思います。

■検証環境
OS:Oracle Linux 6.5

DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型データベース)構成

■前提

・SCANを使用しています
DNSサーバはdnsmasqを使用しています

■設定情報
クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------

■検証パターン
①全ノードから製品(Grid Infrastructure、Database)を削除

■検証
①全ノードから製品(Grid Infrastructure、Database)を削除
3ノードRAC構成から製品削除ツール(deinstall)を使用して全ノードから製品(Grid Infrastructure、Database)を削除できるか検証します

【検証手順】
1. ノード1で削除ツール(deinstall)実行してGridホーム削除
2. ノード1で削除ツール(deinstall)実行してRACホーム削除
※GridホームはGrid Infrastructure、RACホームはDatabaseが入っています

【想定】
全ノードから製品を削除できるはず

【検証結果】
全ノードから製品を削除できた

【参考】
1. ノード1で削除ツール(deinstall)実行してGridホーム削除

[oracle@node1 ~]$ cd /u01/app/oracle/product/12.1.0/dbhome_1/deinstall/
[oracle@node1 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
ログの場所/u01/app/oraInventory/logs/

############ ORACLE DECONFIG TOOL START ############
(中略)
このOracleホームで構成されているデータベース名のリストを指定してください [orcl]: 内の値で正しければ何も入力せずEnter
(中略)

データベースorclの詳細は自動的に検出されました。orclデータベースの詳細を変更しますか。 [n]: ★変更しないなら何も入力せずEnter
(中略)
CCRの構成ステータスをチェックしています
node1 : CCRディレクトリがあるOracleホームは存在しますが、CCRが構成されていません
node2 : CCRディレクトリがあるOracleホームは存在しますが、CCRが構成されていません
node3 : CCRディレクトリがあるOracleホームは存在しますが、CCRが構成されていません
CCRチェックが終了しました
続行しますか (y - はい、n - いいえ) [n]: y ★続行するならyを入力してEnter
(中略)

Oracle削除ツールによって一時ディレクトリが正常にクリーンアップされました。
#######################################################################

############# ORACLE DEINSTALL TOOL END #############


#この時点でクラスタリソース確認 ※ノード2・3も同様の結果
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                             168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------
★DBリソースが消えました


2. ノード1で削除ツール(deinstall)実行してRACホーム削除

[grid@node1 ~]$ cd /u01/app/12.1.0/grid/deinstall/
[grid@node1 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
ログの場所/home/grid/tmp/deinstall2022-09-22_04-17-39PM/logs/

############ ORACLE DECONFIG TOOL START ############


######################### DECONFIG CHECK OPERATION START #########################
## [開始] インストールの構成確認 ##
(中略)
構成解除するすべてのRACリスナー(SCANリスナーは含まない)を指定してください。すべてを選択解除するにはドット(.)を入力します。[LISTENER]: 内の値で正しければ何も入力せずEnter
(中略)
ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループおよびそのコンテンツが削除されます。これは、このASMインスタンスを使用するすべてのデータベースおよびACFSに影響します。
 既存のディスク・グループを保持する場合、または検出された情報が正しくない場合、'y'と入力することにより、変更できます。前述の情報(y|n)を変更しますか [n]: ★変更しないなら何も入力せずEnter
(中略)
ASMインスタンスはこのOracleホームから構成解除されます
Oracle Grid Managementデータベースがこのグリッド・インフラストラクチャ・ホームにあります
Oracle Grid Managementデータベースはこのグリッド・インフラストラクチャ・ホームから構成解除されます
続行しますか (y - はい、n - いいえ) [n]: y ★続行するならyを入力してEnter
(中略)

すべてのノードでバックアップ・ファイルの構成解除中です...
バックアップ・ファイルが正常に構成解除されました。

ネットワーク構成が正常にクリーンアップされました。

ネットワーク構成クリーニング構成END


---------------------------------------->

下のdeconfigコマンドは、すべてのリモート・ノードでパラレルで実行できます。すべてのリモート・ノードで実行が完了した後に、ローカル・ノードでコマンドを実行します。

ノード"node3"のrootユーザーまたは管理者として次のコマンドを実行します。

/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/bin/perl -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/lib -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install /home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/home/grid/tmp/deinstall2022-09-22_04-17-39PM/response/deinstall_OraGI12Home1.rsp"

ノード"node2"のrootユーザーまたは管理者として次のコマンドを実行します。

/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/bin/perl -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/lib -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install /home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/home/grid/tmp/deinstall2022-09-22_04-17-39PM/response/deinstall_OraGI12Home1.rsp"

ノード"node1"のrootユーザーまたは管理者として次のコマンドを実行します。

/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/bin/perl -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/lib -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install /home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/home/grid/tmp/deinstall2022-09-22_04-17-39PM/response/deinstall_OraGI12Home1.rsp" -lastnode

前述のコマンドを実行した後、[Enter]を押します

<----------------------------------------
★全ノードで別ウィンドウでコマンド実行後、Enter

Enter押下後、処理が続行される
(中略)

Oracle Universal Installerのクリーンアップは終了しましたがエラーがあります。


セッション終了時にノード'node1'でrootとして'rm -r /etc/oraInst.loc'を実行します。

セッション終了時に、ノード'node1,node2,node3'でルートとして'rm -r /opt/ORCLfmap'を実行してください。
Oracle削除ツールによって一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL TOOL END #############

#この時点でクラスタリソース確認 ※ノード2・3も同様の結果
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
-bash: /u01/app/12.1.0/grid/bin/crsctl: そのようなファイルやディレクトリはありません

#ノード1でファイル削除
[root@node1 ~]# rm -r /etc/oraInst.loc
rm: remove 通常ファイル `/etc/oraInst.loc'? y

#全ノードでファイル削除
[root@node1 ~]# rm -r /opt/ORCLfmap
rm: descend into directory `/opt/ORCLfmap'? y
rm: descend into directory `/opt/ORCLfmap/prot1_64'? y
rm: descend into directory `/opt/ORCLfmap/prot1_64/bin'? y
rm: remove 通常ファイル `/opt/ORCLfmap/prot1_64/bin/fmputl'? y
rm: remove 通常ファイル `/opt/ORCLfmap/prot1_64/bin/fmputlhp'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64/bin'? y
rm: descend into directory `/opt/ORCLfmap/prot1_64/etc'? y
rm: remove 通常ファイル `/opt/ORCLfmap/prot1_64/etc/filemap.ora'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64/etc'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64/log'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64'? y
rm: remove ディレクトリ `/opt/ORCLfmap'? y

全ノードから製品(Grid Infrastructure、Database)が削除されました。
製品を再インストールする場合、またGrid Infrastructure、DatabaseでそれぞれOUIを実行する必要があります。

【オマケ】
全ノードから製品削除後、OUIでGrid Infrastructure再インストール中にインベントリ設定で失敗する事象がありました (画像取るのを忘れました)

<エラー内容>
[INS-32035]新しい中央インベントリ。ディレクトリ/u01/app/oraInventoryを作成できません。
[INS-32040]指定されたセントラル・インベントリの場所はリモート・ノード[node1]上で空ではありません。

<原因>
ノード1の/u01/app/oraInventory配下にdeinstallしたときのログが残っているのが原因でした

<対応>
再インストール時は/u01/app/oraInventory配下は空じゃないと駄目なのでログは削除しました
ログ削除後はインストールを進めることができました

RACのノード削除検証(特定ノードから製品削除)

RACのノード追加・削除検証 - 忘れかけのIT備忘録で書ききれなかったRACのノード削除の検証結果について書こうと思います。

■検証環境

OS:Oracle Linux 6.5
DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型データベース)構成

■前提

・SCANを使用しています
DNSサーバはdnsmasqを使用しています

■設定情報
# クラスタリソース情報

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------

■検証パターン
①ノード3を削除

■検証
①ノード3を削除

3ノードRAC構成からノード3を削除して、2ノードRAC構成にできるか検証します

【検証手順】
1. クラスタデータベース削除
2. 削除対象ノード(ノード3)のリスナー停止
3. 削除対象ノード(ノード3)のインベントリ(RACホーム)更新
4. 削除対象ノード(ノード3)のRACホーム削除
5. 残存ノード(ノード1・2)のインベントリ更新
6. 削除対象ノード(ノード3)の固定化解除 ※11g R1以前のDBが存在している場合のみ
7. 削除対象ノード(ノード3)のクラスタウェア構成解除
8. OCRから削除対象ノード(ノード3)情報を削除
9. 削除対象ノード(ノード3)のインベントリ(Gridホーム)更新
10. 削除対象ノード(ノード3)のGridホーム削除
11. 残存ノード(ノード1・2)のインベントリ更新
12. 削除対象ノード(ノード3)削除後の事後チェック

【想定】

2ノードRAC構成で稼働するはず

【検証結果】

2ノードRAC構成で稼働できた

【参考】
1. クラスタデータベース削除

[oracle@node1 ~]$ dbca

インスタンス管理」を選択

インスタンスの削除」を選択

「orcl」を選択

「orcl3」を選択

サマリーを確認してインスタンス削除

インスタンス削除を続行するか聞かれるため「OK」ボタン押下

インスタンス削除完了

※DBCAではなく、コマンドでインスタンスを削除することもできます。
./dbca -silent -deleteInstance -nodelist node3 -gdbname orcl -instanceName orcl3 -sysDBAUserName sys -sysDBAPassword password

2. 削除対象ノード(ノード3)のリスナー停止

[oracle@node1 ~]$ srvctl status listener -l listener -n node3
リスナーLISTENERはノードで有効です: node3
リスナーLISTENERはノードで実行中です: node3
[oracle@node1 ~]$ srvctl disable listener -l listener -n node3
[oracle@node1 ~]$ srvctl stop listener -l listener -n node3
[oracle@node1 ~]$ srvctl status listener -l listener -n node3
リスナーLISTENERはノードで無効です: node3
リスナーLISTENERはノードで実行されていません: node3

3. 削除対象ノード(ノード3)のインベントリ(RACホーム)更新

#インベントリ更新前
[oracle@node3 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml

-rw-rw---- 1 grid oinstall 799  9月  8 14:49 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[oracle@node3 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
<HOME NAME="OraDB12Home1" LOC="/u01/app/oracle/product/12.1.0/dbhome_1" TYPE="O" IDX="2">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>

#インベントリ更新

[oracle@node3 bin]$ ./runInstaller -updateNodeList ORACLE_HOME=/u01/app/oracle/product/12.1.0/dbhome_1 "CLUSTER_NO DES=node3" -local
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 3565MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
'UpdateNodeList'が成功しました。

#インベントリ更新後

[oracle@node3 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml
-rw-rw---- 1 grid oinstall 745  9月 16 18:05 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[oracle@node3 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
<HOME NAME="OraDB12Home1" LOC="/u01/app/oracle/product/12.1.0/dbhome_1" TYPE="O" IDX="2">
   <NODE_LIST>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>
RACホームのノードがノード3(node3)だけになりました

4. 削除対象ノード(ノード3)のRACホーム削除
[oracle@node3 bin]$ cd /u01/app/oracle/product/12.1.0/dbhome_1/deinstall
[oracle@node3 deinstall]$ ./deinstall -local
Checking for required files and bootstrapping ...
Please wait ...
ログの場所/u01/app/oraInventory/logs/

############ ORACLE DECONFIG TOOL START ############


######################### DECONFIG CHECK OPERATION START #########################
## [開始] インストールの構成確認 ##


Oracleホームの場所が存在するかどうかを確認しています /u01/app/oracle/product/12.1.0/dbhome_1
選択された削除対象のOracleホームのタイプ: Oracle Real Application Clustersデータベース
選択された削除対象のOracleベース: /u01/app/oracle
中央インベントリの場所が存在するかどうかを確認しています /u01/app/oraInventory
Oracle Grid Infrastructureホームが存在するかどうかを確認しています /u01/app/12.1.0/grid
次のノードはこのクラスタの一部です: node3,node2,node1
ノードに十分な一時領域があるかどうかを確認しています: 'node3'
(中略)
インストールのクリーンアップ操作により、ノードnode3の一時ディレクトリ/home/oracle/tmp/deinstall2022-09-16_06-07-27PMを削除しています

## [終了] Oracleインストール・クリーンアップ ##


######################### DEINSTALL CLEAN OPERATION END #########################


####################### DEINSTALL CLEAN OPERATION SUMMARY #######################
Oracleホーム'/u01/app/oracle/product/12.1.0/dbhome_1'がローカル・ノードの中央インベントリから正常にデタッチされました。
ローカル・ノードのディレクトリ'/u01/app/oracle/product/12.1.0/dbhome_1'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/oracle'の削除に失敗しました。
Oracle Universal Installerのクリーンアップは終了しましたがエラーがあります。

Oracle削除ツールによって一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL TOOL END #############

5. 残存ノード(ノード1・2)のインベントリ更新
いずれかの残存ノードで実施すればOKです

#インベントリ更新前
[oracle@node1 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml
-rw-rw---- 1 grid oinstall 799  9月  8 14:49 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[oracle@node1 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
<HOME NAME="OraDB12Home1" LOC="/u01/app/oracle/product/12.1.0/dbhome_1" TYPE="O" IDX="2">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>

#インベントリ更新

[oracle@node1 bin]$ ./runInstaller -updateNodeList ORACLE_HOME=/u01/app/oracle/product/12.1.0/dbhome_1 "CLUSTER_NO DES=node1,node2"
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 3580MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
'UpdateNodeList'が成功しました。

#インベントリ更新後

[oracle@node1 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml
-rw-rw---- 1 grid oinstall 772  9月 16 18:20 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[oracle@node1 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
<HOME NAME="OraDB12Home1" LOC="/u01/app/oracle/product/12.1.0/dbhome_1" TYPE="O" IDX="2">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>
RACホームからノード3(node3)が消えました

6. 削除対象ノード(ノード3)の固定化解除 ※11g R1以前のDBが存在している場合のみ
11g R1以前のDBはノードが固定(ノード名とノード番号との関連付けを固定)されているため、固定化を解除する必要があります

[root@node3 bin]# /u01/app/12.1.0/grid/bin/crsctl unpin css -n node3
shell-init: error retrieving current directory: getcwd: cannot access parent directories: そのようなファイルやディレクトリはありません
CRS-4667: Node node3 successfully unpinned.

7. 削除対象ノード(ノード3)のクラスタウェア構成解除
[root@node3 bin]# cd /u01/app/12.1.0/grid/crs/install
[root@node3 install]# ./rootcrs.pl -deconfig -force
Using configuration parameter file: ./crsconfig_params
ネットワーク1は存在します
サブネットIPv4: 192.168.56.0/255.255.255.0/eth0, static
サブネットIPv6
pingターゲット: 
ネットワークは有効です
ネットワークはノード: で個別に有効になっています
ネットワークはノード: で個別に無効になっています
VIPが存在します: ネットワーク番号1、ホスティング・ノードnode1
VIP名: node1-vip.oracle12c.jp
VIP IPv4アドレス: 192.168.56.111
VIP IPv6アドレス: 
VIPは有効です。
VIPはノード: で個別に有効になっています
VIPはノード: で個別に無効になっています
(中略)
CRS-2677: Stop of 'ora.mdnsd' on 'node3' succeeded

CRS-2677: Stop of 'ora.ctssd' on 'node3' succeeded
CRS-2677: Stop of 'ora.evmd' on 'node3' succeeded
CRS-2677: Stop of 'ora.asm' on 'node3' succeeded
CRS-2673: Attempting to stop 'ora.cluster_interconnect.haip' on 'node3'
CRS-2677: Stop of 'ora.cluster_interconnect.haip' on 'node3' succeeded
CRS-2673: Attempting to stop 'ora.cssd' on 'node3'
CRS-2677: Stop of 'ora.cssd' on 'node3' succeeded
CRS-2673: Attempting to stop 'ora.gipcd' on 'node3'
CRS-2677: Stop of 'ora.gipcd' on 'node3' succeeded
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'node3' has completed
CRS-4133: Oracle High Availability Services has been stopped.
2022/09/16 18:28:56 CLSRSC-4006: Removing Oracle Trace File Analyzer (TFA) Collector.

2022/09/16 18:29:18 CLSRSC-4007: Successfully removed Oracle Trace File Analyzer (TFA) Collector.

2022/09/16 18:29:18 CLSRSC-336: Successfully deconfigured Oracle Clusterware stack on this node

8. OCRから削除対象ノード(ノード3)情報を削除
#削除前
[root@node1 ~]# /u01/app/12.1.0/grid/bin/olsnodes -n -s
node1    1    Active
node2    2    Active
node3    3    Inactive

#削除
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl delete node -n node3
CRS-4661: Node node3 successfully deleted.

#削除後
[root@node1 ~]# /u01/app/12.1.0/grid/bin/olsnodes -n -s
node1    1    Active
node2    2    Active

9. 削除対象ノード(ノード3)のインベントリ(Gridホーム)更新
#インベントリ更新前
[grid@node3 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml

-rw-rw---- 1 grid oinstall 589  9月 16 18:10 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[grid@node3 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>

#インベントリ更新

[grid@node3 bin]$ ./runInstaller -updateNodeList ORACLE_HOME=/u01/app/12.1.0/grid "CLUSTER_NODES=node3" CRS=TRUE - local
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 3573MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
'UpdateNodeList'が成功しました。

#インベントリ更新後

[grid@node3 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml
-rw-rw---- 1 grid oinstall 535  9月 16 18:34 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[grid@node3 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>

10. 削除対象ノード(ノード3)のGridホーム削除
[grid@node3 bin]$ cd /u01/app/12.1.0/grid/deinstall
[grid@node3 deinstall]$ ./deinstall -local
Checking for required files and bootstrapping ...
Please wait ...
ログの場所/home/grid/tmp/deinstall2022-09-16_06-37-13PM/logs/

############ ORACLE DECONFIG TOOL START ############


######################### DECONFIG CHECK OPERATION START #########################
## [開始] インストールの構成確認 ##


Oracleホームの場所が存在するかどうかを確認しています /u01/app/12.1.0/grid
選択された削除対象のOracleホームのタイプ: クラスタ用のOracle Grid Infrastructure
選択された削除対象のOracleベース: /u01/app/grid
中央インベントリの場所が存在するかどうかを確認しています /u01/app/oraInventory
Oracle Grid Infrastructureホームが存在するかどうかを確認しています 
次のノードはこのクラスタの一部です: node3
ノードに十分な一時領域があるかどうかを確認しています: 'node3'
(中略)
Oracleホーム'/u01/app/12.1.0/grid'がローカル・ノードの中央インベントリから正常にデタッチされました。
ローカル・ノードのディレクトリ'/u01/app/12.1.0/grid'の削除に失敗しました。
ローカル・ノードのディレクトリ'/u01/app/oraInventory'が正常に削除されました。
Oracle Universal Installerのクリーンアップが成功しました。


セッション終了時にノード'node3'でrootとして'rm -r /etc/oraInst.loc'を実行します。

セッション終了時に、ノード'node3'でルートとして'rm -r /opt/ORCLfmap'を実行してください。
セッション終了時に、ノード'node3'でルートとして'rm -r /etc/oratab'を実行してください。
Oracle削除ツールによって一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL TOOL END #############

#設定ファイル削除
[root@node3 install]# rm -r /etc/oraInst.loc
[root@node3 install]# rm -r /opt/ORCLfmap
[root@node3 install]# rm -r /etc/oratab

11. 残存ノード(ノード1・2)のインベントリ更新
#インベントリ更新前
[grid@node1 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml

-rw-rw---- 1 grid oinstall 772  9月 16 18:20 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[grid@node1 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
      <NODE NAME="node3"/>
   </NODE_LIST>
</HOME>
<HOME NAME="OraDB12Home1" LOC="/u01/app/oracle/product/12.1.0/dbhome_1" TYPE="O" IDX="2">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>

#インベントリ更新

[grid@node1 bin]$ ./runInstaller -updateNodeList ORACLE_HOME=/u01/app/12.1.0/grid "CLUSTER_NODES=node1,node2" CRS= TRUE
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 3573MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
'UpdateNodeList'が成功しました。

#インベントリ更新後

[grid@node1 bin]$ ls -l /u01/app/oraInventory/ContentsXML/inventory.xml
-rw-rw---- 1 grid oinstall 745  9月 16 18:40 2022 /u01/app/oraInventory/ContentsXML/inventory.xml
[grid@node1 bin]$ cat /u01/app/oraInventory/ContentsXML/inventory.xml
<?xml version="1.0" standalone="yes" ?>
<!-- Copyright (c) 1999, 2014, Oracle and/or its affiliates.
All rights reserved. -->
<!-- Do not modify the contents of this file by hand. -->
<INVENTORY>
<VERSION_INFO>
   <SAVED_WITH>12.1.0.2.0</SAVED_WITH>
   <MINIMUM_VER>2.1.0.6.0</MINIMUM_VER>
</VERSION_INFO>
<HOME_LIST>
<HOME NAME="OraGI12Home1" LOC="/u01/app/12.1.0/grid" TYPE="O" IDX="1" CRS="true">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
   </NODE_LIST>
</HOME>
<HOME NAME="OraDB12Home1" LOC="/u01/app/oracle/product/12.1.0/dbhome_1" TYPE="O" IDX="2">
   <NODE_LIST>
      <NODE NAME="node1"/>
      <NODE NAME="node2"/>
   </NODE_LIST>
</HOME>
</HOME_LIST>
<COMPOSITEHOME_LIST>
</COMPOSITEHOME_LIST>
</INVENTORY>
★Gridホームからノード3(node3)が削除されました

12. 削除対象ノード(ノード3)削除後の事後チェック
[grid@node1 bin]$ cluvfy stage -post nodedel -n node3

ノード削除の事後チェックを実行しています 

CRS整合性をチェック中...

CRS整合性チェックに合格しました

クラスタウェア・バージョンの整合性に合格しました。

ノード削除チェックに合格しました

ノード削除の事後チェックは成功しました。 


以上でノード削除は完了です。

確認のため、各ノードでクラスタリソース状態を見てみました。
#ノード1 ※ノード2も同様
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                             168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------

#ノード3
[root@node3 install]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
Oracle Clusterware infrastructure warning in CRSCTL (OS PID 14060): Non-fatal error (22) during NLS data loading initialization
Oracle Clusterware infrastructure error in CRSCTL (OS PID 14060): ADR home path /u01/app/grid/diag/crs/node3/crs does not exist; ADR initialization will try to create it
CRS-4000: 

クラスタリソースからノード3が削除されています

ノードのCSS障害検証(cssagent,ocssd.bin,cssdmonitor編)

前回はCSSD(ocssd.bin)が停止した場合の検証でしたが、今回はCSS関連プロセス(CSSD(ocssd.bin)およびCSSエージェント(cssdagent,cssdmonitor))がすべて停止した場合のクラスタの動きを検証してみようと思います。

■検証環境
OS:Oracle Linux 6.5
DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型データベース)構成

■前提
・SCANを使用しています
DNSサーバはdnsmasqを使用しています
・ASMの冗長構成は標準冗長性(2多重)

■設定情報
# クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.57.30 192.16
                                                                                 8.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

# CSSのMISSCOUNT値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css misscount
CRS-4678: Successful get misscount 30 for Cluster Synchronization Services.

# CSSのDISKTIMEOUT値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css disktimeout
CRS-4678: Successful get disktimeout 200 for Cluster Synchronization Services.

# CSSのREBOOTTIME値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css reboottime
CRS-4678: Successful get reboottime 3 for Cluster Synchronization Services.

■検証パターン
①ノード1のCSS障害(cssdagent,ocssd.bin,cssdmonitorプロセス停止)

■検証
①ノード1のCSS障害(cssdagent,ocssd.bin,cssdmonitorプロセス停止)
ノード1でCSS障害(cssdagent,ocssd.bin,cssdmonitorプロセス停止)が発生した場合のクラスタの動きやDBからアプリデータをSELECTできるか検証します
今回はノード1のcssdagent,ocssd.bin,cssdmonitorプロセスをkillして疑似的にCSS障害を発生させます

【検証手順】
1. ノード1のcssdagent,ocssd.bin,cssdmonitorプロセスをkill
2. プロセスkill直後の各ノードのクラスタリソースと投票ディスクの状態を確認
3. プロセスkillの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
4. プロセスkillの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
5. ノード1でDBからアプリデータをSELECT

【想定】
ノード1が自動的に再起動され、ノード1でDBからアプリデータをSELECTできるはず

【検証結果】
ノード1は再起動されず、cssdagent,ocssd.bin,cssdmonitorプロセスが自動的に再起動され、ノード1でDBからアプリデータをSELECTできた(インスタンスが起動するまではDB接続できない)
CSS関連プロセス障害はノード再起動されると思っていましたが、マニュアルを見たところ必ず再起動されるわけではないようです

 

cssdagentで障害が発生した場合、Oracle Clusterwareによってノードが再起動されることがあります。

クラスタ・レディ・サービス技術スタック


【参考】
1. ノード1のcssdagent,ocssd.bin,cssdmonitorプロセスをkill
[root@node1 ~]# ps -ef | grep d.bin | grep -v grep
root      3475     1  1 20:40 ?        00:00:04 /u01/app/12.1.0/grid/bin/ohasd.bin reboot
grid      3826     1  0 20:40 ?        00:00:01 /u01/app/12.1.0/grid/bin/oraagent.bin
grid      3839     1  0 20:40 ?        00:00:00 /u01/app/12.1.0/grid/bin/mdnsd.bin
grid      3841     1  0 20:40 ?        00:00:02 /u01/app/12.1.0/grid/bin/evmd.bin
grid      3856     1  0 20:40 ?        00:00:00 /u01/app/12.1.0/grid/bin/gpnpd.bin
grid      3868  3841  0 20:40 ?        00:00:00 /u01/app/12.1.0/grid/bin/evmlogger.bin -o /u01/app/12.1.0/grid/log/[HOSTNAME]/evmd/evmlogger.info -l /u01/app/12.1.0/grid/log/[HOSTNAME]/evmd/evmlogger.log
grid      3875     1  1 20:40 ?        00:00:05 /u01/app/12.1.0/grid/bin/gipcd.bin
root      3896     1  0 20:40 ?        00:00:01 /u01/app/12.1.0/grid/bin/orarootagent.bin
root      4081     1  0 20:40 ?        00:00:00 /u01/app/12.1.0/grid/bin/cssdmonitor
root      4097     1  0 20:40 ?        00:00:00 /u01/app/12.1.0/grid/bin/cssdagent
grid      4108     1  1 20:40 ?        00:00:04 /u01/app/12.1.0/grid/bin/ocssd.bin 
root      4338     1  0 20:41 ?        00:00:01 /u01/app/12.1.0/grid/bin/octssd.bin reboot
root      4568     1  0 20:41 ?        00:00:01 /u01/app/12.1.0/grid/bin/osysmond.bin
root      4575     1  1 20:41 ?        00:00:03 /u01/app/12.1.0/grid/bin/crsd.bin reboot
grid      4708     1  0 20:41 ?        00:00:01 /u01/app/12.1.0/grid/bin/oraagent.bin
root      4724     1  0 20:41 ?        00:00:01 /u01/app/12.1.0/grid/bin/orarootagent.bin
grid      4834     1  0 20:41 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit
grid      4843     1  0 20:41 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr LISTENER_SCAN1 -no_crs_notify -inherit
oracle    4898     1  0 20:41 ?        00:00:01 /u01/app/12.1.0/grid/bin/oraagent.bin
[root@node1 ~]# kill -9 4097 4108 4081
[root@node1 ~]# ps -ef | grep d.bin | grep -v grep
root      3475     1  1 20:40 ?        00:00:07 /u01/app/12.1.0/grid/bin/ohasd.bin reboot
grid      3826     1  0 20:40 ?        00:00:02 /u01/app/12.1.0/grid/bin/oraagent.bin
grid      3839     1  0 20:40 ?        00:00:01 /u01/app/12.1.0/grid/bin/mdnsd.bin
grid      3856     1  0 20:40 ?        00:00:01 /u01/app/12.1.0/grid/bin/gpnpd.bin
grid      3875     1  1 20:40 ?        00:00:09 /u01/app/12.1.0/grid/bin/gipcd.bin
root      3896     1  0 20:40 ?        00:00:02 /u01/app/12.1.0/grid/bin/orarootagent.bin
root      4568     1  0 20:41 ?        00:00:03 /u01/app/12.1.0/grid/bin/osysmond.bin
grid      4834     1  0 20:41 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit
grid      4843     1  0 20:41 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr LISTENER_SCAN1 -no_crs_notify -inherit
root      9218     1  2 20:50 ?        00:00:00 /u01/app/12.1.0/grid/bin/cssdmonitor
root      9221     1  1 20:50 ?        00:00:00 /u01/app/12.1.0/grid/bin/cssdagent
grid      9243     1  1 20:50 ?        00:00:00 /u01/app/12.1.0/grid/bin/ocssd.bin 
grid      9249     1  2 20:50 ?        00:00:00 /u01/app/12.1.0/grid/bin/evmd.bin

2. プロセスkill直後の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.57.30 192.16
                                                                                 8.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

3. プロセスkillの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

[root@node1 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
アイドル・インスタンスに接続しました。
★cssdagent,ocssd.bin,cssdmonitorプロセス再起動直後はインスタンス1へ接続できなかった

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  OFFLINE                               STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.57.30 192.16
                                                                                 8.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  OFFLINE      node3                    STARTING
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  OFFLINE      node2                    STARTING
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
クラスタリソースがノード2・3で稼働するよう再構成されました
 ノード1で動いていたノードVIPがノード3へ、ノード1で動いていたSCAN VIPがノード2へそれぞれフェイルオーバーし、インスタンス1が停止しました

[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

4. プロセスkillの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1 ※ノード2・3も同様
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.57.30 192.16
                                                                                 8.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★ノード3へフェイルオーバーしたノード1のノードVIP、SCAN VIPがノード1へフェイルバックしています
 インスタンス1も起動しました
 クラスタリソースもノード1・2・3で稼働するよう再構成されました

[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

5. ノード1でDBからアプリデータをSELECT
[root@node1 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
SQL> select * from scott.emp;

     EMPNO ENAME                          JOB                                MGR HIREDATE        SAL       COMM     DEPTNO
---------- ------------------------------ --------------------------- ---------- -------- ---------- ---------- ----------
      7369 SMITH                          CLERK                             7902 80-12-17        800                    20
      7499 ALLEN                          SALESMAN                          7698 81-02-20       1600        300         30
      7521 WARD                           SALESMAN                          7698 81-02-22       1250        500         30
      7566 JONES                          MANAGER                           7839 81-04-02       2975                    20
      7654 MARTIN                         SALESMAN                          7698 81-09-28       1250       1400         30
      7698 BLAKE                          MANAGER                           7839 81-05-01       2850                    30
      7782 CLARK                          MANAGER                           7839 81-06-09       2450                    10
      7839 KING                           PRESIDENT                              81-11-17       5000                    10
      7844 TURNER                         SALESMAN                          7698 81-09-08       1500          0         30
      7900 JAMES                          CLERK                             7698 81-12-03        950                    30
      7902 FORD                           ANALYST                           7566 81-12-03       3000                    20
      7934 MILLER                         CLERK                             7782 82-01-23       1300                    10

12行が選択されました。
★ノード1でDBからアプリデータをSELECTできた

●各ノードのクラスタアラートログ
# ノード1
2022-09-18 20:50:03.239 [CSSDAGENT(9155)]CRS-8500: Oracle Clusterware CSSDAGENTプロセスをオペレーティング・システム・プロセスID 9155で開始しています
2022-09-18 20:50:03.256 [CSSDMONITOR(9163)]CRS-8500: Oracle Clusterware CSSDMONITORプロセスをオペレーティング・システム・プロセスID 9163で開始しています
2022-09-18 20:50:03.614 [ORAAGENT(4708)]CRS-5822: エージェント'/u01/app/12.1.0/grid/bin/oraagent_grid'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:1:5}(/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc)を参照してください。
2022-09-18 20:50:03.614 [ORAAGENT(4898)]CRS-5822: エージェント'/u01/app/12.1.0/grid/bin/oraagent_oracle'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:9:35}(/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_oracle.trc)を参照してください。
2022-09-18 20:50:03.614 [ORAROOTAGENT(4724)]CRS-5822: エージェント'/u01/app/12.1.0/grid/bin/orarootagent_root'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:5:4}(/u01/app/grid/diag/crs/node1/crs/trace/crsd_orarootagent_root.trc)を参照してください。
2022-09-18 20:50:04.320 [CSSDMONITOR(9218)]CRS-8500: Oracle Clusterware CSSDMONITORプロセスをオペレーティング・システム・プロセスID 9218で開始しています
2022-09-18 20:50:04.346 [CSSDAGENT(9221)]CRS-8500: Oracle Clusterware CSSDAGENTプロセスをオペレーティング・システム・プロセスID 9221で開始しています
2022-09-18 20:50:04.491 [OCSSD(9243)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 9243で開始しています
2022-09-18 20:50:04.559 [ORAAGENT(3826)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-18 20:50:04.568 [ORAAGENT(3826)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-18 20:50:05.393 [EVMD(9249)]CRS-8500: Oracle Clusterware EVMDプロセスをオペレーティング・システム・プロセスID 9249で開始しています
2022-09-18 20:50:05.544 [OCSSD(9243)]CRS-1713: CSSDデーモンがhubモードで起動しています
2022-09-18 20:50:21.519 [OCSSD(9243)]CRS-1707: ノードnode1、番号1のリース取得が完了しました
2022-09-18 20:50:22.614 [OCSSD(9243)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdd1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-18 20:50:22.619 [OCSSD(9243)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdc1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-18 20:50:22.622 [OCSSD(9243)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdb1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-18 20:50:24.323 [OCSSD(9243)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode1 node2 node3 です。
2022-09-18 20:50:26.529 [OCTSSD(9467)]CRS-8500: Oracle Clusterware OCTSSDプロセスをオペレーティング・システム・プロセスID 9467で開始しています
2022-09-18 20:50:27.644 [OCTSSD(9467)]CRS-2407: 新しいクラスタ時刻同期化サービスの参照ノードはホストnode2です。
2022-09-18 20:50:27.645 [OCTSSD(9467)]CRS-2401: クラスタ時刻同期化サービスがホストnode1で起動されました。
2022-09-18 20:50:27.662 [OCTSSD(9467)]CRS-2408: ホストnode1の時計は、平均クラスタ時刻と同期化するために、クラスタ時刻同期化サービスによって更新されました。
2022-09-18 20:50:50.035 [CRSD(10264)]CRS-8500: Oracle Clusterware CRSDプロセスをオペレーティング・システム・プロセスID 10264で開始しています
2022-09-18 20:50:51.412 [CRSD(10264)]CRS-1012: OCRサービスがノードnode1で起動されました。
2022-09-18 20:50:51.469 [CRSD(10264)]CRS-1201: CRSDがノードnode1で起動されました。
2022-09-18 20:51:44.429 [ORAAGENT(10590)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 10590で開始しています
2022-09-18 20:51:44.437 [ORAAGENT(10594)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 10594で開始しています
2022-09-18 20:51:44.457 [ORAROOTAGENT(10599)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 10599で開始しています
2022-09-18 20:51:44.529 [ORAAGENT(10594)]CRS-5011: リソース"orcl"のチェックが失敗しました: 詳細は"(:CLSN00007:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_oracle.trc")を参照してください
2022-09-18 20:51:46.063 [ORAAGENT(10590)]CRS-5016: プロセス"/u01/app/12.1.0/grid/bin/lsnrctl"(エージェント"ORAAGENT"によりアクション"start"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-18 20:51:49.757 [ORAAGENT(10672)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 10672で開始しています
2022-09-18 20:51:50.856 [ORAAGENT(10690)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 10690で開始しています
2022-09-18 20:51:50.950 [ORAAGENT(10690)]CRS-5011: リソース"orcl"のチェックが失敗しました: 詳細は"(:CLSN00007:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_oracle.trc")を参照してください

# ノード2
2022-09-18 20:50:18.170 [OCSSD(4027)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.450秒内に削除します
2022-09-18 20:50:22.857 [OCSSD(4027)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-18 20:50:22.862 [CRSD(4510)]CRS-5504: ノード'node1'について、ノード・ダウン・イベントが報告されました。
2022-09-18 20:50:24.331 [OCSSD(4027)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode1 node2 node3 です。
2022-09-18 20:51:02.585 [ORAROOTAGENT(4669)]CRS-5017: リソース・アクション"ora.scan1.vip start"に次のエラーが発生しました: 
2022-09-18 20:51:02.585+CRS-5005: IPアドレス: 192.168.56.203は、ネットワーク内ですでに使用されています
。詳細は"(:CLSN00107:)"("/u01/app/grid/diag/crs/node2/crs/trace/crsd_orarootagent_root.trc")を参照してください。
2022-09-18 20:51:43.311 [ORAROOTAGENT(4669)]CRS-5017: リソース・アクション"ora.node1.vip start"に次のエラーが発生しました: 
2022-09-18 20:51:43.311+CRS-5005: IPアドレス: 192.168.56.111は、ネットワーク内ですでに使用されています
。詳細は"(:CLSN00107:)"("/u01/app/grid/diag/crs/node2/crs/trace/crsd_orarootagent_root.trc")を参照してください。
2022-09-18 20:51:44.350 [CRSD(4510)]CRS-2773: サーバー'node1'はプール'Generic'から削除されました。
2022-09-18 20:51:44.351 [CRSD(4510)]CRS-2773: サーバー'node1'はプール'ora.orcl'から削除されました。
2022-09-18 20:51:44.748 [CRSD(4510)]CRS-2750: サーバー'node1'でカーディナリティ違反が検出されました。リソース'ora.LISTENER_SCAN1.lsnr'が不明状態です。詳細は(:CRSPE00149:) {2:54299:363}(/u01/app/grid/diag/crs/node2/crs/trace/crsd.trc)を参照してください。
2022-09-18 20:51:45.538 [CRSD(4510)]CRS-2750: サーバー'node1'でカーディナリティ違反が検出されました。リソース'ora.scan1.vip'が不明状態です。詳細は(:CRSPE00149:) {2:54299:363}(/u01/app/grid/diag/crs/node2/crs/trace/crsd.trc)を参照してください。
2022-09-18 20:51:45.618 [CRSD(4510)]CRS-2772: サーバー'node1'はプール'Generic'に割り当てられています。
2022-09-18 20:51:45.619 [CRSD(4510)]CRS-2772: サーバー'node1'はプール'ora.orcl'に割り当てられています。

# ノード3
2022-09-18 20:50:17.819 [OCSSD(3851)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.800秒内に削除します
2022-09-18 20:50:22.848 [OCSSD(3851)]CRS-1632: ノードnode1がクラスタインカーネーション558998465のクラスタから削除されています
2022-09-18 20:50:22.857 [OCSSD(3851)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-18 20:50:23.850 [OCSSD(3851)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode1 node2 node3 です。
2022-09-18 20:51:02.589 [ORAROOTAGENT(4461)]CRS-5017: リソース・アクション"ora.node1.vip start"に次のエラーが発生しました: 
2022-09-18 20:51:02.589+CRS-5005: IPアドレス: 192.168.56.111は、ネットワーク内ですでに使用されています
。詳細は"(:CLSN00107:)"("/u01/app/grid/diag/crs/node3/crs/trace/crsd_orarootagent_root.trc")を参照してください。
2022-09-18 20:51:43.309 [ORAROOTAGENT(4461)]CRS-5017: リソース・アクション"ora.scan1.vip start"に次のエラーが発生しました: 
2022-09-18 20:51:43.309+CRS-5005: IPアドレス: 192.168.56.203は、ネットワーク内ですでに使用されています
。詳細は"(:CLSN00107:)"("/u01/app/grid/diag/crs/node3/crs/trace/crsd_orarootagent_root.trc")を参照してください。

●各ノードのASMアラートログ
# ノード1
Sun Sep 18 20:50:03 2022
Error 29701: unexpected return code 6 from the Cluster Synchronization Service.
Sun Sep 18 20:50:03 2022
NOTE: client exited [4575]
Sun Sep 18 20:50:03 2022
Error 29701: unexpected return code 6 from the Cluster Synchronization Service
Sun Sep 18 20:50:03 2022
Errors in file /u01/app/grid/diag/asm/+asm/+ASM1/trace/+ASM1_lmon_4442.trc:
ORA-29701: unable to connect to Cluster Synchronization Service
USER (ospid: 4442): terminating the instance due to error 29701
(中略)
Sun Sep 18 20:50:51 2022
NOTE: Standard client +ASM1:+ASM:node-cluster registered, osid 10288, mbr 0x0, asmb 10286 (reg:206628584)
Sun Sep 18 20:50:51 2022
NOTE: ASMB connected to ASM instance +ASM1 osid: 10288 (Flex mode; client id 0xffffffffffffffff)
Sun Sep 18 20:51:54 2022
NOTE: Standard client orcl1:orcl:node-cluster registered, osid 10804, mbr 0x1, asmb 10798 (reg:3226355133)
NOTE: client orcl1:orcl:node-cluster mounted group 3 (FRA)
NOTE: client orcl1:orcl:node-cluster mounted group 2 (DATA)
Sun Sep 18 20:54:44 2022
ALTER SYSTEM SET local_listener=' (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.111)(PORT=1521))' SCOPE=MEMORY SID='+ASM1';

# ノード2
Sun Sep 18 20:50:23 2022
Reconfiguration started (old inc 10, new inc 12)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
(中略)
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Sun Sep 18 20:50:47 2022
Reconfiguration complete (total time 0.1 secs) 

# ノード3
Sun Sep 18 20:50:23 2022
Reconfiguration started (old inc 10, new inc 12)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
(中略)
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Sun Sep 18 20:50:47 2022
Reconfiguration complete (total time 0.1 secs) 

●各ノードのDBアラートログ
# ノード1
Sun Sep 18 20:50:03 2022
Error 29701: unexpected return code 6 from the Cluster Synchronization Service.
Restarting dead background process LMHB
Starting background process LMHB
Sun Sep 18 20:50:03 2022
LMHB started with pid=45, OS id=9161 at elevated (RT) priority
Sun Sep 18 20:50:03 2022
Error 29701: unexpected return code 6 from the Cluster Synchronization Service
Sun Sep 18 20:50:03 2022
Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_lmon_4963.trc:
(中略)
Setting Resource Manager plan SCHEDULER[0x4449]:DEFAULT_MAINTENANCE_PLAN via scheduler window
Setting Resource Manager plan DEFAULT_MAINTENANCE_PLAN via parameter
Sun Sep 18 20:52:13 2022
Shared IO Pool defaulting to 48MB. Trying to get it from Buffer Cache for process 10983.
Sun Sep 18 20:52:15 2022
===========================================================
Dumping current patch information
===========================================================
No patches have been applied
===========================================================

# ノード2
Sun Sep 18 20:50:23 2022
Reconfiguration started (old inc 10, new inc 12)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
 Global Resource Directory frozen
 * dead instance detected - domain 0 invalid = TRUE 
(中略)
Reconfiguration complete (total time 0.2 secs) 
Sun Sep 18 20:51:57 2022
minact-scn: Master returning as live inst:1 has inc# mismatch instinc:0 cur:14 errcnt:0
Sun Sep 18 20:52:09 2022
Setting Resource Manager plan DEFAULT_MAINTENANCE_PLAN via parameter
Sun Sep 18 20:52:24 2022
db_recovery_file_dest_size of 7168 MB is 7.69% used. This is a
user-specified limit on the amount of space that will be used by this
database for recovery-related files, and does not reflect the amount of
space available in the underlying filesystem or ASM diskgroup.

# ノード3
Sun Sep 18 20:50:23 2022
Reconfiguration started (old inc 10, new inc 12)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
 Global Resource Directory frozen
 * dead instance detected - domain 0 invalid = TRUE 
(中略)
 Set master node info 
 Submitted all remote-enqueue requests
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Sun Sep 18 20:51:55 2022
Reconfiguration complete (total time 0.2 secs) 
Sun Sep 18 20:52:09 2022
Setting Resource Manager plan DEFAULT_MAINTENANCE_PLAN via parameter

CSS障害(cssagent,ocssd.bin,cssdmonitorプロセス停止)が発生した場合、cssagent,ocssd.bin,cssdmonitorプロセスが自動的に再起動され、DBからアプリデータをSELECTできることを確認できました。

ノードのCSS障害検証(ocssd.bin編)

今回は前回書ききれなかったノードのCSSD障害が発生した場合のクラスタの動きの検証結果を書こうと思います。
CSSD(ocssd.bin)障害とCSSD(ocssd.bin)および関連プロセス
(cssagent、cssdmonitor)障害の2パターンを検証してみました。

■検証環境
OS:Oracle Linux 6.5
DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型データベース)構成

■前提
・SCANを使用しています
DNSサーバはdnsmasqを使用しています
・ASMの冗長構成は標準冗長性(2多重)

■設定情報
# クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

# 投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

# CSSのMISSCOUNT値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css misscount
CRS-4678: Successful get misscount 30 for Cluster Synchronization Services.

# CSSのDISKTIMEOUT値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css disktimeout
CRS-4678: Successful get disktimeout 200 for Cluster Synchronization Services.

# CSSのREBOOTTIME値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css reboottime
CRS-4678: Successful get reboottime 3 for Cluster Synchronization Services.

■検証パターン
①ノード1のCSS障害(ocssd.binプロセス停止)
②ノード1のCSS障害(cssdagent,ocssd.bin,cssdmonitorプロセス停止)

■検証
①ノード1のCSS障害(ocssd.binプロセス停止)
ノード1でCSS障害(ocssd.binプロセス停止)が発生した場合のクラスタの動きやDBからアプリデータをSELECTできるか検証します
今回はノード1のocssd.binプロセスをkillして疑似的にCSS障害を発生させます

【検証手順】
1. ノード1のocssd.binプロセスをkill
2. プロセスkill直後の各ノードのクラスタリソースと投票ディスクの状態を確認
3. プロセスkillの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
4. プロセスkillの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
5. ノード1でDBからアプリデータをSELECT

【想定】
ノード1が自動的に再起動され、ノード1でDBからアプリデータをSELECTできるはず

【検証結果】
ノード1が自動的に再起動され、ノード1でDBからアプリデータをSELECTできた(インスタンスが起動するまではDB接続できない)
AIXはocssd.binをkillした後、ノード再起動しないバグがあります(ドキュメントID 2276152.1)
 ただし、バグは12.2.0.2で修正済みとなっています

【参考】
1. ノード1のocssd.binプロセスをkill
[root@node1 ~]# ps -ef | grep d.bin | grep -v grep
root      3428     1  1 20:20 ?        00:00:09 /u01/app/12.1.0/grid/bin/ohasd.bin reboot
grid      3793     1  0 20:20 ?        00:00:03 /u01/app/12.1.0/grid/bin/oraagent.bin
grid      3804     1  0 20:20 ?        00:00:02 /u01/app/12.1.0/grid/bin/mdnsd.bin
grid      3808     1  0 20:20 ?        00:00:06 /u01/app/12.1.0/grid/bin/evmd.bin
grid      3824     1  0 20:20 ?        00:00:02 /u01/app/12.1.0/grid/bin/gpnpd.bin
grid      3836  3808  0 20:20 ?        00:00:02 /u01/app/12.1.0/grid/bin/evmlogger.bin -o /u01/app/12.1.0/grid/log/[HOSTNAME]/evmd/evmlogger.info -l /u01/app/12.1.0/grid/log/[HOSTNAME]/evmd/evmlogger.log
grid      3842     1  1 20:20 ?        00:00:14 /u01/app/12.1.0/grid/bin/gipcd.bin
root      3851     1  0 20:20 ?        00:00:03 /u01/app/12.1.0/grid/bin/orarootagent.bin
root      4040     1  0 20:20 ?        00:00:02 /u01/app/12.1.0/grid/bin/cssdmonitor
root      4066     1  0 20:20 ?        00:00:02 /u01/app/12.1.0/grid/bin/cssdagent
grid      4077     1  1 20:20 ?        00:00:11 /u01/app/12.1.0/grid/bin/ocssd.bin 
root      4279     1  0 20:21 ?        00:00:04 /u01/app/12.1.0/grid/bin/octssd.bin reboot
root      4508     1  0 20:21 ?        00:00:05 /u01/app/12.1.0/grid/bin/osysmond.bin
root      4532     1  1 20:21 ?        00:00:12 /u01/app/12.1.0/grid/bin/crsd.bin reboot
grid      4671     1  0 20:21 ?        00:00:04 /u01/app/12.1.0/grid/bin/oraagent.bin
root      4687     1  0 20:21 ?        00:00:05 /u01/app/12.1.0/grid/bin/orarootagent.bin
grid      4782     1  0 20:21 ?        00:00:01 /u01/app/12.1.0/grid/bin/scriptagent.bin
grid      4785     1  0 20:21 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr MGMTLSNR -no_crs_notify -inherit
grid      5023     1  0 20:21 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit
grid      5030     1  0 20:21 ?        00:00:00 /u01/app/12.1.0/grid/bin/tnslsnr LISTENER_SCAN3 -no_crs_notify -inherit
oracle    5092     1  0 20:22 ?        00:00:03 /u01/app/12.1.0/grid/bin/oraagent.bin
[root@node1 ~]# kill -9 4077
★セッション断発生(ノード1再起動)

[root@node1 ~]# Last login: Sun Sep 18 20:32:35 2022 from 192.168.56.1
★再ログイン

2. プロセスkill直後の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
★ノード再起動中のため、クラスタリソースと投票ディスクの状態は確認できなかった

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  OFFLINE                               STABLE
ora.MGMTLSNR
      1        ONLINE  OFFLINE      node3                    STARTING
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  OFFLINE                               STABLE
ora.node1.vip
      1        ONLINE  OFFLINE      node3                    STARTING
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  OFFLINE      node2                    STARTING
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  OFFLINE      node2                    STARTING
--------------------------------------------------------------------------------
★ノード1のノードVIPがノード3へフェイルオーバーし起動中ですが、インスタンス1は停止しました
 クラスタリソースがノード2とノード3で稼働するよう再構成されました

[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

3. プロセスkillの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

[root@node1 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
アイドル・インスタンスに接続しました。
★ノード1再起動直後はインスタンス1へ接続できなかった

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.57.30 192.16
                                                             8.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  OFFLINE      node3                    STARTING
ora.node1.vip
      1        ONLINE  INTERMEDIATE node3                    FAILED OVER,STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  OFFLINE      node2                    STARTING
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★ノード1のノードVIPがノード3へフェイルオーバーしました

[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

4. プロセスkillの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1 ※ノード2・3も同様
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.57.30 192.16
                                                             8.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★ノード3へフェイルオーバーしたノード1のノードVIPがノード1へフェイルバックしています
 インスタンス1も起動しました
 クラスタリソースもノード1・2・3で稼働するよう再構成されました

[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

5. ノード1でDBからアプリデータをSELECT
[root@node1 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
SQL> select * from scott.emp;

     EMPNO ENAME                          JOB                                MGR HIREDATE        SAL       COMM     DEPTNO
---------- ------------------------------ --------------------------- ---------- -------- ---------- ---------- ----------
      7369 SMITH                          CLERK                             7902 80-12-17        800                    20
      7499 ALLEN                          SALESMAN                          7698 81-02-20       1600        300         30
      7521 WARD                           SALESMAN                          7698 81-02-22       1250        500         30
      7566 JONES                          MANAGER                           7839 81-04-02       2975                    20
      7654 MARTIN                         SALESMAN                          7698 81-09-28       1250       1400         30
      7698 BLAKE                          MANAGER                           7839 81-05-01       2850                    30
      7782 CLARK                          MANAGER                           7839 81-06-09       2450                    10
      7839 KING                           PRESIDENT                              81-11-17       5000                    10
      7844 TURNER                         SALESMAN                          7698 81-09-08       1500          0         30
      7900 JAMES                          CLERK                             7698 81-12-03        950                    30
      7902 FORD                           ANALYST                           7566 81-12-03       3000                    20
      7934 MILLER                         CLERK                             7782 82-01-23       1300                    10

12行が選択されました。
★ノード1でDBからアプリデータをSELECTできた

●各ノードのクラスタアラートログ
# ノード1
2022-09-18 20:40:30.707 [OHASD(3475)]CRS-8500: Oracle Clusterware OHASDプロセスをオペレーティング・システム・プロセスID 3475で開始しています
2022-09-18 20:40:30.715 [OHASD(3475)]CRS-0714: Oracle Clusterwareリリース12.1.0.2.0。
2022-09-18 20:40:30.727 [OHASD(3475)]CRS-2112: OLRサービスがノードnode1で起動されました。
2022-09-18 20:40:30.751 [OHASD(3475)]CRS-1301: Oracle高可用性サービスがノードnode1で起動されました。
2022-09-18 20:40:30.752 [OHASD(3475)]CRS-8011: ホストからの再起動アドバイザ・メッセージ: node1、コンポーネント: cssmonit、タイム・スタンプ: L-2022-09-16-12:20:59.691
2022-09-18 20:40:30.752 [OHASD(3475)]CRS-8013: 再起動アドバイザ・メッセージ・テキスト: Rebooting HUB node after limit 28290 exceeded; disk timeout 28290, network timeout 0, last heartbeat from CSSD at epoch seconds 1663298431.354, 28340 milliseconds ago based on invariant clock value of 5431824
2022-09-18 20:40:30.753 [OHASD(3475)]CRS-8017: 場所: /etc/oracle/lastgaspに2件の再起動アドバイザ・ログ・ファイルがあります(1が通知され、0件のエラーが発生しました)
2022-09-18 20:40:30.989 [CSSDAGENT(3769)]CRS-8500: Oracle Clusterware CSSDAGENTプロセスをオペレーティング・システム・プロセスID 3769で開始しています
2022-09-18 20:40:30.989 [CSSDMONITOR(3771)]CRS-8500: Oracle Clusterware CSSDMONITORプロセスをオペレーティング・システム・プロセスID 3771で開始しています
2022-09-18 20:40:31.017 [ORAROOTAGENT(3762)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 3762で開始しています
2022-09-18 20:40:31.019 [ORAAGENT(3766)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 3766で開始しています
2022-09-18 20:40:31.127 [ORAAGENT(3766)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-18 20:40:31.374 [ORAAGENT(3826)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 3826で開始しています
2022-09-18 20:40:31.421 [MDNSD(3839)]CRS-8500: Oracle Clusterware MDNSDプロセスをオペレーティング・システム・プロセスID 3839で開始しています
2022-09-18 20:40:31.430 [EVMD(3841)]CRS-8500: Oracle Clusterware EVMDプロセスをオペレーティング・システム・プロセスID 3841で開始しています
2022-09-18 20:40:32.462 [GPNPD(3856)]CRS-8500: Oracle Clusterware GPNPDプロセスをオペレーティング・システム・プロセスID 3856で開始しています
2022-09-18 20:40:33.492 [GIPCD(3875)]CRS-8500: Oracle Clusterware GIPCDプロセスをオペレーティング・システム・プロセスID 3875で開始しています
2022-09-18 20:40:33.504 [GPNPD(3856)]CRS-2328: GPNPDがノードnode1で起動されました。
2022-09-18 20:40:34.539 [ORAROOTAGENT(3896)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 3896で開始しています
2022-09-18 20:40:34.662 [CLSECHO(3919)]CRS-10001: 18-Sep-22 20:40 ACFS-9391: 既存のADVM/ACFSインストールをチェックしています。
2022-09-18 20:40:34.796 [CLSECHO(3924)]CRS-10001: 18-Sep-22 20:40 ACFS-9392: オペレーティング・システム用のADVM/ACFSインストール・ファイルを検証しています。
2022-09-18 20:40:34.809 [CLSECHO(3926)]CRS-10001: 18-Sep-22 20:40 ACFS-9393: ASM管理者の設定を確認しています。
2022-09-18 20:40:34.841 [CLSECHO(3931)]CRS-10001: 18-Sep-22 20:40 ACFS-9308: インストールしたADVM/ACFSドライバをロードしています。
2022-09-18 20:40:34.856 [CLSECHO(3934)]CRS-10001: 18-Sep-22 20:40 ACFS-9154: 'oracleoks.ko'ドライバをロードしています。
2022-09-18 20:40:34.934 [CLSECHO(3949)]CRS-10001: 18-Sep-22 20:40 ACFS-9154: 'oracleadvm.ko'ドライバをロードしています。
2022-09-18 20:40:35.008 [CLSECHO(3972)]CRS-10001: 18-Sep-22 20:40 ACFS-9154: 'oracleacfs.ko'ドライバをロードしています。
2022-09-18 20:40:35.107 [CLSECHO(4047)]CRS-10001: 18-Sep-22 20:40 ACFS-9327: ADVM/ACFSデバイスを検証しています。
2022-09-18 20:40:35.119 [CLSECHO(4049)]CRS-10001: 18-Sep-22 20:40 ACFS-9156: コントロール・デバイス'/dev/asm/.asm_ctl_spec'を検出しています。
2022-09-18 20:40:35.133 [CLSECHO(4053)]CRS-10001: 18-Sep-22 20:40 ACFS-9156: コントロール・デバイス'/dev/ofsctl'を検出しています。
2022-09-18 20:40:35.159 [CLSECHO(4058)]CRS-10001: 18-Sep-22 20:40 ACFS-9322: 完了
2022-09-18 20:40:42.988 [CSSDMONITOR(4081)]CRS-8500: Oracle Clusterware CSSDMONITORプロセスをオペレーティング・システム・プロセスID 4081で開始しています
2022-09-18 20:40:43.131 [CSSDAGENT(4097)]CRS-8500: Oracle Clusterware CSSDAGENTプロセスをオペレーティング・システム・プロセスID 4097で開始しています
2022-09-18 20:40:43.277 [OCSSD(4108)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 4108で開始しています
2022-09-18 20:40:44.333 [OCSSD(4108)]CRS-1713: CSSDデーモンがhubモードで起動しています
2022-09-18 20:41:00.119 [OCSSD(4108)]CRS-1707: ノードnode1、番号1のリース取得が完了しました
2022-09-18 20:41:01.192 [OCSSD(4108)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdd1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-18 20:41:01.195 [OCSSD(4108)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdc1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-18 20:41:01.198 [OCSSD(4108)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdb1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-18 20:41:02.331 [OCSSD(4108)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode1 node2 node3 です。
2022-09-18 20:41:04.328 [OCTSSD(4338)]CRS-8500: Oracle Clusterware OCTSSDプロセスをオペレーティング・システム・プロセスID 4338で開始しています
2022-09-18 20:41:05.438 [OCTSSD(4338)]CRS-2407: 新しいクラスタ時刻同期化サービスの参照ノードはホストnode2です。
2022-09-18 20:41:05.438 [OCTSSD(4338)]CRS-2401: クラスタ時刻同期化サービスがホストnode1で起動されました。
2022-09-18 20:41:06.055 [OCTSSD(4338)]CRS-2408: ホストnode1の時計は、平均クラスタ時刻と同期化するために、クラスタ時刻同期化サービスによって更新されました。
2022-09-18 20:41:14.422 [ORAAGENT(3826)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-18 20:41:15.641 [ORAAGENT(3826)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-18 20:41:15.658 [ORAAGENT(3826)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-18 20:41:30.225 [OSYSMOND(4568)]CRS-8500: Oracle Clusterware OSYSMONDプロセスをオペレーティング・システム・プロセスID 4568で開始しています
2022-09-18 20:41:31.302 [CRSD(4575)]CRS-8500: Oracle Clusterware CRSDプロセスをオペレーティング・システム・プロセスID 4575で開始しています
2022-09-18 20:41:32.595 [CRSD(4575)]CRS-1012: OCRサービスがノードnode1で起動されました。
2022-09-18 20:41:32.694 [CRSD(4575)]CRS-1201: CRSDがノードnode1で起動されました。
2022-09-18 20:41:32.933 [ORAAGENT(4708)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 4708で開始しています
2022-09-18 20:41:32.974 [ORAAGENT(4713)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 4713で開始しています
2022-09-18 20:41:32.981 [ORAROOTAGENT(4724)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 4724で開始しています
2022-09-18 20:41:33.052 [ORAAGENT(4713)]CRS-5011: リソース"orcl"のチェックが失敗しました: 詳細は"(:CLSN00007:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_oracle.trc")を参照してください
2022-09-18 20:41:46.829 [ORAAGENT(4882)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 4882で開始しています
2022-09-18 20:41:47.926 [ORAAGENT(4898)]CRS-8500: Oracle Clusterware ORAAGENTプロセスをオペレーティング・システム・プロセスID 4898で開始しています
2022-09-18 20:41:48.017 [ORAAGENT(4898)]CRS-5011: リソース"orcl"のチェックが失敗しました: 詳細は"(:CLSN00007:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_oracle.trc")を参照してください

# ノード2
2022-09-18 20:40:17.632 [OCSSD(4027)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.250秒内に削除します
2022-09-18 20:40:24.640 [OCSSD(4027)]CRS-1611: タイムアウト間隔の75%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを7.240秒内に削除します
2022-09-18 20:40:29.647 [OCSSD(4027)]CRS-1610: タイムアウト間隔の90%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを2.230秒内に削除します
2022-09-18 20:40:31.884 [OCSSD(4027)]CRS-1632: ノードnode1がクラスタインカーネーション558998463のクラスタから削除されています
2022-09-18 20:40:32.359 [OCSSD(4027)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-18 20:40:32.381 [OCTSSD(4244)]CRS-2407: 新しいクラスタ時刻同期化サービスの参照ノードはホストnode2です。
2022-09-18 20:40:34.646 [CRSD(4510)]CRS-5504: ノード'node1'について、ノード・ダウン・イベントが報告されました。
2022-09-18 20:40:34.998 [CRSCTL(13462)]CRS-4743: ファイル/u01/app/12.1.0/grid/oc4j/j2ee/home/OC4J_DBWLM_config/system-jazn-data.xmlOCR(サイズ: 13365(新)、13378(旧)バイト)から更新されました
2022-09-18 20:40:56.953 [CRSD(4510)]CRS-2773: サーバー'node1'はプール'Generic'から削除されました。
2022-09-18 20:40:56.954 [CRSD(4510)]CRS-2773: サーバー'node1'はプール'ora.orcl'から削除されました。
2022-09-18 20:41:02.934 [OCSSD(4027)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode1 node2 node3 です。
2022-09-18 20:41:34.817 [CRSD(4510)]CRS-2772: サーバー'node1'はプール'Generic'に割り当てられています。
2022-09-18 20:41:34.817 [CRSD(4510)]CRS-2772: サーバー'node1'はプール'ora.orcl'に割り当てられています。

# ノード3
2022-09-18 20:40:17.329 [OCSSD(3851)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.550秒内に削除します
2022-09-18 20:40:25.335 [OCSSD(3851)]CRS-1611: タイムアウト間隔の75%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを6.550秒内に削除します
2022-09-18 20:40:29.337 [OCSSD(3851)]CRS-1610: タイムアウト間隔の90%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを2.550秒内に削除します
2022-09-18 20:40:32.360 [OCSSD(3851)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-18 20:40:32.379 [OCTSSD(4066)]CRS-2407: 新しいクラスタ時刻同期化サービスの参照ノードはホストnode2です。
2022-09-18 20:41:02.926 [OCSSD(3851)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode1 node2 node3 です。

●各ノードのASMアラートログ
# ノード1
Sun Sep 18 20:41:25 2022
MEMORY_TARGET defaulting to 1128267776.
* instance_number obtained from CSS = 1, checking for the existence of node 0... 
* node 0 does not exist. instance_number = 1 
Starting ORACLE instance (normal) (OS id: 4382)
Sun Sep 18 20:41:25 2022
CLI notifier numLatches:7 maxDescs:620
Sun Sep 18 20:41:25 2022
**********************************************************************
Sun Sep 18 20:41:25 2022
(中略)
Sun Sep 18 20:41:32 2022
NOTE: Standard client +ASM1:+ASM:node-cluster registered, osid 4659, mbr 0x0, asmb 4657 (reg:3294390061)
Sun Sep 18 20:41:32 2022
NOTE: ASMB connected to ASM instance +ASM1 osid: 4659 (Flex mode; client id 0xffffffffffffffff)
Sun Sep 18 20:41:51 2022
NOTE: Standard client orcl1:orcl:node-cluster registered, osid 5009, mbr 0x1, asmb 5003 (reg:1996464035)
NOTE: client orcl1:orcl:node-cluster mounted group 3 (FRA)
NOTE: client orcl1:orcl:node-cluster mounted group 2 (DATA)
Sun Sep 18 20:44:33 2022
ALTER SYSTEM SET local_listener=' (ADDRESS=(PROTOCOL=TCP)(HOST=192.168.56.111)(PORT=1521))' SCOPE=MEMORY SID='+ASM1';

# ノード2
Sun Sep 18 20:40:33 2022
Reconfiguration started (old inc 6, new inc 8)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
(中略)
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Sun Sep 18 20:41:27 2022
Reconfiguration complete (total time 0.3 secs) 

# ノード3
Sun Sep 18 20:40:33 2022
Reconfiguration started (old inc 6, new inc 8)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
(中略)
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Sun Sep 18 20:41:27 2022
Reconfiguration complete (total time 0.3 secs) 

●各ノードのDBアラートログ
# ノード1
Sun Sep 18 20:40:02 2022
Error 29701: unexpected return code 6 from the Cluster Synchronization Service.
Sun Sep 18 20:40:02 2022
Restarting dead background process LMHB
Starting background process LMHB
Sun Sep 18 20:41:49 2022
Starting ORACLE instance (normal) (OS id: 4916)
Sun Sep 18 20:41:49 2022
CLI notifier numLatches:7 maxDescs:519
Sun Sep 18 20:41:49 2022
(中略)
Sun Sep 18 20:42:14 2022
Shared IO Pool defaulting to 48MB. Trying to get it from Buffer Cache for process 5212.
Sun Sep 18 20:42:16 2022
===========================================================
Dumping current patch information
===========================================================
No patches have been applied
===========================================================
Sun Sep 18 20:42:16 2022
Network Resource Management enabled for Process LG01 (pid 4993) for Exadata I/O

# ノード2
Sun Sep 18 20:37:22 2022
Network Resource Management enabled for Process LG01 (pid 5041) for Exadata I/O
Sun Sep 18 20:40:32 2022
Reconfiguration started (old inc 6, new inc 8)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
(中略)
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Sun Sep 18 20:41:52 2022
Reconfiguration complete (total time 0.2 secs) 
Sun Sep 18 20:41:54 2022
minact-scn: Master returning as live inst:1 has inc# mismatch instinc:0 cur:10 errcnt:0
Sun Sep 18 20:42:05 2022
Setting Resource Manager plan DEFAULT_MAINTENANCE_PLAN via parameter

# ノード3
Sun Sep 18 20:37:22 2022
Network Resource Management enabled for Process LG01 (pid 4806) for Exadata I/O
Sun Sep 18 20:40:32 2022
Reconfiguration started (old inc 6, new inc 8)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
(中略)
 Set master node info 
 Submitted all remote-enqueue requests
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Sun Sep 18 20:41:52 2022
Reconfiguration complete (total time 0.2 secs) 
Sun Sep 18 20:42:05 2022
Setting Resource Manager plan DEFAULT_MAINTENANCE_PLAN via parameter

CSS障害(ocssd.binプロセス停止)が発生した場合、ノードが自動的に再起動され、DBからアプリデータをSELECTできることを確認できました。
またまたボリュームが多すぎてCSS障害(cssdagent,ocssd.bin,cssdmonitorプロセス停止)の検証結果まで書けなかったため、次回はCSS障害(cssdagent,ocssd.bin,cssdmonitorプロセス停止)の検証結果について書こうと思います。

ノードのインターコネクト障害検証

ノードのインターコネクト障害が発生した場合のクラスタの動きについて、机上の知識はあるものの、実務経験が無いため、実際の動きを検証してみました。

■検証環境
OS:Oracle Linux 6.5

DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型データベース)構成

■前提

・SCANを使用しています
DNSサーバはdnsmasqを使用しています
・ASMの冗長構成は標準冗長性(2多重)

■設定情報

# クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

# 投票ディスク状態確認

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

# CSSのMISSCOUNT値

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css misscount
CRS-4678: Successful get misscount 30 for Cluster Synchronization Services.

# CSSのDISKTIMEOUT値

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css disktimeout
CRS-4678: Successful get disktimeout 200 for Cluster Synchronization Services.

# CSSのREBOOTTIME値

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css reboottime
CRS-4678: Successful get reboottime 3 for Cluster Synchronization Services.

■検証パターン
①ノード1のインターコネクト障害
②ノード1のCSSD障害

■検証
①ノード1のインターコネクト障害
ノード1でインターコネクト障害が発生した場合のクラスタの動きやDBからアプリデータをSELECTできるか検証します

今回はノード1のインターコネクトNIC(eth1)をdownして疑似的にインターコネクト障害を発生させます

【検証手順】

1. ノード1のインターコネクトNIC(eth1)をdown
2. NICダウン直後の各ノードのクラスタリソースと投票ディスクの状態を確認
3. NICダウンの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
4. NICダウンの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
5. ノード1でDBからアプリデータをSELECT
6. ノード2・3でDBからアプリデータをSELECT

【想定】

スプリット・ブレインが発生し、ノード1はDBへ接続できないが、ノード2・3はDBからアプリデータをSELECTできるはず

【検証結果】

ノード1はDBへ接続できなかったが、ノード2・3はDBからアプリデータをSELECTできた

【参考】
1. ノード1のインターコネクトNIC(eth1)をdown
[root@node1 ~]# #ノード1のインターコネクトNICダウン
[root@node1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 08:00:27:31:B0:CE  
          inet addr:192.168.56.101  Bcast:192.168.56.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe31:b0ce/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:529 errors:0 dropped:0 overruns:0 frame:0
          TX packets:644 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:78483 (76.6 KiB)  TX bytes:125140 (122.2 KiB)
(中略)
eth1      Link encap:Ethernet  HWaddr 08:00:27:8D:C6:2A  

          inet addr:192.168.100.101  Bcast:192.168.100.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe8d:c62a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:46612 errors:0 dropped:0 overruns:0 frame:0
          TX packets:45352 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:23673965 (22.5 MiB)  TX bytes:26179451 (24.9 MiB)

(中略)
[root@node1 ~]# ifconfig eth1 down
[root@node1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 08:00:27:31:B0:CE  
          inet addr:192.168.56.101  Bcast:192.168.56.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe31:b0ce/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:590 errors:0 dropped:0 overruns:0 frame:0
          TX packets:714 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:84003 (82.0 KiB)  TX bytes:134216 (131.0 KiB)
(中略)
eth1      Link encap:Ethernet  HWaddr 08:00:27:8D:C6:2A  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:56252 errors:0 dropped:0 overruns:0 frame:0
          TX packets:56291 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:29716984 (28.3 MiB)  TX bytes:34471007 (32.8 MiB)
(中略)

2. NICダウン直後の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★インターコネクト障害直後(30秒以内)はインスタンス1も稼働しています。
 ただし、この時点でキャッシュフュージョンが機能しないため、スプリット・ブレイン状態になっているはずです。

[root@node2 ~]# #投票ディスク状態確認

[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

3. NICダウンの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
★応答なし

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  INTERMEDIATE node3                    FAILED OVER,STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★ノード1のノードVIPがノード3へフェイルオーバーし、インスタンス1が停止しました
 クラスタリソースもノード2とノード3で稼働するよう再構成されました

[root@node2 ~]# #投票ディスク状態確認

[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

4. NICダウンの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
★応答なし

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  INTERMEDIATE node3                    FAILED OVER,STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

5. ノード1でDBからアプリデータをSELECT
[root@node1 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
アイドル・インスタンスに接続しました。
★DBへ接続できなかった

6. ノード2・3でDBからアプリデータをSELECT
# ノード2
[root@node2 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
SQL> select instance_name,status from v$instance;
INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl2
OPEN

SQL> select * from scott.emp;

     EMPNO ENAME                          JOB                                MGR HIREDATE        SAL       COMM     DEPTNO
---------- ------------------------------ --------------------------- ---------- -------- ---------- ---------- ----------
      7369 SMITH                          CLERK                             7902 80-12-17        800                    20
      7499 ALLEN                          SALESMAN                          7698 81-02-20       1600        300         30
      7521 WARD                           SALESMAN                          7698 81-02-22       1250        500         30
      7566 JONES                          MANAGER                           7839 81-04-02       2975                    20
      7654 MARTIN                         SALESMAN                          7698 81-09-28       1250       1400         30
      7698 BLAKE                          MANAGER                           7839 81-05-01       2850                    30
      7782 CLARK                          MANAGER                           7839 81-06-09       2450                    10
      7839 KING                           PRESIDENT                              81-11-17       5000                    10
      7844 TURNER                         SALESMAN                          7698 81-09-08       1500          0         30
      7900 JAMES                          CLERK                             7698 81-12-03        950                    30
      7902 FORD                           ANALYST                           7566 81-12-03       3000                    20
      7934 MILLER                         CLERK                             7782 82-01-23       1300                    10

12行が選択されました。
★ノード2のインスタンス2へ接続してアプリデータをSELECTできた

# ノード3
[root@node3 ~]# su - oracle -c "sqlplus / as sysdba"
(中略)
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl3
OPEN

SQL> select * from scott.emp;

     EMPNO ENAME                          JOB                                MGR HIREDATE        SAL       COMM     DEPTNO
---------- ------------------------------ --------------------------- ---------- -------- ---------- ---------- ----------
      7369 SMITH                          CLERK                             7902 80-12-17        800                    20
      7499 ALLEN                          SALESMAN                          7698 81-02-20       1600        300         30
      7521 WARD                           SALESMAN                          7698 81-02-22       1250        500         30
      7566 JONES                          MANAGER                           7839 81-04-02       2975                    20
      7654 MARTIN                         SALESMAN                          7698 81-09-28       1250       1400         30
      7698 BLAKE                          MANAGER                           7839 81-05-01       2850                    30
      7782 CLARK                          MANAGER                           7839 81-06-09       2450                    10
      7839 KING                           PRESIDENT                              81-11-17       5000                    10
      7844 TURNER                         SALESMAN                          7698 81-09-08       1500          0         30
      7900 JAMES                          CLERK                             7698 81-12-03        950                    30
      7902 FORD                           ANALYST                           7566 81-12-03       3000                    20
      7934 MILLER                         CLERK                             7782 82-01-23       1300                    10

12行が選択されました。
★ノード3のインスタンス3へ接続してアプリデータをSELECTできた

●各ノードのクラスタアラートログ
# ノード1
2022-09-16 12:30:16.137 [OCSSD(4103)]CRS-1612: タイムアウト間隔の50%で、ノードnode2(2)のネットワーク通信がありません。クラスタからこのノードを14.710秒内に削除します
2022-09-16 12:30:16.137 [OCSSD(4103)]CRS-1612: タイムアウト間隔の50%で、ノードnode3(3)のネットワーク通信がありません。クラスタからこのノードを14.610秒内に削除します
2022-09-16 12:30:24.147 [OCSSD(4103)]CRS-1611: タイムアウト間隔の75%で、ノードnode2(2)のネットワーク通信がありません。クラスタからこのノードを6.700秒内に削除します
2022-09-16 12:30:24.147 [OCSSD(4103)]CRS-1611: タイムアウト間隔の75%で、ノードnode3(3)のネットワーク通信がありません。クラスタからこのノードを6.600秒内に削除します
2022-09-16 12:30:28.156 [OCSSD(4103)]CRS-1610: タイムアウト間隔の90%で、ノードnode2(2)のネットワーク通信がありません。クラスタからこのノードを2.690秒内に削除します
2022-09-16 12:30:28.156 [OCSSD(4103)]CRS-1610: タイムアウト間隔の90%で、ノードnode3(3)のネットワーク通信がありません。クラスタからこのノードを2.590秒内に削除します
2022-09-16 12:30:30.850 [OCSSD(4103)]CRS-1609: このノードはクラスタ内の他のノードとは通信できず、クラスタ整合性を保つため停止します。詳細は(:CSSNM00008:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:30.850 [OCSSD(4103)]CRS-1656: 致命的なエラーのためCSSデーモンを停止中です。詳細は(:CSSSC00012:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください
2022-09-16 12:30:30.903 [OCSSD(4103)]CRS-1652: CRSDリソースのクリーンアップを開始しています。
2022-09-16 12:30:31.149 [ORAAGENT(4727)]CRS-5016: プロセス"/u01/app/12.1.0/grid/opmn/bin/onsctli"(エージェント"ORAAGENT"によりアクション"check"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:31.882 [OCSSD(4103)]CRS-1608: このノードはノード3、node3によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:31.882 [OCSSD(4103)]CRS-1608: このノードはノード3、node3によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:31.882 [OCSSD(4103)]CRS-1608: このノードはノード3、node3によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:32.760 [ORAAGENT(4727)]CRS-5016: プロセス"/u01/app/12.1.0/grid/bin/lsnrctl"(エージェント"ORAAGENT"によりアクション"check"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:32.764 [ORAAGENT(4727)]CRS-5016: プロセス"/u01/app/12.1.0/grid/bin/lsnrctl"(エージェント"ORAAGENT"によりアクション"check"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:32.770 [OCSSD(4103)]CRS-1654: CRSDリソースのクリーンアップが正常に完了しました。
2022-09-16 12:30:32.771 [OCSSD(4103)]CRS-1655: ノードnode1のCSSDで問題を検出し、停止を開始しました。
2022-09-16 12:30:32.815 [ORAROOTAGENT(4743)]CRS-5822: エージェント'/u01/app/12.1.0/grid/bin/orarootagent_root'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:5:4}(/u01/app/grid/diag/crs/node1/crs/trace/crsd_orarootagent_root.trc)を参照してください。
2022-09-16 12:30:32.854 [CRSD(9145)]CRS-8500: Oracle Clusterware CRSDプロセスをオペレーティング・システム・プロセスID 9145で開始しています
Fri Sep 16 12:30:33 2022
Errors in file /u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc  (incident=41):
CRS-8503
Incident details in: /u01/app/grid/diag/crs/node1/crs/incident/incdir_41/ocssd_i41.trc

2022-09-16 12:30:33.308 [OCSSD(4103)]CRS-8503: Oracle Clusterware OCSSDプロセス(オペレーティング・システム・プロセスID 4103)で致命的な信号または例外コード6が発生しました
Sweep [inc][41]: completed
2022-09-16 12:30:33.509 [CSSDMONITOR(9168)]CRS-8500: Oracle Clusterware CSSDMONITORプロセスをオペレーティング・システム・プロセスID 9168で開始しています
2022-09-16 12:30:33.722 [OCTSSD(9185)]CRS-8500: Oracle Clusterware OCTSSDプロセスをオペレーティング・システム・プロセスID 9185で開始しています
2022-09-16 12:30:33.831 [CRSD(9145)]CRS-0806: Cluster Ready Serviceはローカル・ノード名の取得に失敗したため中断されました。詳細は(:CRSD00110:)(/u01/app/grid/diag/crs/node1/crs/trace/crsd.trc)を参照してください。
2022-09-16 12:30:34.521 [CSSDAGENT(9195)]CRS-8500: Oracle Clusterware CSSDAGENTプロセスをオペレーティング・システム・プロセスID 9195で開始しています
2022-09-16 12:30:34.673 [OCSSD(9214)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 9214で開始しています
2022-09-16 12:30:34.717 [OCTSSD(9185)]CRS-2402: クラスタ時刻同期化サービスがホストnode1で中断されました。詳細は(:ctss_css_init1:)(/u01/app/grid/diag/crs/node1/crs/trace/octssd.trc)を参照してください。
2022-09-16 12:30:35.721 [OHASD(3474)]CRS-2878: リソース'ora.ctssd'の再起動に失敗しました
2022-09-16 12:30:35.723 [OCSSD(9214)]CRS-1713: CSSDデーモンがhubモードで起動しています
2022-09-16 12:30:35.736 [EVMD(9219)]CRS-8500: Oracle Clusterware EVMDプロセスをオペレーティング・システム・プロセスID 9219で開始しています
2022-09-16 12:30:37.022 [ORAAGENT(3825)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:37.032 [ORAAGENT(3825)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:51.574 [OCSSD(9214)]CRS-1707: ノードnode1、番号1のリース取得が完了しました
2022-09-16 12:30:52.656 [OCSSD(9214)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdb1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-16 12:30:52.660 [OCSSD(9214)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdd1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-16 12:30:52.664 [OCSSD(9214)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdc1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-16 12:31:33.431 [ORAROOTAGENT(3895)]CRS-5818: コマンド'check'を中断しました(リソース'ora.storage'に対して)。詳細は(:CRSAGF00113:) {0:13:20}(/u01/app/grid/diag/crs/node1/crs/trace/ohasd_orarootagent_root.trc)を参照してください。
2022-09-16 12:32:33.557 [ORAROOTAGENT(10381)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 10381で開始しています
2022-09-16 12:33:33.584 [ORAROOTAGENT(10381)]CRS-5818: コマンド'check'を中断しました(リソース'ora.storage'に対して)。詳細は(:CRSAGF00113:) {0:21:2}(/u01/app/grid/diag/crs/node1/crs/trace/ohasd_orarootagent_root.trc)を参照してください。
2022-09-16 12:34:33.667 [ORAROOTAGENT(10916)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 10916で開始しています
2022-09-16 12:35:33.699 [ORAROOTAGENT(10916)]CRS-5818: コマンド'check'を中断しました(リソース'ora.storage'に対して)。詳細は(:CRSAGF00113:) {0:23:2}(/u01/app/grid/diag/crs/node1/crs/trace/ohasd_orarootagent_root.trc)を参照してください。

# ノード2
2022-09-16 12:30:16.758 [OCSSD(2893)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.490秒内に削除します
2022-09-16 12:30:23.764 [OCSSD(2893)]CRS-1611: タイムアウト間隔の75%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを7.480秒内に削除します
2022-09-16 12:30:28.768 [OCSSD(2893)]CRS-1610: タイムアウト間隔の90%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを2.480秒内に削除します
2022-09-16 12:30:33.270 [OCSSD(2893)]CRS-1625: ノードnode1、番号1が停止されました
2022-09-16 12:30:33.279 [OCSSD(2893)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-16 12:30:33.287 [CRSD(3502)]CRS-5504: ノード'node1'について、ノード・ダウン・イベントが報告されました。
2022-09-16 12:30:40.212 [CRSD(3502)]CRS-2773: サーバー'node1'はプール'Generic'から削除されました。
2022-09-16 12:30:40.213 [CRSD(3502)]CRS-2773: サーバー'node1'はプール'ora.orcl'から削除されました。
2022-09-16 12:31:16.554 [OCSSD(2893)]CRS-1625: ノードnode1、番号1が停止されました

# ノード3
2022-09-16 12:30:16.771 [OCSSD(1118)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.470秒内に削除します
2022-09-16 12:30:23.782 [OCSSD(1118)]CRS-1611: タイムアウト間隔の75%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを7.460秒内に削除します
2022-09-16 12:30:28.786 [OCSSD(1118)]CRS-1610: タイムアウト間隔の90%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを2.460秒内に削除します
2022-09-16 12:30:31.250 [OCSSD(1118)]CRS-1607: ノードnode1はクラスタインカーネーション558794361によって削除されました。詳細は(:CSSNM00007:)(/u01/app/grid/diag/crs/node3/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:33.270 [OCSSD(1118)]CRS-1625: ノードnode1、番号1が停止されました
2022-09-16 12:30:33.279 [OCSSD(1118)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-16 12:30:41.318 [OCSSD(1118)]CRS-1625: ノードnode1、番号1が停止されました

●各ノードのASMアラートログ
# ノード1
Fri Sep 16 12:30:32 2022
NOTE: ASMB process exiting, either shutdown is in progress or foreground connected to ASMB was killed.
NOTE: ASMB clearing idle groups before exit
Fri Sep 16 12:30:34 2022
SKGXP: ospid 4421: network interface with IP address 169.254.243.236 no longer running (check cable)
SKGXP: ospid 4421: network interface with IP address 169.254.243.236 is DOWN
Fri Sep 16 12:30:36 2022
Instance Critical Process (pid: 7, ospid: 4470, LCK0) died unexpectedly
PMON (ospid: 4399): terminating the instance due to error 480
Fri Sep 16 12:30:36 2022
Instance terminated by PMON, pid = 4399

# ノード2

Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 14, new inc 16)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
* dead instance detected - domain 3 invalid = TRUE 
 Communication channels reestablished
 Begin lmon rcfg omni enqueue reconfig stage1
 End lmon rcfg omni enqueue reconfig stage1
 Master broadcasted resource hash value bitmaps
 Begin lmon rcfg omni enqueue reconfig stage2
 End lmon rcfg omni enqueue reconfig stage2
 Non-local Process blocks cleaned out
 LMS 0: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Begin lmon rcfg omni enqueue reconfig stage3
 End lmon rcfg omni enqueue reconfig stage3
 Submitted all remote-enqueue requests
 Begin lmon rcfg omni enqueue reconfig stage4
 End lmon rcfg omni enqueue reconfig stage4
 Dwn-cvts replayed, VALBLKs dubious
 Begin lmon rcfg omni enqueue reconfig stage5
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
Fri Sep 16 12:30:33 2022
 Post SMON to start 1st pass IR
Fri Sep 16 12:30:33 2022
NOTE: SMON detected lock domain 1 invalid at system inc 14 09/16/22 12:30:33
Fri Sep 16 12:30:33 2022
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Fri Sep 16 12:30:33 2022
NOTE: SMON starting instance recovery of group CRS domain 1 inc 16 (mounted) at 09/16/22 12:30:33
NOTE: 09/16/22 12:30:33 CRS.F1X0 found on disk 0 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 CRS.F1X0 found on disk 1 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 CRS.F1X0 found on disk 2 au 10 fcn 0.0 datfmt 1
Fri Sep 16 12:30:33 2022
Reconfiguration complete (total time 0.2 secs) 
Fri Sep 16 12:30:33 2022
NOTE: instance recovery of group CRS will recover thread=1 ckpt=21.1025 domain=1 inc#=14 instnum=1
NOTE: SMON waiting for thread 1 recovery enqueue
NOTE: SMON about to begin recovery lock claims for diskgroup 1 (CRS)
* validated domain 1, flags = 0x20
Fri Sep 16 12:30:33 2022
NOTE: SMON successfully validated lock domain 1 inc 16 (CRS)
NOTE: advancing ckpt for group 1 (CRS) thread=1 ckpt=21.1025 domain inc# 16
Fri Sep 16 12:30:34 2022
NOTE: SMON did instance recovery for group CRS domain 1
NOTE: SMON detected lock domain 2 invalid at system inc 16 09/16/22 12:30:33
Fri Sep 16 12:30:34 2022

* instance 3 validates domain 2 
Fri Sep 16 12:30:34 2022
NOTE: SMON detected lock domain 3 invalid at system inc 16 09/16/22 12:30:33
NOTE: SMON starting instance recovery of group FRA domain 3 inc 16 (mounted) at 09/16/22 12:30:33
NOTE: 09/16/22 12:30:33 FRA.F1X0 found on disk 0 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 FRA.F1X0 found on disk 1 au 10 fcn 0.0 datfmt 1
NOTE: instance recovery of group FRA will recover thread=1 ckpt=20.1069 domain=3 inc#=14 instnum=1
NOTE: SMON waiting for thread 1 recovery enqueue
NOTE: SMON about to begin recovery lock claims for diskgroup 3 (FRA)
* validated domain 3, flags = 0x20
Fri Sep 16 12:30:34 2022
NOTE: SMON successfully validated lock domain 3 inc 16 (FRA)
NOTE: advancing ckpt for group 3 (FRA) thread=1 ckpt=20.1069 domain inc# 16
Fri Sep 16 12:30:34 2022
NOTE: SMON did instance recovery for group FRA domain 3

# ノード3

Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 14, new inc 16)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
* dead instance detected - domain 3 invalid = TRUE 
 Communication channels reestablished
 Begin lmon rcfg omni enqueue reconfig stage1
 End lmon rcfg omni enqueue reconfig stage1
Fri Sep 16 12:30:33 2022
 * domain 0 valid = 1 according to instance 2 
 * domain 1 valid = 0 according to instance 2 
 * domain 2 valid = 0 according to instance 2 
 * domain 3 valid = 0 according to instance 2 
Fri Sep 16 12:30:33 2022
 Master broadcasted resource hash value bitmaps
 Begin lmon rcfg omni enqueue reconfig stage2
 End lmon rcfg omni enqueue reconfig stage2
 Non-local Process blocks cleaned out
 LMS 0: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Begin lmon rcfg omni enqueue reconfig stage3
 End lmon rcfg omni enqueue reconfig stage3
 Submitted all remote-enqueue requests
 Begin lmon rcfg omni enqueue reconfig stage4
 End lmon rcfg omni enqueue reconfig stage4
 Dwn-cvts replayed, VALBLKs dubious
 Begin lmon rcfg omni enqueue reconfig stage5
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
Fri Sep 16 12:30:33 2022
 Post SMON to start 1st pass IR
Fri Sep 16 12:30:33 2022
NOTE: SMON detected lock domain 1 invalid at system inc 14 09/16/22 12:30:33
Fri Sep 16 12:30:33 2022
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Fri Sep 16 12:30:33 2022
Reconfiguration complete (total time 0.1 secs) 
Fri Sep 16 12:30:33 2022
NOTE: SMON detected lock domain 2 invalid at system inc 16 09/16/22 12:30:33
NOTE: SMON starting instance recovery of group DATA domain 2 inc 16 (mounted) at 09/16/22 12:30:33
NOTE: 09/16/22 12:30:33 DATA.F1X0 found on disk 0 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 DATA.F1X0 found on disk 3 au 10 fcn 0.0 datfmt 1
NOTE: instance recovery of group DATA will recover thread=1 ckpt=20.1206 domain=2 inc#=14 instnum=1
NOTE: SMON waiting for thread 1 recovery enqueue
NOTE: SMON about to begin recovery lock claims for diskgroup 2 (DATA)
Fri Sep 16 12:30:33 2022

* instance 2 validates domain 1 
Fri Sep 16 12:30:33 2022
* validated domain 2, flags = 0x20
Fri Sep 16 12:30:34 2022
NOTE: SMON successfully validated lock domain 2 inc 16 (DATA)
NOTE: advancing ckpt for group 2 (DATA) thread=1 ckpt=20.1206 domain inc# 16
Fri Sep 16 12:30:34 2022
NOTE: SMON did instance recovery for group DATA domain 2
NOTE: SMON detected lock domain 3 invalid at system inc 16 09/16/22 12:30:33
Fri Sep 16 12:30:34 2022

* instance 2 validates domain 3 

●各ノードのDBアラートログ
# ノード1
Fri Sep 16 12:30:32 2022
NOTE: ASMB terminating
Fri Sep 16 12:30:32 2022
Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_asmb_4990.trc:
ORA-15064: ASM?????????????????
ORA-03113: ???????end-of-file????????
????ID: 
?????ID: 150???????: 52510
Fri Sep 16 12:30:32 2022
Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_asmb_4990.trc:
ORA-15064: ASM?????????????????
ORA-03113: ???????end-of-file????????
????ID: 
?????ID: 150???????: 52510
USER (ospid: 4990): terminating the instance due to error 15064
Fri Sep 16 12:30:33 2022
Instance terminated by USER, pid = 4990

# ノード2

Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 13, new inc 15)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
 Global Resource Directory frozen
 * dead instance detected - domain 0 invalid = TRUE 
 Communication channels reestablished
 Master broadcasted resource hash value bitmaps
 Non-local Process blocks cleaned out
 LMS 1: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 LMS 0: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Submitted all remote-enqueue requests
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
Fri Sep 16 12:30:34 2022
minact-scn: master found reconf/inst-rec before recscn scan old-inc#:13 new-inc#:13
Fri Sep 16 12:30:34 2022
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Fri Sep 16 12:30:34 2022
Reconfiguration complete (total time 0.2 secs) 
Fri Sep 16 12:30:34 2022

* instance 3 validates domain 0 
Fri Sep 16 12:30:35 2022
Thread 2 advanced to log sequence 47 (LGWR switch)
  Current log# 3 seq# 47 mem# 0: +FRA/ORCL/ONLINELOG/redo03.log
Fri Sep 16 12:30:36 2022
Archived Log entry 132 added for thread 2 sequence 46 ID 0x61e4d14e dest 1:
Fri Sep 16 12:30:37 2022
minact-scn: master continuing after IR
minact-scn: Master considers inst:1 dead

# ノード3
Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 13, new inc 15)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
 Global Resource Directory frozen
 * dead instance detected - domain 0 invalid = TRUE 
 Communication channels reestablished
Fri Sep 16 12:30:34 2022
 * domain 0 valid = 0 according to instance 2 
Fri Sep 16 12:30:34 2022
 Master broadcasted resource hash value bitmaps
 Non-local Process blocks cleaned out
 LMS 1: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 LMS 0: 1 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Submitted all remote-enqueue requests
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
Fri Sep 16 12:30:34 2022
 Post SMON to start 1st pass IR
Fri Sep 16 12:30:34 2022
Instance recovery: looking for dead threads
Fri Sep 16 12:30:34 2022
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Fri Sep 16 12:30:34 2022
Beginning instance recovery of 1 threads
 parallel recovery started with 3 processes
Fri Sep 16 12:30:34 2022
Started redo scan
Fri Sep 16 12:30:34 2022
Reconfiguration complete (total time 0.2 secs) 
Fri Sep 16 12:30:34 2022
Completed redo scan
 read 6 KB redo, 4 data blocks need recovery
* validated domain 0, flags = 0x0
Fri Sep 16 12:30:34 2022
Started redo application at
 Thread 1: logseq 72, block 1796
Fri Sep 16 12:30:34 2022
Recovery of Online Redo Log: Thread 1 Group 2 Seq 72 Reading mem 0
  Mem# 0: +FRA/ORCL/ONLINELOG/redo02.log
Fri Sep 16 12:30:34 2022
Completed redo application of 0.00MB
Fri Sep 16 12:30:34 2022
Completed instance recovery at
 Thread 1: logseq 72, block 1809, scn 5762519
 3 data blocks read, 4 data blocks written, 6 redo k-bytes read
Fri Sep 16 12:30:34 2022
Thread 1 advanced to log sequence 73 (thread recovery)
Fri Sep 16 12:30:34 2022
Redo thread 1 internally disabled at seq 73 (SMON)
Fri Sep 16 12:30:34 2022
Archived Log entry 130 added for thread 1 sequence 72 ID 0x61e4d14e dest 1:
Fri Sep 16 12:30:35 2022
ARC3: Archiving disabled thread 1 sequence 73
Fri Sep 16 12:30:35 2022
Archived Log entry 131 added for thread 1 sequence 73 ID 0x61e4d14e dest 1:
Fri Sep 16 12:30:36 2022
Thread 3 advanced to log sequence 24 (LGWR switch)
  Current log# 6 seq# 24 mem# 0: +FRA/ORCL/ONLINELOG/redo06.log
Fri Sep 16 12:30:36 2022
Archived Log entry 133 added for thread 3 sequence 23 ID 0x61e4d14e dest 1:

インターコネクト障害が発生した場合、スプリット・ブレイン状態になりますが、残存ノードでDBからアプリデータをSELECTできることを確認できました。
なお、このあとノード1のインターコネクトNICを復旧してノード1でDBからアプリデータをSELECTできることも確認できました。
ボリュームが多すぎてCSSD障害の検証結果まで書けなかったため、次回はCSSD障害の検証結果について書こうと思います。

RACのノード追加・削除検証

RACのノード追加・削除について、机上の知識はあるものの、実務経験が無いため、実際の動きを検証してみました。

■検証環境
OS:Oracle Linux 6.5
DB/GI:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※2ノードRAC(管理者管理型データベース)構成

■前提
・SCANを使用しています
DNSサーバはdnsmasqを使用しています

■設定情報
# クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node2                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

■検証パターン
①ノード3を追加
②ノード3を削除

■検証
①ノード3を追加
2ノードRAC構成にノード3を追加して、3ノードRAC構成にできるか検証します

【検証手順】
1. 追加対象ノード(ノード3)を準備
2. DNSサーバ、ノード1、ノード2のhosts情報修正
3. SSH接続設定
4. CVUでノード3のハードウェア、ネットワークなど要件チェック
5. CVUでノード3の互換性チェック
6. CVUでノード3へGIホーム追加前の事前チェック
7. addnode.shスクリプトでノード3にGIホーム追加
8. CVUでノード3へGIホーム追加後の事後チェック
9. CVUでノード3へRACホーム追加前の事前チェック
10. addnode.shスクリプトでノード3にRACホーム追加
11. DBCAでクラスタデータベース追加

【想定】
3ノードRAC構成で稼働するはず

【検証結果】
3ノードRAC構成で稼働できた

【参考】
1. 追加対象ノード(ノード3)を準備
ネットワーク、OSユーザー、カーネルパラメータなどGIホーム・RACホーム追加前までの必要な情報を設定する

2. DNSサーバ、ノード1、ノード2のhosts情報修正
各サーバの/etc/hostsにノード3のパブリックIP・パブリックVIPを追加する

3. SSH接続設定
3ノード間でパスワードレスでSSH接続できるように接続設定する
※今回はノード1のauthorized_keysをノード3へ転送し、ノード3で生成した秘密鍵・公開鍵ペアの公開鍵をauthorized_keysに追記後、ノード1・2へそれぞれ転送します。3ノード間で共通のauthorized_keysを使用できるようにします

4. CVUでノード3のハードウェア、ネットワークなど要件チェック
[grid@node1 ~]$ cluvfy stage -post hwos -n node3

ハードウェアとオペレーティング・システム設定の事後チェックを実行しています 

ノード到達可能性をチェック中...
ノード"node1"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...
ユーザー"grid"のユーザー等価チェックに合格しました

(中略)

ノード"node3"で共有記憶域チェックが失敗しました

名前サービス・スイッチ構成ファイル"/etc/nsswitch.conf"の整合性をチェック中...
名前サービス・スイッチ構成ファイル"/etc/nsswitch.conf"の整合性のチェックに合格しました


ハードウェアとオペレーティング・システム設定の事後チェックはすべてのノードで失敗しました。 
★失敗で終了していますが、いったんこのまま進めます
 原因は後日調査してみようと思います(CVUQDISK関係?)

5. CVUでノード3の互換性チェック
[grid@node1 ~]$ cluvfy comp peer -n node3

ピア互換性を検証中 

ピア互換性をチェック中...

ピア比較: 物理メモリー 
  ノード名                                  ステータス                   
  ------------------------------------  ------------------------
  node3                                 3.8609GB (4048484.0KB)  

(中略)

  ノード名                                  ステータス                   
  ------------------------------------  ------------------------
  node3                                 libaio-devel-0.3.107-10.el6 (x86_64)

ピア比較: "nfs-utils"のパッケージの存在 
  ノード名                                  ステータス                   
  ------------------------------------  ------------------------
  node3                                 nfs-utils-1.2.3-39.el6  

ピア互換性の検証に成功しました。 

6. CVUでノード3へGIホーム追加前の事前チェック
[grid@node1 ~]$ cluvfy stage -pre nodeadd -n node3 -fixup

ノードの追加の事前チェックを実行しています 

ノード到達可能性をチェック中...
ノード"node1"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...
ユーザー"grid"のユーザー等価チェックに合格しました
"cvuqdisk"のパッケージの存在チェックに合格しました

(中略)

"/etc/resolv.conf"のすべてのサーバーからのDNSレスポンスをチェックしています

ファイル"/etc/resolv.conf"の整合性のチェックに失敗しました


名前サービス・スイッチ構成ファイル"/etc/nsswitch.conf"の整合性をチェック中...
名前サービス・スイッチ構成ファイル"/etc/nsswitch.conf"の整合性のチェックに合格しました


ノードの追加の事前チェックはすべてのノードで失敗しました。 
******************************************************************************************
このセッションで修正するように選択された修正可能な前提条件のリストは、次のとおりです
******************************************************************************************

------------                  ----------          ----------          
チェックが失敗しました。                  ノードで失敗しました          再起動が必要ですか。          
------------                  ----------          ----------          
パッケージ: cvuqdisk-1.0.9-1       node3               いいえ                 
OSカーネル・パラメータ: panic_on_oops   node3               いいえ                 

ノード"node3"でrootユーザーとして"/home/grid/tmp/CVU_12.1.0.2.0_grid/runfixup.sh"を実行し、修正操作を手動で実行します
ノード"node3"で"/home/grid/tmp/CVU_12.1.0.2.0_grid/runfixup.sh"の実行が完了したら、[ENTER]キーを押して続行します

修正: パッケージ: cvuqdisk-1.0.9-1
該当するすべてのノードで、"パッケージ: cvuqdisk-1.0.9-1"は正常に修正されました
修正: OSカーネル・パラメータ: panic_on_oops
該当するすべてのノードで、"OSカーネル・パラメータ: panic_on_oops"は正常に修正されました
★ノード3で修正スクリプト(/home/grid/tmp/CVU_12.1.0.2.0_grid/runfixup.sh)を実行します

7. addnode.shスクリプトでノード3にGIホーム追加
[grid@node1 ~]$ cd /u01/app/12.1.0/grid/addnode
[grid@node1 addnode]$ ./addnode.sh -silent "CLUSTER_NEW_NODES={node3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={node3-vip}"
Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 11392MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 3397MB    問題なし
[FATAL] [INS-30160] addnode操作用に指定したノード[node3]のインベントリがクリーンアップされていないことがインストーラにより検出されました。
   アクション: addnode手順を実行する前に、インベントリの場所/u01/app/oraInventoryがクリーンアップされていることを確認してください。
★事前にoraInventoryがあると失敗するみたいなので、oraInventoryを削除して再実行しました

[grid@node1 addnode]$ ./addnode.sh -silent "CLUSTER_NEW_NODES={node3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={node3-vip}"
Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 11392MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 3397MB    問題なし
[FATAL] [INS-13013] ターゲット環境は、いくつかの必須要件を満たしていません。
   原因: 一部の必須前提条件が満たされていません。詳細はログを参照してください。/u01/app/oraInventory/logs/addNodeActions2022-09-08_02-16-28PM.log
   アクション: ログから失敗した前提条件チェックのリストを確認します: /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-16-28PM.log。次に、ログ・ファイルまたはインストレーション・マニュアルのいずれかから、前提条件を満たす適切な構成を見つけ、手動で修正してください。

[grid@node1 addnode]$ tail -n 30 /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-16-28PM.log
INFO: Waiting for completion of background operations
INFO: Completed background operations
INFO: Validating state <performChecks>
INFO: Using default Validator configured in the Action class oracle.install.ivw.crs.action.CRSNodeScalerPrereqAction
INFO: ------------------List of failed Tasks------------------
INFO: *********************************************
INFO: 物理メモリー: これは、システムに少なくとも4GB (4194304.0KB)の合計物理メモリーがあるかどうかをテストする前提条件です。
INFO: Severity:IGNORABLE
INFO: OverallStatus:VERIFICATION_FAILED
INFO: *********************************************
INFO: スワップ・サイズ: これは、十分な合計スワップ領域がシステムで使用可能かどうかをテストする前提条件です。
INFO: Severity:IGNORABLE
INFO: OverallStatus:VERIFICATION_FAILED
INFO: *********************************************
INFO: タスクresolv.confの整合性: このタスクは、ノード全体でのファイル/etc/resolv.confの一貫性をチェックします
INFO: Severity:CRITICAL
INFO: OverallStatus:OPERATION_FAILED
INFO: -----------------End of failed Tasks List----------------
INFO: Adding ExitStatus PREREQUISITES_NOT_MET to the exit status set
SEVERE: [FATAL] [INS-13013] ターゲット環境は、いくつかの必須要件を満たしていません。
   原因: 一部の必須前提条件が満たされていません。詳細はログを参照してください。/u01/app/oraInventory/logs/addNodeActions2022-09-08_02-16-28PM.log
   アクション: ログから失敗した前提条件チェックのリストを確認します: /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-16-28PM.log。次に、ログ・ファイルまたはインストレーション・マニュアルのいずれかから、前提条件を満たす適切な構成を見つけ、手動で修正してください。
INFO: Advice is ABORT
INFO: Adding ExitStatus INVALID_USER_INPUT to the exit status set
INFO: Completed validating state <performChecks>
INFO: Terminating all background operations
INFO: Terminated all background operations
INFO: Finding the most appropriate exit status for the current application
INFO: Exit Status is -3
INFO: Shutdown Oracle Grid Infrastructure 12cリリース1インストーラ
★再実行しましたが、/etc/resolv.confの一貫性チェックでエラー(CRITICAL)になりました
 原因不明ですが同様の事象で悩んでいる人もおり、addnode.shだけ実行してGUIでインストールを進めることができたという事例があったため、本検証も同様の回避策で進めます

[grid@node1 addnode]$ ./addnode.sh
Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 11390MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 3397MB    問題なし
モニターの確認中: 少なくとも256色表示するよう設定されている必要があります.    実際 16777216    問題なし
このインストール・セッションのログは次の場所にあります:
 /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-19-30PM.log

追加対象のノードを確認後、次へで前提条件チェックが始まります

前提条件チェック結果で「すべて無視」にチェックして次へ

サマリーを確認してインストール

インストールが始まります。途中でノード3でorainstRoot.sh、root.shの実行を求められます。

インストール完了

8. CVUでノード3へGIホーム追加後の事後チェック
[grid@node1 addnode]$ cluvfy stage -post nodeadd -n node3

ノードの追加の事後チェックを実行しています 

ノード到達可能性をチェック中...
ノード"node1"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...
ユーザー"grid"のユーザー等価チェックに合格しました

(中略)

CTSSリソースのチェックに合格しました
時間オフセットについてのCTSSの問合せに合格しました

CTSSはアクティブ状態です。すべてのノードでクロック時間オフセットのチェックを続行中...
クロック時間オフセットのチェックに合格しました


Oracle Cluster Time Synchronization Servicesのチェックに合格しました

ノードの追加の事後チェックは成功しました。 

9. CVUでノード3へRACホーム追加前の事前チェック
[oracle@node1 addnode]$ cluvfy stage -pre dbinst -n node3 -fixup

データベース・インストールの事前チェックを実行しています 

ノード到達可能性をチェック中...
ノード"node1"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...
ユーザー"oracle"のユーザー等価チェックに合格しました

(中略)

/dev/shmは、一時ファイルシステムとしてマウントされていますのチェックを開始中...

/dev/shmは、一時ファイルシステムとしてマウントされていますのチェックに合格しました

Maximum locked memory checkのチェックを開始中...

Maximum locked memory checkのチェックに合格しました

データベース・インストールの事前チェックはすべてのノードで失敗しました。 
******************************************************************************************
このセッションで修正するように選択された修正可能な前提条件のリストは、次のとおりです
******************************************************************************************

------------                  ----------          ----------          
チェックが失敗しました。                  ノードで失敗しました          再起動が必要ですか。          
------------                  ----------          ----------          
Maximum locked memory check   node3               いいえ                 

ノード"node3"でrootユーザーとして"/home/oracle/tmp/CVU_12.1.0.2.0_oracle/runfixup.sh"を実行し、修正操作を手動で実行します
ノード"node3"で"/home/oracle/tmp/CVU_12.1.0.2.0_oracle/runfixup.sh"の実行が完了したら、[ENTER]キーを押して続行します

修正: Maximum locked memory check
該当するすべてのノードで、"Maximum locked memory check"は正常に修正されました
★ノード3で修正スクリプト(/home/oracle/tmp/CVU_12.1.0.2.0_oracle/runfixup.sh)を実行します

10. addnode.shスクリプトでノード3へRACホーム追加
[oracle@node1 addnode]$ cd /u01/app/oracle/product/12.1.0/dbhome_1/addnode
[oracle@node1 addnode]$ ./addnode.sh -silent "CLUSTER_NEW_NODES={node3}"
Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 11056MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 3344MB    問題なし
[FATAL] [INS-13013] ターゲット環境は、いくつかの必須要件を満たしていません。
   原因: 一部の必須前提条件が満たされていません。詳細はログを参照してください。/u01/app/oraInventory/logs/addNodeActions2022-09-08_02-42-00PM.log
   アクション: ログから失敗した前提条件チェックのリストを確認します: /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-42-00PM.log。次に、ログ・ファイルまたはインストレーション・マニュアルのいずれかから、前提条件を満たす適切な構成を見つけ、手動で修正してください。

[oracle@node1 addnode]$ tail -n 30 /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-42-00PM.log
INFO: *************** End of CVU Error logs ***************
INFO: All forked task are completed at state performChecks
INFO: Completed background operations
INFO: Moved to state <performChecks>
INFO: Waiting for completion of background operations
INFO: Completed background operations
INFO: Validating state <performChecks>
INFO: Using default Validator configured in the Action class oracle.install.ivw.db.action.DBNodeScalerPrereqAction
INFO: ------------------List of failed Tasks------------------
INFO: *********************************************
INFO: スワップ・サイズ: これは、十分な合計スワップ領域がシステムで使用可能かどうかをテストする前提条件です。
INFO: Severity:IGNORABLE
INFO: OverallStatus:VERIFICATION_FAILED
INFO: *********************************************
INFO: タスクresolv.confの整合性: このタスクは、ノード全体でのファイル/etc/resolv.confの一貫性をチェックします
INFO: Severity:CRITICAL
INFO: OverallStatus:OPERATION_FAILED
INFO: -----------------End of failed Tasks List----------------
INFO: Adding ExitStatus PREREQUISITES_NOT_MET to the exit status set
SEVERE: [FATAL] [INS-13013] ターゲット環境は、いくつかの必須要件を満たしていません。
   原因: 一部の必須前提条件が満たされていません。詳細はログを参照してください。/u01/app/oraInventory/logs/addNodeActions2022-09-08_02-42-00PM.log
   アクション: ログから失敗した前提条件チェックのリストを確認します: /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-42-00PM.log。次に、ログ・ファイルまたはインストレーション・マニュアルのいずれかから、前提条件を満たす適切な構成を見つけ、手動で修正してください。
INFO: Advice is ABORT
INFO: Adding ExitStatus INVALID_USER_INPUT to the exit status set
INFO: Completed validating state <performChecks>
INFO: Terminating all background operations
INFO: Terminated all background operations
INFO: Finding the most appropriate exit status for the current application
INFO: Exit Status is -3
INFO: Shutdown Oracle Database 12cリリース1インストーラ
★GIホーム追加時と同様、/etc/resolv.confの一貫性チェックでエラー(CRITICAL)になりました
 ここもaddnode.shだけ実行してGUIでインストールを進めます

[oracle@node1 addnode]$ ./addnode.sh 
Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 11056MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 3344MB    問題なし
モニターの確認中: 少なくとも256色表示するよう設定されている必要があります.    実際 16777216    問題なし
このインストール・セッションのログは次の場所にあります:
 /u01/app/oraInventory/logs/addNodeActions2022-09-08_02-43-22PM.log

追加対象のノードを確認後、次へで前提条件チェックが始まります

前提条件チェック結果で「すべて無視」にチェックして次へ

サマリーを確認してインストール

インストールが始まります。途中でroot.shの実行が求められます

インストール完了

11. DBCAでクラスタデータベース追加
[oracle@node1 addnode]$ #クラスタデータベースインスタンス
[oracle@node1 addnode]$ /u01/app/oracle/product/12.1.0/dbhome_1/bin/dbca

インスタンス管理」を選択

インスタンスの追加」を選択

インスタンスを追加するデータベースを選択して次へ

既存インスタンスを確認して次へ

追加対象のインスタンス名とノード名を確認して次へ

サマリーを確認してインスタンス追加

インスタンス追加完了

※DBCAではなく、コマンドでインスタンスを追加することもできます。
./dbca -silent -addInstance -nodelist node3 -gdbname orcl -sysDBAPassword password

# ノード3追加後のクラスタリソース情報

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node2                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

ノードの追加は主にスケールアウトとワークロードのスピードアップが目的だと思いますが、通常は事前に要件を見積もってハードウェアを準備するため、ノードを追加する状況は少ないとは思います。

(9/16追記)
ノード削除も検証しようと思いましたが、その前にせっかく奇数ノード(3ノード)あるので先にスプリットブレインの検証をしようと思います。
ノード削除は別記事で書きます。