忘れかけのIT備忘録

今まで学んできた知識や小技、なるほど!と思ったことをメモするブログです。

ノードのインターコネクト障害検証

ノードのインターコネクト障害が発生した場合のクラスタの動きについて、机上の知識はあるものの、実務経験が無いため、実際の動きを検証してみました。

■検証環境
OS:Oracle Linux 6.5

GI:Oracle Grid Infrastructure 12c Release 1 (12.1.0.2.0) Enterprise Edition
DB:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型DB)

■前提
・SCANを使用しています
DNSサーバはdnsmasqを使用しています
・ASMの冗長構成は標準冗長性(2多重)

■設定情報

クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------

投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

CSSのMISSCOUNT値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css misscount
CRS-4678: Successful get misscount 30 for Cluster Synchronization Services.

CSSのDISKTIMEOUT値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css disktimeout
CRS-4678: Successful get disktimeout 200 for Cluster Synchronization Services.

CSSのREBOOTTIME値
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl get css reboottime
CRS-4678: Successful get reboottime 3 for Cluster Synchronization Services.

 

■検証パターン
①ノード1のインターコネクト障害

■検証
①ノード1のインターコネクト障害
ノード1でインターコネクト障害が発生した場合のクラスタの動きやDBからアプリデータをSELECTできるか検証します

今回はノード1のインターコネクトNIC(eth1)をdownして疑似的にインターコネクト障害を発生させます

【検証手順】
1. ノード1のインターコネクトNIC(eth1)をdown
2. NICダウン直後の各ノードのクラスタリソースと投票ディスクの状態を確認
3. NICダウンの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
4. NICダウンの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
5. ノード1でDBからアプリデータをSELECT
6. ノード2・3でDBからアプリデータをSELECT

【想定】
スプリット・ブレインが発生し、ノード1はDBへ接続できないが、ノード2・3はDBからアプリデータをSELECTできるはず

【検証結果】
ノード1はDBへ接続できなかったが、ノード2・3はDBからアプリデータをSELECTできた

【作業ログ】

1. ノード1のインターコネクトNIC(eth1)をdown
[root@node1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 08:00:27:31:B0:CE  
          inet addr:192.168.56.101  Bcast:192.168.56.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe31:b0ce/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:529 errors:0 dropped:0 overruns:0 frame:0
          TX packets:644 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:78483 (76.6 KiB)  TX bytes:125140 (122.2 KiB)
eth1      Link encap:Ethernet  HWaddr 08:00:27:8D:C6:2A  
          inet addr:192.168.100.101  Bcast:192.168.100.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe8d:c62a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:46612 errors:0 dropped:0 overruns:0 frame:0
          TX packets:45352 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:23673965 (22.5 MiB)  TX bytes:26179451 (24.9 MiB)

[root@node1 ~]# ifconfig eth1 down
[root@node1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 08:00:27:31:B0:CE  
          inet addr:192.168.56.101  Bcast:192.168.56.255  Mask:255.255.255.0
          inet6 addr: fe80::a00:27ff:fe31:b0ce/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:590 errors:0 dropped:0 overruns:0 frame:0
          TX packets:714 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:84003 (82.0 KiB)  TX bytes:134216 (131.0 KiB)
eth1      Link encap:Ethernet  HWaddr 08:00:27:8D:C6:2A  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:56252 errors:0 dropped:0 overruns:0 frame:0
          TX packets:56291 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:29716984 (28.3 MiB)  TX bytes:34471007 (32.8 MiB)

2. NICダウン直後の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★インターコネクト障害直後(30秒以内)はインスタンス1も稼働しています。
 ただし、この時点でキャッシュフュージョンが機能しないため、スプリット・ブレイン状態になっているはずです。

[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

3. NICダウンの30秒後(MISSCOUNT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
★応答なし

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  INTERMEDIATE node3                    FAILED OVER,STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
★ノード1のノードVIPがノード3へフェイルオーバーし、インスタンス1が停止しました
 クラスタリソースもノード2とノード3で稼働するよう再構成されました

[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

4. NICダウンの200秒後(DISKTIMEOUT値)の各ノードのクラスタリソースと投票ディスクの状態を確認
# ノード1
[root@node1 ~]# #クラスタリソース確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.
[root@node1 ~]# #投票ディスク状態確認
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
★応答なし

# ノード2 ※ノード3も同様
[root@node2 ~]# #クラスタリソース確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  INTERMEDIATE node3                    FAILED OVER,STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------
[root@node2 ~]# #投票ディスク状態確認
[root@node2 ~]# /u01/app/12.1.0/grid/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   c65a4dc1e8824ff7bfb08ce7e31cf578 (/dev/sdb1) [CRS]
 2. ONLINE   cdc840af67ef4fcfbf5a77edeedc41bc (/dev/sdc1) [CRS]
 3. ONLINE   aafc9cb42c8d4fbebf1108e1d519d0c9 (/dev/sdd1) [CRS]
Located 3 voting disk(s).

5. ノード1でDBからアプリデータをSELECT
[root@node1 ~]# su - oracle -c "sqlplus / as sysdba"
アイドル・インスタンスに接続しました。
★DBへ接続できなかった

6. ノード2・3でDBからアプリデータをSELECT
# ノード2
SQL> select instance_name,status from v$instance;
INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl2
OPEN

SQL> select * from scott.emp;

     EMPNO ENAME                          JOB                                MGR HIREDATE        SAL       COMM     DEPTNO
---------- ------------------------------ --------------------------- ---------- -------- ---------- ---------- ----------
      7369 SMITH                          CLERK                             7902 80-12-17        800                    20
      7499 ALLEN                          SALESMAN                          7698 81-02-20       1600        300         30
      7521 WARD                           SALESMAN                          7698 81-02-22       1250        500         30
      7566 JONES                          MANAGER                           7839 81-04-02       2975                    20
      7654 MARTIN                         SALESMAN                          7698 81-09-28       1250       1400         30
      7698 BLAKE                          MANAGER                           7839 81-05-01       2850                    30
      7782 CLARK                          MANAGER                           7839 81-06-09       2450                    10
      7839 KING                           PRESIDENT                              81-11-17       5000                    10
      7844 TURNER                         SALESMAN                          7698 81-09-08       1500          0         30
      7900 JAMES                          CLERK                             7698 81-12-03        950                    30
      7902 FORD                           ANALYST                           7566 81-12-03       3000                    20
      7934 MILLER                         CLERK                             7782 82-01-23       1300                    10

12行が選択されました。
★ノード2のインスタンス2へ接続してアプリデータをSELECTできた

# ノード3
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl3
OPEN

SQL> select * from scott.emp;

     EMPNO ENAME                          JOB                                MGR HIREDATE        SAL       COMM     DEPTNO
---------- ------------------------------ --------------------------- ---------- -------- ---------- ---------- ----------
      7369 SMITH                          CLERK                             7902 80-12-17        800                    20
      7499 ALLEN                          SALESMAN                          7698 81-02-20       1600        300         30
      7521 WARD                           SALESMAN                          7698 81-02-22       1250        500         30
      7566 JONES                          MANAGER                           7839 81-04-02       2975                    20
      7654 MARTIN                         SALESMAN                          7698 81-09-28       1250       1400         30
      7698 BLAKE                          MANAGER                           7839 81-05-01       2850                    30
      7782 CLARK                          MANAGER                           7839 81-06-09       2450                    10
      7839 KING                           PRESIDENT                              81-11-17       5000                    10
      7844 TURNER                         SALESMAN                          7698 81-09-08       1500          0         30
      7900 JAMES                          CLERK                             7698 81-12-03        950                    30
      7902 FORD                           ANALYST                           7566 81-12-03       3000                    20
      7934 MILLER                         CLERK                             7782 82-01-23       1300                    10

12行が選択されました。
★ノード3のインスタンス3へ接続してアプリデータをSELECTできた

●各ノードのクラスタアラートログ
# ノード1
2022-09-16 12:30:16.137 [OCSSD(4103)]CRS-1612: タイムアウト間隔の50%で、ノードnode2(2)のネットワーク通信がありません。クラスタからこのノードを14.710秒内に削除します
2022-09-16 12:30:16.137 [OCSSD(4103)]CRS-1612: タイムアウト間隔の50%で、ノードnode3(3)のネットワーク通信がありません。クラスタからこのノードを14.610秒内に削除します
2022-09-16 12:30:24.147 [OCSSD(4103)]CRS-1611: タイムアウト間隔の75%で、ノードnode2(2)のネットワーク通信がありません。クラスタからこのノードを6.700秒内に削除します
2022-09-16 12:30:24.147 [OCSSD(4103)]CRS-1611: タイムアウト間隔の75%で、ノードnode3(3)のネットワーク通信がありません。クラスタからこのノードを6.600秒内に削除します
2022-09-16 12:30:28.156 [OCSSD(4103)]CRS-1610: タイムアウト間隔の90%で、ノードnode2(2)のネットワーク通信がありません。クラスタからこのノードを2.690秒内に削除します
2022-09-16 12:30:28.156 [OCSSD(4103)]CRS-1610: タイムアウト間隔の90%で、ノードnode3(3)のネットワーク通信がありません。クラスタからこのノードを2.590秒内に削除します
2022-09-16 12:30:30.850 [OCSSD(4103)]CRS-1609: このノードはクラスタ内の他のノードとは通信できず、クラスタ整合性を保つため停止します。詳細は(:CSSNM00008:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:30.850 [OCSSD(4103)]CRS-1656: 致命的なエラーのためCSSデーモンを停止中です。詳細は(:CSSSC00012:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください
2022-09-16 12:30:30.903 [OCSSD(4103)]CRS-1652: CRSDリソースのクリーンアップを開始しています。
2022-09-16 12:30:31.149 [ORAAGENT(4727)]CRS-5016: プロセス"/u01/app/12.1.0/grid/opmn/bin/onsctli"(エージェント"ORAAGENT"によりアクション"check"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:31.882 [OCSSD(4103)]CRS-1608: このノードはノード3、node3によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:31.882 [OCSSD(4103)]CRS-1608: このノードはノード3、node3によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:31.882 [OCSSD(4103)]CRS-1608: このノードはノード3、node3によって削除されました。詳細は(:CSSNM00005:)(/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:32.760 [ORAAGENT(4727)]CRS-5016: プロセス"/u01/app/12.1.0/grid/bin/lsnrctl"(エージェント"ORAAGENT"によりアクション"check"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:32.764 [ORAAGENT(4727)]CRS-5016: プロセス"/u01/app/12.1.0/grid/bin/lsnrctl"(エージェント"ORAAGENT"によりアクション"check"に対して生成)が失敗しました: 詳細は"(:CLSN00010:)"("/u01/app/grid/diag/crs/node1/crs/trace/crsd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:32.770 [OCSSD(4103)]CRS-1654: CRSDリソースのクリーンアップが正常に完了しました。
2022-09-16 12:30:32.771 [OCSSD(4103)]CRS-1655: ノードnode1のCSSDで問題を検出し、停止を開始しました。
2022-09-16 12:30:32.815 [ORAROOTAGENT(4743)]CRS-5822: エージェント'/u01/app/12.1.0/grid/bin/orarootagent_root'はサーバーから切断されました。詳細は(:CRSAGF00117:) {0:5:4}(/u01/app/grid/diag/crs/node1/crs/trace/crsd_orarootagent_root.trc)を参照してください。
2022-09-16 12:30:32.854 [CRSD(9145)]CRS-8500: Oracle Clusterware CRSDプロセスをオペレーティング・システム・プロセスID 9145で開始しています
Fri Sep 16 12:30:33 2022
Errors in file /u01/app/grid/diag/crs/node1/crs/trace/ocssd.trc  (incident=41):
CRS-8503
Incident details in: /u01/app/grid/diag/crs/node1/crs/incident/incdir_41/ocssd_i41.trc

2022-09-16 12:30:33.308 [OCSSD(4103)]CRS-8503: Oracle Clusterware OCSSDプロセス(オペレーティング・システム・プロセスID 4103)で致命的な信号または例外コード6が発生しました
Sweep [inc][41]: completed
2022-09-16 12:30:33.509 [CSSDMONITOR(9168)]CRS-8500: Oracle Clusterware CSSDMONITORプロセスをオペレーティング・システム・プロセスID 9168で開始しています
2022-09-16 12:30:33.722 [OCTSSD(9185)]CRS-8500: Oracle Clusterware OCTSSDプロセスをオペレーティング・システム・プロセスID 9185で開始しています
2022-09-16 12:30:33.831 [CRSD(9145)]CRS-0806: Cluster Ready Serviceはローカル・ノード名の取得に失敗したため中断されました。詳細は(:CRSD00110:)(/u01/app/grid/diag/crs/node1/crs/trace/crsd.trc)を参照してください。
2022-09-16 12:30:34.521 [CSSDAGENT(9195)]CRS-8500: Oracle Clusterware CSSDAGENTプロセスをオペレーティング・システム・プロセスID 9195で開始しています
2022-09-16 12:30:34.673 [OCSSD(9214)]CRS-8500: Oracle Clusterware OCSSDプロセスをオペレーティング・システム・プロセスID 9214で開始しています
2022-09-16 12:30:34.717 [OCTSSD(9185)]CRS-2402: クラスタ時刻同期化サービスがホストnode1で中断されました。詳細は(:ctss_css_init1:)(/u01/app/grid/diag/crs/node1/crs/trace/octssd.trc)を参照してください。
2022-09-16 12:30:35.721 [OHASD(3474)]CRS-2878: リソース'ora.ctssd'の再起動に失敗しました
2022-09-16 12:30:35.723 [OCSSD(9214)]CRS-1713: CSSDデーモンがhubモードで起動しています
2022-09-16 12:30:35.736 [EVMD(9219)]CRS-8500: Oracle Clusterware EVMDプロセスをオペレーティング・システム・プロセスID 9219で開始しています
2022-09-16 12:30:37.022 [ORAAGENT(3825)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:37.032 [ORAAGENT(3825)]CRS-5011: リソース"ora.asm"のチェックが失敗しました: 詳細は"(:CLSN00006:)"("/u01/app/grid/diag/crs/node1/crs/trace/ohasd_oraagent_grid.trc")を参照してください
2022-09-16 12:30:51.574 [OCSSD(9214)]CRS-1707: ノードnode1、番号1のリース取得が完了しました
2022-09-16 12:30:52.656 [OCSSD(9214)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdb1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-16 12:30:52.660 [OCSSD(9214)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdd1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-16 12:30:52.664 [OCSSD(9214)]CRS-1605: CSSD投票ファイルがオンラインです: /dev/sdc1。詳細は/u01/app/grid/diag/crs/node1/crs/trace/ocssd.trcを参照してください。
2022-09-16 12:31:33.431 [ORAROOTAGENT(3895)]CRS-5818: コマンド'check'を中断しました(リソース'ora.storage'に対して)。詳細は(:CRSAGF00113:) {0:13:20}(/u01/app/grid/diag/crs/node1/crs/trace/ohasd_orarootagent_root.trc)を参照してください。
2022-09-16 12:32:33.557 [ORAROOTAGENT(10381)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 10381で開始しています
2022-09-16 12:33:33.584 [ORAROOTAGENT(10381)]CRS-5818: コマンド'check'を中断しました(リソース'ora.storage'に対して)。詳細は(:CRSAGF00113:) {0:21:2}(/u01/app/grid/diag/crs/node1/crs/trace/ohasd_orarootagent_root.trc)を参照してください。
2022-09-16 12:34:33.667 [ORAROOTAGENT(10916)]CRS-8500: Oracle Clusterware ORAROOTAGENTプロセスをオペレーティング・システム・プロセスID 10916で開始しています
2022-09-16 12:35:33.699 [ORAROOTAGENT(10916)]CRS-5818: コマンド'check'を中断しました(リソース'ora.storage'に対して)。詳細は(:CRSAGF00113:) {0:23:2}(/u01/app/grid/diag/crs/node1/crs/trace/ohasd_orarootagent_root.trc)を参照してください。

# ノード2
2022-09-16 12:30:16.758 [OCSSD(2893)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.490秒内に削除します
2022-09-16 12:30:23.764 [OCSSD(2893)]CRS-1611: タイムアウト間隔の75%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを7.480秒内に削除します
2022-09-16 12:30:28.768 [OCSSD(2893)]CRS-1610: タイムアウト間隔の90%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを2.480秒内に削除します
2022-09-16 12:30:33.270 [OCSSD(2893)]CRS-1625: ノードnode1、番号1が停止されました
2022-09-16 12:30:33.279 [OCSSD(2893)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-16 12:30:33.287 [CRSD(3502)]CRS-5504: ノード'node1'について、ノード・ダウン・イベントが報告されました。
2022-09-16 12:30:40.212 [CRSD(3502)]CRS-2773: サーバー'node1'はプール'Generic'から削除されました。
2022-09-16 12:30:40.213 [CRSD(3502)]CRS-2773: サーバー'node1'はプール'ora.orcl'から削除されました。
2022-09-16 12:31:16.554 [OCSSD(2893)]CRS-1625: ノードnode1、番号1が停止されました

# ノード3
2022-09-16 12:30:16.771 [OCSSD(1118)]CRS-1612: タイムアウト間隔の50%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを14.470秒内に削除します
2022-09-16 12:30:23.782 [OCSSD(1118)]CRS-1611: タイムアウト間隔の75%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを7.460秒内に削除します
2022-09-16 12:30:28.786 [OCSSD(1118)]CRS-1610: タイムアウト間隔の90%で、ノードnode1(1)のネットワーク通信がありません。クラスタからこのノードを2.460秒内に削除します
2022-09-16 12:30:31.250 [OCSSD(1118)]CRS-1607: ノードnode1はクラスタインカーネーション558794361によって削除されました。詳細は(:CSSNM00007:)(/u01/app/grid/diag/crs/node3/crs/trace/ocssd.trc)を参照してください。
2022-09-16 12:30:33.270 [OCSSD(1118)]CRS-1625: ノードnode1、番号1が停止されました
2022-09-16 12:30:33.279 [OCSSD(1118)]CRS-1601: CSSDの再構成が完了しました。アクティブ・ノードはnode2 node3 です。
2022-09-16 12:30:41.318 [OCSSD(1118)]CRS-1625: ノードnode1、番号1が停止されました

●各ノードのASMアラートログ
# ノード1
Fri Sep 16 12:30:32 2022
NOTE: ASMB process exiting, either shutdown is in progress or foreground connected to ASMB was killed.
NOTE: ASMB clearing idle groups before exit
Fri Sep 16 12:30:34 2022
SKGXP: ospid 4421: network interface with IP address 169.254.243.236 no longer running (check cable)
SKGXP: ospid 4421: network interface with IP address 169.254.243.236 is DOWN
Fri Sep 16 12:30:36 2022
Instance Critical Process (pid: 7, ospid: 4470, LCK0) died unexpectedly
PMON (ospid: 4399): terminating the instance due to error 480
Fri Sep 16 12:30:36 2022
Instance terminated by PMON, pid = 4399

# ノード2

Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 14, new inc 16)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
* dead instance detected - domain 3 invalid = TRUE 
 Communication channels reestablished
 Begin lmon rcfg omni enqueue reconfig stage1
 End lmon rcfg omni enqueue reconfig stage1
 Master broadcasted resource hash value bitmaps
 Begin lmon rcfg omni enqueue reconfig stage2
 End lmon rcfg omni enqueue reconfig stage2
 Non-local Process blocks cleaned out
 LMS 0: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Begin lmon rcfg omni enqueue reconfig stage3
 End lmon rcfg omni enqueue reconfig stage3
 Submitted all remote-enqueue requests
 Begin lmon rcfg omni enqueue reconfig stage4
 End lmon rcfg omni enqueue reconfig stage4
 Dwn-cvts replayed, VALBLKs dubious
 Begin lmon rcfg omni enqueue reconfig stage5
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
Fri Sep 16 12:30:33 2022
 Post SMON to start 1st pass IR
Fri Sep 16 12:30:33 2022
NOTE: SMON detected lock domain 1 invalid at system inc 14 09/16/22 12:30:33
Fri Sep 16 12:30:33 2022
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Fri Sep 16 12:30:33 2022
NOTE: SMON starting instance recovery of group CRS domain 1 inc 16 (mounted) at 09/16/22 12:30:33
NOTE: 09/16/22 12:30:33 CRS.F1X0 found on disk 0 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 CRS.F1X0 found on disk 1 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 CRS.F1X0 found on disk 2 au 10 fcn 0.0 datfmt 1
Fri Sep 16 12:30:33 2022
Reconfiguration complete (total time 0.2 secs) 
Fri Sep 16 12:30:33 2022
NOTE: instance recovery of group CRS will recover thread=1 ckpt=21.1025 domain=1 inc#=14 instnum=1
NOTE: SMON waiting for thread 1 recovery enqueue
NOTE: SMON about to begin recovery lock claims for diskgroup 1 (CRS)
* validated domain 1, flags = 0x20
Fri Sep 16 12:30:33 2022
NOTE: SMON successfully validated lock domain 1 inc 16 (CRS)
NOTE: advancing ckpt for group 1 (CRS) thread=1 ckpt=21.1025 domain inc# 16
Fri Sep 16 12:30:34 2022
NOTE: SMON did instance recovery for group CRS domain 1
NOTE: SMON detected lock domain 2 invalid at system inc 16 09/16/22 12:30:33
Fri Sep 16 12:30:34 2022

* instance 3 validates domain 2 
Fri Sep 16 12:30:34 2022
NOTE: SMON detected lock domain 3 invalid at system inc 16 09/16/22 12:30:33
NOTE: SMON starting instance recovery of group FRA domain 3 inc 16 (mounted) at 09/16/22 12:30:33
NOTE: 09/16/22 12:30:33 FRA.F1X0 found on disk 0 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 FRA.F1X0 found on disk 1 au 10 fcn 0.0 datfmt 1
NOTE: instance recovery of group FRA will recover thread=1 ckpt=20.1069 domain=3 inc#=14 instnum=1
NOTE: SMON waiting for thread 1 recovery enqueue
NOTE: SMON about to begin recovery lock claims for diskgroup 3 (FRA)
* validated domain 3, flags = 0x20
Fri Sep 16 12:30:34 2022
NOTE: SMON successfully validated lock domain 3 inc 16 (FRA)
NOTE: advancing ckpt for group 3 (FRA) thread=1 ckpt=20.1069 domain inc# 16
Fri Sep 16 12:30:34 2022
NOTE: SMON did instance recovery for group FRA domain 3

# ノード3

Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 14, new inc 16)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
 Global Resource Directory frozen
* dead instance detected - domain 1 invalid = TRUE 
* dead instance detected - domain 2 invalid = TRUE 
* dead instance detected - domain 3 invalid = TRUE 
 Communication channels reestablished
 Begin lmon rcfg omni enqueue reconfig stage1
 End lmon rcfg omni enqueue reconfig stage1
Fri Sep 16 12:30:33 2022
 * domain 0 valid = 1 according to instance 2 
 * domain 1 valid = 0 according to instance 2 
 * domain 2 valid = 0 according to instance 2 
 * domain 3 valid = 0 according to instance 2 
Fri Sep 16 12:30:33 2022
 Master broadcasted resource hash value bitmaps
 Begin lmon rcfg omni enqueue reconfig stage2
 End lmon rcfg omni enqueue reconfig stage2
 Non-local Process blocks cleaned out
 LMS 0: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Begin lmon rcfg omni enqueue reconfig stage3
 End lmon rcfg omni enqueue reconfig stage3
 Submitted all remote-enqueue requests
 Begin lmon rcfg omni enqueue reconfig stage4
 End lmon rcfg omni enqueue reconfig stage4
 Dwn-cvts replayed, VALBLKs dubious
 Begin lmon rcfg omni enqueue reconfig stage5
 End lmon rcfg omni enqueue reconfig stage5
 All grantable enqueues granted
 Begin lmon rcfg omni enqueue reconfig stage6
 End lmon rcfg omni enqueue reconfig stage6
Fri Sep 16 12:30:33 2022
 Post SMON to start 1st pass IR
Fri Sep 16 12:30:33 2022
NOTE: SMON detected lock domain 1 invalid at system inc 14 09/16/22 12:30:33
Fri Sep 16 12:30:33 2022
 Submitted all GCS remote-cache requests
 Begin lmon rcfg omni enqueue reconfig stage7
 End lmon rcfg omni enqueue reconfig stage7
 Fix write in gcs resources
Fri Sep 16 12:30:33 2022
Reconfiguration complete (total time 0.1 secs) 
Fri Sep 16 12:30:33 2022
NOTE: SMON detected lock domain 2 invalid at system inc 16 09/16/22 12:30:33
NOTE: SMON starting instance recovery of group DATA domain 2 inc 16 (mounted) at 09/16/22 12:30:33
NOTE: 09/16/22 12:30:33 DATA.F1X0 found on disk 0 au 10 fcn 0.0 datfmt 1
NOTE: 09/16/22 12:30:33 DATA.F1X0 found on disk 3 au 10 fcn 0.0 datfmt 1
NOTE: instance recovery of group DATA will recover thread=1 ckpt=20.1206 domain=2 inc#=14 instnum=1
NOTE: SMON waiting for thread 1 recovery enqueue
NOTE: SMON about to begin recovery lock claims for diskgroup 2 (DATA)
Fri Sep 16 12:30:33 2022

* instance 2 validates domain 1 
Fri Sep 16 12:30:33 2022
* validated domain 2, flags = 0x20
Fri Sep 16 12:30:34 2022
NOTE: SMON successfully validated lock domain 2 inc 16 (DATA)
NOTE: advancing ckpt for group 2 (DATA) thread=1 ckpt=20.1206 domain inc# 16
Fri Sep 16 12:30:34 2022
NOTE: SMON did instance recovery for group DATA domain 2
NOTE: SMON detected lock domain 3 invalid at system inc 16 09/16/22 12:30:33
Fri Sep 16 12:30:34 2022

* instance 2 validates domain 3

●各ノードのDBアラートログ
# ノード1
Fri Sep 16 12:30:32 2022
NOTE: ASMB terminating
Fri Sep 16 12:30:32 2022
Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_asmb_4990.trc:
ORA-15064: ASM?????????????????
ORA-03113: ???????end-of-file????????
????ID: 
?????ID: 150???????: 52510
Fri Sep 16 12:30:32 2022
Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_asmb_4990.trc:
ORA-15064: ASM?????????????????
ORA-03113: ???????end-of-file????????
????ID: 
?????ID: 150???????: 52510
USER (ospid: 4990): terminating the instance due to error 15064
Fri Sep 16 12:30:33 2022
Instance terminated by USER, pid = 4990

# ノード2

Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 13, new inc 15)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 2   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
 Global Resource Directory frozen
 * dead instance detected - domain 0 invalid = TRUE 
 Communication channels reestablished
 Master broadcasted resource hash value bitmaps
 Non-local Process blocks cleaned out
 LMS 1: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 LMS 0: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Submitted all remote-enqueue requests
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
Fri Sep 16 12:30:34 2022
minact-scn: master found reconf/inst-rec before recscn scan old-inc#:13 new-inc#:13
Fri Sep 16 12:30:34 2022
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Fri Sep 16 12:30:34 2022
Reconfiguration complete (total time 0.2 secs) 
Fri Sep 16 12:30:34 2022

* instance 3 validates domain 0 
Fri Sep 16 12:30:35 2022
Thread 2 advanced to log sequence 47 (LGWR switch)
  Current log# 3 seq# 47 mem# 0: +FRA/ORCL/ONLINELOG/redo03.log
Fri Sep 16 12:30:36 2022
Archived Log entry 132 added for thread 2 sequence 46 ID 0x61e4d14e dest 1:
Fri Sep 16 12:30:37 2022
minact-scn: master continuing after IR
minact-scn: Master considers inst:1 dead

# ノード3
Fri Sep 16 12:30:33 2022
Reconfiguration started (old inc 13, new inc 15)
List of instances (total 2) :
 2 3
Dead instances (total 1) :
 1
My inst 3   
publish big name space -  dead or down/up instance detected, invalidate domain 0 
 Global Resource Directory frozen
 * dead instance detected - domain 0 invalid = TRUE 
 Communication channels reestablished
Fri Sep 16 12:30:34 2022
 * domain 0 valid = 0 according to instance 2 
Fri Sep 16 12:30:34 2022
 Master broadcasted resource hash value bitmaps
 Non-local Process blocks cleaned out
 LMS 1: 0 GCS shadows cancelled, 0 closed, 0 Xw survived
 LMS 0: 1 GCS shadows cancelled, 0 closed, 0 Xw survived
 Set master node info 
 Submitted all remote-enqueue requests
 Dwn-cvts replayed, VALBLKs dubious
 All grantable enqueues granted
Fri Sep 16 12:30:34 2022
 Post SMON to start 1st pass IR
Fri Sep 16 12:30:34 2022
Instance recovery: looking for dead threads
Fri Sep 16 12:30:34 2022
 Submitted all GCS remote-cache requests
 Fix write in gcs resources
Fri Sep 16 12:30:34 2022
Beginning instance recovery of 1 threads
 parallel recovery started with 3 processes
Fri Sep 16 12:30:34 2022
Started redo scan
Fri Sep 16 12:30:34 2022
Reconfiguration complete (total time 0.2 secs) 
Fri Sep 16 12:30:34 2022
Completed redo scan
 read 6 KB redo, 4 data blocks need recovery
* validated domain 0, flags = 0x0
Fri Sep 16 12:30:34 2022
Started redo application at
 Thread 1: logseq 72, block 1796
Fri Sep 16 12:30:34 2022
Recovery of Online Redo Log: Thread 1 Group 2 Seq 72 Reading mem 0
  Mem# 0: +FRA/ORCL/ONLINELOG/redo02.log
Fri Sep 16 12:30:34 2022
Completed redo application of 0.00MB
Fri Sep 16 12:30:34 2022
Completed instance recovery at
 Thread 1: logseq 72, block 1809, scn 5762519
 3 data blocks read, 4 data blocks written, 6 redo k-bytes read
Fri Sep 16 12:30:34 2022
Thread 1 advanced to log sequence 73 (thread recovery)
Fri Sep 16 12:30:34 2022
Redo thread 1 internally disabled at seq 73 (SMON)
Fri Sep 16 12:30:34 2022
Archived Log entry 130 added for thread 1 sequence 72 ID 0x61e4d14e dest 1:
Fri Sep 16 12:30:35 2022
ARC3: Archiving disabled thread 1 sequence 73
Fri Sep 16 12:30:35 2022
Archived Log entry 131 added for thread 1 sequence 73 ID 0x61e4d14e dest 1:
Fri Sep 16 12:30:36 2022
Thread 3 advanced to log sequence 24 (LGWR switch)
  Current log# 6 seq# 24 mem# 0: +FRA/ORCL/ONLINELOG/redo06.log
Fri Sep 16 12:30:36 2022
Archived Log entry 133 added for thread 3 sequence 23 ID 0x61e4d14e dest 1:

 

■おわりに
インターコネクト障害が発生した場合、スプリット・ブレイン状態になりますが、残存ノードでDBからアプリデータをSELECTできることを確認できました。
なお、このあとノード1のインターコネクトNICを復旧してノード1でDBからアプリデータをSELECTできることも確認できました。