忘れかけのIT備忘録

今まで学んできた知識や小技、なるほど!と思ったことをメモするブログです。

サーバー・プール検証(UNIFORMサービス編)

サーバー・プールについて、机上の知識はあるものの、実務経験が無いため、実際の動きを検証しました。

サーバー・プールは、11gR2の新機能でサーバー(ノード)を論理的にグルーピングします。
サーバーが割り当てられるサーバー・プールは1つだけという制約があります。(親プールは排他的ですが、子プールは他のサーバー・プールとサーバーを共有できます)

サーバー・プールには3種類あります。
Genericプール
サーバーをプールに固定して管理する従来(11gR1まで)の方法で使用するプール
管理者管理型データベースで使用するプール
ちなみにRAC One NodeもGenericプールを使用している

Freeプール
いずれのサーバー・プールにも割り当てられていないサーバーが格納される
Grid Infrastructureインストール直後は全サーバーがFreeプールに格納される
障害等でユーザー定義プールのサーバーが不足した場合、Freeプールに格納されているサーバーが割り当てられる
ポリシー管理型データベースで使用するプール

ユーザー定義プール
ユーザーが定義したサーバー・プール
今回の検証ではsrvpool1、srvpool2を定義しています
ポリシー管理型データベースで使用するプール

サービスをサーバー・プール上で稼働できます。
ポリシー管理型の場合、サービスはカーディナリティ(UNIFORM・SINGLETON)を指定できます。
UNIFORM
サーバー・プール内の全インスタンスでサービス稼働する

SINGLETON
サーバー・プール内の単一インスタンスでサービス稼働する
ノード停止した場合、別ノードへ自動的にサービスがフェイルオーバーする
※管理者管理型の場合、通常サービスを稼働させておくインスタンスをPREFERRED(優先)、フェイルオーバー時にサービスを稼働させるインスタンスをAVAILABLE(使用可能)で指定します

今回はUNIFORMタイプのサービスを使って検証します。

■検証環境

■設定情報

クラスタリソース情報
[oracle@node1 ~]$ /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
               ONLINE  ONLINE       node4                    Started,STABLE
               ONLINE  ONLINE       node5                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node4                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node5                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.244.153 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.node4.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.node5.vip
      1        ONLINE  ONLINE       node5                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node2                    Open,STABLE
      2        ONLINE  ONLINE       node3                    Open,STABLE
      3        ONLINE  ONLINE       node4                    Open,STABLE
      4        ONLINE  ONLINE       node5                    Open,STABLE
      5        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                                           ABLE
ora.orcl.fuga.svc
      1        ONLINE  ONLINE       node3                    STABLE
      2        ONLINE  ONLINE       node2                    STABLE
ora.orcl.hoge.svc
      1        ONLINE  ONLINE       node5                    STABLE
      2        ONLINE  ONLINE       node4                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------

サーバー・プール設定情報
[oracle@node1 ~]# srvctl config serverpool
サーバー・プール名: Free
重要度: 0、最小: 0、最大: -1
カテゴリ: 
候補サーバー名: 
サーバー・プール名: Generic
重要度: 0、最小: 0、最大: -1
カテゴリ: 
候補サーバー名: 
サーバー・プール名: srvpool1
重要度: 10、最小: 1、最大: 2
カテゴリ: hub
候補サーバー名: 
サーバー・プール名: srvpool2
重要度: 20、最小: 1、最大: 2
カテゴリ: hub
候補サーバー名:

サービス設定情報
[oracle@node1 ~]# srvctl config service -db orcl
サービス名: fuga
サーバー・プール: srvpool2
カーディナリティ: UNIFORM
切断: false
サービス・ロール: PRIMARY
管理ポリシー: AUTOMATIC
DTPトランザクション: false
AQのHA通知: false
グローバル: false
コミット結果: false
フェイルオーバー・タイプ: 
フェイルオーバー・メソッド: 
TAFフェイルオーバー再試行: 
TAFフェイルオーバー遅延: 
接続ロード・バランシングの目標: LONG
ランタイム・ロード・バランシングの目標: NONE
TAFポリシー仕様: NONE
エディション: 
プラガブル・データベース名: 
最大タイム・ラグ: ANY
SQL翻訳プロファイル: 
保存時間: 86400秒
リプレイ開始時間: 300秒
セッション状態一貫性: 
GSMフラグ: 0
サービスは有効です
サービスはノード: で個別に有効になっています
サービスはノード: で個別に無効になっています

サービス名: hoge
サーバー・プール: srvpool1
カーディナリティ: UNIFORM
切断: false
サービス・ロール: PRIMARY
管理ポリシー: AUTOMATIC
DTPトランザクション: false
AQのHA通知: false
グローバル: false
コミット結果: false
フェイルオーバー・タイプ: 
フェイルオーバー・メソッド: 
TAFフェイルオーバー再試行: 
TAFフェイルオーバー遅延: 
接続ロード・バランシングの目標: LONG
ランタイム・ロード・バランシングの目標: NONE
TAFポリシー仕様: NONE
エディション: 
プラガブル・データベース名: 
最大タイム・ラグ: ANY
SQL翻訳プロファイル: 
保存時間: 86400秒
リプレイ開始時間: 300秒
セッション状態一貫性: 
GSMフラグ: 0
サービスは有効です
サービスはノード: で個別に有効になっています
サービスはノード: で個別に無効になっています

サーバー・プール状態
[oracle@node1 ~]# srvctl status serverpool -detail
サーバー・プール名: Free
アクティブ・サーバー数: 1
アクティブ・サーバー名: node1
NAME=node1 STATE=ONLINE
サーバー・プール名: Generic
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: srvpool1
アクティブ・サーバー数: 2
アクティブ・サーバー名: node4,node5
NAME=node4 STATE=ONLINE
NAME=node5 STATE=ONLINE
サーバー・プール名: srvpool2
アクティブ・サーバー数: 2
アクティブ・サーバー名: node2,node3
NAME=node2 STATE=ONLINE
NAME=node3 STATE=ONLINE

インスタンス状態
[root@node1 ~]# srvctl status database -db orcl
インスタンスorcl_1はノードnode2で実行中です。
インスタンスorcl_2はノードnode3で実行中です。
インスタンスorcl_3はノードnode4で実行中です。
インスタンスorcl_4はノードnode5で実行中です。

サービス状態
[oracle@node1 ~]$ srvctl status service -db orcl
サービスfugaはノードで実行中です: node2,node3
サービスhogeはノードで実行中です: node4,node5

 

■検証パターン
①srvpool1の片ノード停止
②srvpool1の片ノード停止、srvpool2の片ノード停止

■検証
①srvpool1の片ノード停止
srvpool1のノード4のCRS停止後、Freeプールからノード1が補填されるか検証します

【検証手順】
1. ノード4のCRS停止
2. hogeサービスでDBアクセス
3. ノード4のCRS起動

【想定】
Freeプールからノード1が補填され、hogeサービスでDBアクセスできるはず

【検証結果】
Freeプールからノード1が補填され、hogeサービスでDBアクセスできた

【作業ログ】

1. ノード4のCRS停止
[root@node4 ~]# /u01/app/12.1.0/grid/bin/crsctl stop crs

クラスタリソース状態
[oracle@node1 ~]$ /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
               ONLINE  ONLINE       node5                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node5                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.244.153 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.node4.vip
      1        ONLINE  INTERMEDIATE node2                    FAILED OVER,STABLE
ora.node5.vip
      1        ONLINE  ONLINE       node5                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node2                    Open,STABLE
      2        ONLINE  ONLINE       node3                    Open,STABLE
      3        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                                           ABLE
      4        ONLINE  ONLINE       node5                    Open,STABLE
      5        ONLINE  ONLINE       node1                    Open,STABLE
ora.orcl.fuga.svc
      1        ONLINE  ONLINE       node3                    STABLE
      2        ONLINE  ONLINE       node2                    STABLE
ora.orcl.hoge.svc
      1        ONLINE  ONLINE       node5                    STABLE
      2        ONLINE  ONLINE       node1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
★node4が消えた

サーバー・プール状態
[oracle@node1 ~]$ srvctl status srvpool -detail
サーバー・プール名: Free
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: Generic
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: srvpool1
アクティブ・サーバー数: 2
アクティブ・サーバー名: node1,node5
NAME=node1 STATE=ONLINE
NAME=node5 STATE=ONLINE
サーバー・プール名: srvpool2
アクティブ・サーバー数: 2
アクティブ・サーバー名: node2,node3
NAME=node2 STATE=ONLINE
NAME=node3 STATE=ONLINE
★Freeプールからノード1がsrvpool1プールへ補填された

インスタンス状態
[oracle@node1 ~]$ srvctl status database -db orcl
インスタンスorcl_1はノードnode2で実行中です。
インスタンスorcl_2はノードnode3で実行中です。
インスタンスorcl_4はノードnode5で実行中です。
インスタンスorcl_5はノードnode1で実行中です。
★ノード4で起動していたインスタンス(orcl_3)が消えたが、新しくノード1でインスタンス(orcl_5)が起動している

サービス状態
[oracle@node1 ~]$ srvctl status service -db orcl
サービスfugaはノードで実行中です: node2,node3
サービスhogeはノードで実行中です: node5,node1
hogeサービスもnode5,node1で稼働している

2. hogeサービスでDBアクセス
[oracle@node1 ~]$ sqlplus system@HOGE
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl_4
OPEN
★問題なくDBアクセスできた

3. ノード4のCRS起動
[root@node4 ~]# /u01/app/12.1.0/grid/bin/crsctl start crs -wait

クラスタリソース状態
[oracle@node1 ~]$ /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
               ONLINE  ONLINE       node4                    Started,STABLE
               ONLINE  ONLINE       node5                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node5                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.244.153 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.node4.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.node5.vip
      1        ONLINE  ONLINE       node5                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node2                    Open,STABLE
      2        ONLINE  ONLINE       node3                    Open,STABLE
      3        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                                           ABLE
      4        ONLINE  ONLINE       node5                    Open,STABLE
      5        ONLINE  ONLINE       node1                    Open,STABLE
ora.orcl.fuga.svc
      1        ONLINE  ONLINE       node3                    STABLE
      2        ONLINE  ONLINE       node2                    STABLE
ora.orcl.hoge.svc
      1        ONLINE  ONLINE       node5                    STABLE
      2        ONLINE  ONLINE       node1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
★node4が復活している

サーバー・プール状態
[oracle@node1 ~]$ srvctl status srvpool -detail
サーバー・プール名: Free
アクティブ・サーバー数: 1
アクティブ・サーバー名: node4
NAME=node4 STATE=ONLINE
サーバー・プール名: Generic
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: srvpool1
アクティブ・サーバー数: 2
アクティブ・サーバー名: node1,node5
NAME=node1 STATE=ONLINE
NAME=node5 STATE=ONLINE
サーバー・プール名: srvpool2
アクティブ・サーバー数: 2
アクティブ・サーバー名: node2,node3
NAME=node2 STATE=ONLINE
NAME=node3 STATE=ONLINE
★Freeプールにノード4が補填された

インスタンス状態
[oracle@node1 ~]$ srvctl status database -db orcl
インスタンスorcl_1はノードnode2で実行中です。
インスタンスorcl_2はノードnode3で実行中です。
インスタンスorcl_4はノードnode5で実行中です。
インスタンスorcl_5はノードnode1で実行中です。

サービス状態
[oracle@node1 ~]$ srvctl status service -db orcl
サービスfugaはノードで実行中です: node2,node3
サービスhogeはノードで実行中です: node5,node1

DBアクセス
[oracle@node1 ~]$ sqlplus system@HOGE

SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl_4
OPEN
★問題なくDBアクセスできた

 

②srvpool1の片ノード停止、srvpool2の片ノード停止
srvpool1のノード5、srvpool2のノード3のCRS停止後、Freeプールからノード4が補填されるか検証します
ただし、Freeプールには1つしか空きノードがないため、どちらのサーバー・プールに補填されるか検証します
今回はサーバー・プールのIMPORTANCE(重要度)パラメータを検証します

【検証手順】
1. ノード3、ノード5のCRS停止
2. hogeサービス、fugaサービスでDBアクセス
3. ノード3、ノード5のCRS起動

【想定】
Freeプールからノード4がsrvpool2プールへ補填され、hogeサービス、fugaサービスでDBアクセスできるはず
※どちらのサーバー・プールもサーバーのMAX(最大数)パラメータが2ですが、srvpool2の方がIMPORTANCE(重要度)が高いため、優先的にサーバーが割り当てられると予想します

【検証結果】
Freeプールからノード4がsrvpool2プールへ補填され、hogeサービス、fugaサービスでDBアクセスできた

【作業ログ】

1. ノード3、ノード5のCRS停止
[root@node3 ~]# /u01/app/12.1.0/grid/bin/crsctl stop crs

[root@node5 ~]# /u01/app/12.1.0/grid/bin/crsctl stop crs

クラスタリソース状態
[oracle@node1 ~]$ /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node4                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node4                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node4                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node4                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node4                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node4                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node4                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.244.153 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  INTERMEDIATE node1                    FAILED OVER,STABLE
ora.node4.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.node5.vip
      1        ONLINE  INTERMEDIATE node2                    FAILED OVER,STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node2                    Open,STABLE
      2        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                                           ABLE
      3        ONLINE  ONLINE       node4                    Open,STABLE
      4        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                                           ABLE
      5        ONLINE  ONLINE       node1                    Open,STABLE
ora.orcl.fuga.svc
      1        ONLINE  ONLINE       node4                    STABLE
      2        ONLINE  ONLINE       node2                    STABLE
ora.orcl.hoge.svc
      1        ONLINE  OFFLINE                               STABLE
      2        ONLINE  ONLINE       node1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------
★node3、node5が消えた

サーバー・プール状態
[oracle@node1 ~]$ srvctl status srvpool -detail
サーバー・プール名: Free
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: Generic
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: srvpool1
アクティブ・サーバー数: 1
アクティブ・サーバー名: node1
NAME=node1 STATE=ONLINE
サーバー・プール名: srvpool2
アクティブ・サーバー数: 2
アクティブ・サーバー名: node2,node4
NAME=node2 STATE=ONLINE
NAME=node4 STATE=ONLINE
★Freeプールからノード4がsrvpool2プールへ補填された

インスタンス状態
[oracle@node1 ~]$ srvctl status database -db orcl
インスタンスorcl_1はノードnode2で実行中です。
インスタンスorcl_3はノードnode4で実行中です。
インスタンスorcl_5はノードnode1で実行中です。
★ノード3,5で起動していたインスタンス(orcl_2,orcl_4)が消えたが、新しくノード4でインスタンス(orcl_3)が起動している

サービス状態
[oracle@node1 ~]$ srvctl status service -db orcl
サービスfugaはノードで実行中です: node2,node4
サービスhogeはノードで実行中です: node1
hogeサービスもnode1で稼働している
★fugaサービスもnode2,node4で稼働している

2. hogeサービス、fugaサービスでDBアクセス
[oracle@node1 ~]$ sqlplus system@HOGE
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl_5
OPEN
★問題なくDBアクセスできた

[oracle@node1 ~]$ sqlplus system@FUGA
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl_3
OPEN
★問題なくDBアクセスできた

3. ノード3、ノード5のCRS起動
[root@node3 ~]# /u01/app/12.1.0/grid/bin/crsctl start crs -wait

[root@node5 ~]# /u01/app/12.1.0/grid/bin/crsctl start crs -wait

クラスタリソース状態
[oracle@node1 ~]$ /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
               ONLINE  ONLINE       node4                    Started,STABLE
               ONLINE  ONLINE       node5                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
               ONLINE  ONLINE       node4                    STABLE
               ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node4                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node5                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.244.153 192.
                                                                                 168.100.101,STABLE
ora.cvu
      1        ONLINE  ONLINE       node1                    STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.node4.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.node5.vip
      1        ONLINE  ONLINE       node5                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node2                    Open,STABLE
      2        ONLINE  OFFLINE                               Instance Shutdown,ST
                                                                           ABLE
      3        ONLINE  ONLINE       node4                    Open,STABLE
      4        ONLINE  ONLINE       node5                    Open,STABLE
      5        ONLINE  ONLINE       node1                    Open,STABLE
ora.orcl.fuga.svc
      1        ONLINE  ONLINE       node4                    STABLE
      2        ONLINE  ONLINE       node2                    STABLE
ora.orcl.hoge.svc
      1        ONLINE  ONLINE       node5                    STABLE
      2        ONLINE  ONLINE       node1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node4                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node5                    STABLE
--------------------------------------------------------------------------------
★node3,node5が復活している

サーバー・プール状態
[oracle@node1 ~]$ srvctl status srvpool -detail
サーバー・プール名: Free
アクティブ・サーバー数: 1
アクティブ・サーバー名: node3
NAME=node3 STATE=ONLINE
サーバー・プール名: Generic
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: srvpool1
アクティブ・サーバー数: 2
アクティブ・サーバー名: node1,node5
NAME=node1 STATE=ONLINE
NAME=node5 STATE=ONLINE
サーバー・プール名: srvpool2
アクティブ・サーバー数: 2
アクティブ・サーバー名: node2,node4
NAME=node2 STATE=ONLINE
NAME=node4 STATE=ONLINE
★srvpool1にノード5が補填され、Freeプールにノード3が補填された

インスタンス状態
[oracle@node1 ~]$ srvctl status database -db orcl
インスタンスorcl_1はノードnode2で実行中です。
インスタンスorcl_3はノードnode4で実行中です。
インスタンスorcl_4はノードnode5で実行中です。
インスタンスorcl_5はノードnode1で実行中です。

サービス状態
[oracle@node1 ~]$ srvctl status service -db orcl
サービスfugaはノードで実行中です: node2,node4
サービスhogeはノードで実行中です: node5,node1

DBアクセス
[oracle@node1 ~]$ sqlplus system@HOGE
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl_5
OPEN
★問題なくDBアクセスできた

[oracle@node1 ~]$ sqlplus system@FUGA
SQL> select instance_name,status from v$instance;

INSTANCE_NAME
------------------------------------------------
STATUS
------------------------------------
orcl_3
OPEN
★問題なくDBアクセスできた