忘れかけのIT備忘録

今まで学んできた知識や小技、なるほど!と思ったことをメモするブログです。

RACのノード削除検証(全ノードから製品削除)

RACのノード削除検証 - 忘れかけのIT備忘録では特定ノードから製品を削除する検証をしましたが、全ノードから製品を削除する検証もしたので書こうと思います。

■検証環境
OS:Oracle Linux 6.5
GI:Oracle Grid Infrastructure 12c Release 1 (12.1.0.2.0) Enterprise Edition
DB:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型DB)

■前提
・SCANを使用しています
DNSサーバはdnsmasqを使用しています

■設定情報

クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node3                    169.254.240.222 192.
                                                                                 168.100.103,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node3                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node2                    STABLE
ora.orcl.db
      1        ONLINE  ONLINE       node1                    Open,STABLE
      2        ONLINE  ONLINE       node2                    Open,STABLE
      3        ONLINE  ONLINE       node3                    Open,STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node2                    STABLE
--------------------------------------------------------------------------------

 

■検証パターン
①全ノードから製品(Grid Infrastructure、Database)を削除

■検証
①全ノードから製品(Grid Infrastructure、Database)を削除
3ノードRAC構成から製品削除ツール(deinstall)を使用して全ノードから製品(Grid Infrastructure、Database)を削除できるか検証します

【検証手順】
1. ノード1で削除ツール(deinstall)実行してGridホーム削除
2. ノード1で削除ツール(deinstall)実行してRACホーム削除
※GridホームはGrid Infrastructure、RACホームはDatabaseが入っています

【想定】
全ノードから製品を削除できるはず

【検証結果】
全ノードから製品を削除できた

【作業ログ】

1. ノード1で削除ツール(deinstall)実行してGridホーム削除
[oracle@node1 ~]$ cd /u01/app/oracle/product/12.1.0/dbhome_1/deinstall/
[oracle@node1 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
ログの場所/u01/app/oraInventory/logs/

############ ORACLE DECONFIG TOOL START ############
(中略)
このOracleホームで構成されているデータベース名のリストを指定してください [orcl]: 内の値で正しければ何も入力せずEnter
(中略)
データベースorclの詳細は自動的に検出されました。orclデータベースの詳細を変更しますか。 [n]: ★変更しないなら何も入力せずEnter
(中略)
CCRの構成ステータスをチェックしています
node1 : CCRディレクトリがあるOracleホームは存在しますが、CCRが構成されていません
node2 : CCRディレクトリがあるOracleホームは存在しますが、CCRが構成されていません
node3 : CCRディレクトリがあるOracleホームは存在しますが、CCRが構成されていません
CCRチェックが終了しました
続行しますか (y - はい、n - いいえ) [n]: y ★続行するならyを入力してEnter
(中略)

Oracle削除ツールによって一時ディレクトリが正常にクリーンアップされました。
#######################################################################

############# ORACLE DEINSTALL TOOL END #############

この時点でクラスタリソース確認 ※ノード2・3も同様の結果
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.DATA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.FRA.dg
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.asm
               ONLINE  ONLINE       node1                    Started,STABLE
               ONLINE  ONLINE       node2                    Started,STABLE
               ONLINE  ONLINE       node3                    Started,STABLE
ora.net1.network
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
ora.ons
               ONLINE  ONLINE       node1                    STABLE
               ONLINE  ONLINE       node2                    STABLE
               ONLINE  ONLINE       node3                    STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       node2                    STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       node3                    STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       node1                    STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       node1                    169.254.243.236 192.
                                                             168.100.101,STABLE
ora.cvu
      1        OFFLINE OFFLINE                               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       node1                    Open,STABLE
ora.node1.vip
      1        ONLINE  ONLINE       node1                    STABLE
ora.node2.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.node3.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.oc4j
      1        ONLINE  ONLINE       node1                    STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       node2                    STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       node3                    STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       node1                    STABLE
--------------------------------------------------------------------------------
★DBリソースが消えました

2. ノード1で削除ツール(deinstall)実行してRACホーム削除
[grid@node1 ~]$ cd /u01/app/12.1.0/grid/deinstall/
[grid@node1 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
ログの場所/home/grid/tmp/deinstall2022-09-22_04-17-39PM/logs/

############ ORACLE DECONFIG TOOL START ############


######################### DECONFIG CHECK OPERATION START #########################
## [開始] インストールの構成確認 ##
(中略)
構成解除するすべてのRACリスナー(SCANリスナーは含まない)を指定してください。すべてを選択解除するにはドット(.)を入力します。[LISTENER]: 内の値で正しければ何も入力せずEnter
(中略)
ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループおよびそのコンテンツが削除されます。これは、このASMインスタンスを使用するすべてのデータベースおよびACFSに影響します。
 既存のディスク・グループを保持する場合、または検出された情報が正しくない場合、'y'と入力することにより、変更できます。前述の情報(y|n)を変更しますか [n]: ★変更しないなら何も入力せずEnter
(中略)
ASMインスタンスはこのOracleホームから構成解除されます
Oracle Grid Managementデータベースがこのグリッド・インフラストラクチャ・ホームにあります
Oracle Grid Managementデータベースはこのグリッド・インフラストラクチャ・ホームから構成解除されます
続行しますか (y - はい、n - いいえ) [n]: y ★続行するならyを入力してEnter
(中略)

すべてのノードでバックアップ・ファイルの構成解除中です...
バックアップ・ファイルが正常に構成解除されました。

ネットワーク構成が正常にクリーンアップされました。

ネットワーク構成クリーニング構成END


---------------------------------------->

下のdeconfigコマンドは、すべてのリモート・ノードでパラレルで実行できます。すべてのリモート・ノードで実行が完了した後に、ローカル・ノードでコマンドを実行します。

ノード"node3"のrootユーザーまたは管理者として次のコマンドを実行します。

/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/bin/perl -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/lib -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install /home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/home/grid/tmp/deinstall2022-09-22_04-17-39PM/response/deinstall_OraGI12Home1.rsp"

ノード"node2"のrootユーザーまたは管理者として次のコマンドを実行します。

/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/bin/perl -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/lib -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install /home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/home/grid/tmp/deinstall2022-09-22_04-17-39PM/response/deinstall_OraGI12Home1.rsp"

ノード"node1"のrootユーザーまたは管理者として次のコマンドを実行します。

/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/bin/perl -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/perl/lib -I/home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install /home/grid/tmp/deinstall2022-09-22_04-17-39PM/crs/install/rootcrs.pl -force  -deconfig -paramfile "/home/grid/tmp/deinstall2022-09-22_04-17-39PM/response/deinstall_OraGI12Home1.rsp" -lastnode

前述のコマンドを実行した後、[Enter]を押します

<----------------------------------------
★全ノードで別ウィンドウでコマンド実行後、Enter
 Enter押下後、処理が続行される
(中略)

Oracle Universal Installerのクリーンアップは終了しましたがエラーがあります。


セッション終了時にノード'node1'でrootとして'rm -r /etc/oraInst.loc'を実行します。

セッション終了時に、ノード'node1,node2,node3'でルートとして'rm -r /opt/ORCLfmap'を実行してください。
Oracle削除ツールによって一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL TOOL END #############

この時点でクラスタリソース確認 ※ノード2・3も同様の結果
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
-bash: /u01/app/12.1.0/grid/bin/crsctl: そのようなファイルやディレクトリはありません

ノード1でファイル削除
[root@node1 ~]# rm -r /etc/oraInst.loc
rm: remove 通常ファイル `/etc/oraInst.loc'? y

全ノードでファイル削除
[root@node1 ~]# rm -r /opt/ORCLfmap
rm: descend into directory `/opt/ORCLfmap'? y
rm: descend into directory `/opt/ORCLfmap/prot1_64'? y
rm: descend into directory `/opt/ORCLfmap/prot1_64/bin'? y
rm: remove 通常ファイル `/opt/ORCLfmap/prot1_64/bin/fmputl'? y
rm: remove 通常ファイル `/opt/ORCLfmap/prot1_64/bin/fmputlhp'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64/bin'? y
rm: descend into directory `/opt/ORCLfmap/prot1_64/etc'? y
rm: remove 通常ファイル `/opt/ORCLfmap/prot1_64/etc/filemap.ora'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64/etc'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64/log'? y
rm: remove ディレクトリ `/opt/ORCLfmap/prot1_64'? y
rm: remove ディレクトリ `/opt/ORCLfmap'? y

 

■トラブル
全ノードから製品削除後、OUIでGrid Infrastructure再インストール中にインベントリ設定で失敗する事象がありました (画像取るのを忘れました)

<エラー内容>
[INS-32035]新しい中央インベントリ。ディレクトリ/u01/app/oraInventoryを作成できません。
[INS-32040]指定されたセントラル・インベントリの場所はリモート・ノード[node1]上で空ではありません。

<原因>
ノード1の/u01/app/oraInventory配下にdeinstallしたときのログが残っているのが原因でした

<対応>
再インストール時は/u01/app/oraInventory配下は空じゃないと駄目なのでログは削除しました
ログ削除後はインストールを進めることができました

■おわりに
全ノードから製品(Grid Infrastructure、Database)が削除されました。

製品を再インストールする場合、またGrid Infrastructure、DatabaseでそれぞれOUIを実行する必要があります。