ACFS検証 - 忘れかけのIT備忘録

ACFSについて、机上の知識はあるものの、実務経験が無いため、実際の動きを検証してみました。

ACFS(ASM Cluster File System:ASMクラスタファイルシステム)は、11gR2の新機能でADVM(ASM Dynamic Volume Manager:ASM動的ボリュームマネージャ)で管理されるボリューム上にのみ作成できる共有ストレージ向けクラスタファイルシステムです。
ASMファイルとして扱えないファイル(※1)を格納でき、ディレクトリを作成してACFSにマウントすることで通常のファイルシステムのように使用できます。

ACFSを使用する場合、ADVM管理対象ボリュームを含むディスク・グループのCOMPATIBLE.ASMとCOMPATIBLE.ADVMを11.2以上にする必要があります。(asmcmdのsetattr、SQL*Plusのalter diskgroupどちらでも設定できます)
なお、COMPATIBLE.ADVMはASM動的ボリューム作成時に自動的に設定されます。
また、ACFS暗号化、レプリケーション、セキュリティ、タグ付けを使用する場合、COMPATIBLE.ASMとCOMPATIBLE.ADVMを11.2.0.2以上にする必要があります。

【補足】
・ACFSはASMが提供する機能なのでファイルのストライピングやミラーリングも可能です
・ADVMはボリューム管理とディスクデバイスとしてのインタフェースを提供します。(LinuxのLVMみたいなイメージ)
・ACFSを使用する場合、COMPATIBLE設定以外にADVM、カーネルモジュール(oracleoks、oracleadvm、oracleacfs)が必要です。(Grid Infrastructureインストール時に一緒にインストールされます)

(※1)ASMファイルとして扱えないファイル
・Oracleソフトウェアなどの実行可能ファイル
・アラートログ、トレースファイル、PFILEなどのテキストファイル
・外部表のデータファイル
・BFILE
など

なお、サポート対象外ですが11.2.0.3以降は下記ファイルも格納できます。
・RMANバックアップセット
・アーカイブログファイル
・DataPumpダンプファイル
※ただし、オラクルマスター教科書 Oracle Expert RAC 11gR2には「直接ASMファイルとして作成できるDBファイルやRMANバックアップファイルなどはACFSに配置するべきではない」と記載されています

■検証環境
OS：Oracle Linux 6.5
GI:Oracle Grid Infrastructure 12c Release 1 (12.1.0.2.0) Enterprise Edition
DB:Oracle Database 12c Release 1 (12.1.0.2.0) Enterprise Edition
※3ノードRAC(管理者管理型DB)

■前提
・ASMの冗長構成は標準冗長性(2多重)

■設定情報

クラスタリソース情報
[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.DATA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.FRA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.asm
ONLINE ONLINE node1 Started,STABLE
ONLINE ONLINE node2 Started,STABLE
ONLINE ONLINE node3 Started,STABLE
ora.net1.network
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.ons
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE node2 STABLE
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE node3 STABLE
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE node1 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE node1 169.254.243.236 192.
168.100.101,STABLE
ora.cvu
1 OFFLINE OFFLINE STABLE
ora.mgmtdb
1 ONLINE ONLINE node1 Open,STABLE
ora.node1.vip
1 ONLINE ONLINE node1 STABLE
ora.node2.vip
1 ONLINE ONLINE node2 STABLE
ora.node3.vip
1 ONLINE ONLINE node3 STABLE
ora.oc4j
1 ONLINE ONLINE node1 STABLE
ora.orcl.db
1 ONLINE ONLINE node1 Open,STABLE
2 ONLINE ONLINE node2 Open,STABLE
3 ONLINE ONLINE node3 Open,STABLE
ora.scan1.vip
1 ONLINE ONLINE node2 STABLE
ora.scan2.vip
1 ONLINE ONLINE node3 STABLE
ora.scan3.vip
1 ONLINE ONLINE node1 STABLE
--------------------------------------------------------------------------------

DATAディスク・グループ(ACFS作成対象)の属性情報
#asmcmdで確認
ASMCMD [+] > lsattr -l -G DATA
Name Value
access_control.enabled FALSE
access_control.umask 066
au_size 1048576
cell.smart_scan_capable FALSE
compatible.asm 12.1.0.0.0
compatible.rdbms 10.1.0.0.0
content.check FALSE
content.type data
disk_repair_time 3.6h
failgroup_repair_time 24.0h
idp.boundary auto
idp.type dynamic
phys_meta_replicated true
sector_size 512
thin_provisioned FALSE

#SQL*Plusで確認
SQL> select
2 GROUP_NUMBER, NAME, STATE, TYPE, COMPATIBILITY, DATABASE_COMPATIBILITY, VOTING_FILES
3 from
4 v$asm_diskgroup g
5 order by
6 GROUP_NUMBER;

GROUP_NUMBER NAME STATE TYPE COMPATIBILITY DATABASE_COMPATIBILI VOT
------------ ---------- -------------------- ------------------ -------------------- -------------------- ---
1 CRS MOUNTED NORMAL 12.1.0.0.0 10.1.0.0.0 Y
2 DATA MOUNTED NORMAL 12.1.0.0.0 10.1.0.0.0 N
3 FRA MOUNTED NORMAL 12.1.0.0.0 10.1.0.0.0 N

■検証パターン
①ACFS作成
②ACFSスナップショット作成
③ACFSスナップショット削除
④ACFS削除

■検証
①ACFS作成
ACFS作成後、ACFSマウントポイント配下にファイルを作成・更新できるか検証します

【検証手順】
1. ACFSマウントポイントにするディレクトリ作成
2. ASM動的ボリューム作成
3. ACFSの作成
4. ACFSマウント
5. ACFSマウントポイントをレジストリに登録
6. ACFSリソースをCRSに登録
7. ACFSマウントポイント配下にファイル作成・更新

【想定】
ACFSが作成され、ACFSマウントポイント配下にファイルを作成・更新できるはず

【検証結果】
ACFSが作成され、ACFSマウントポイント配下にファイルを作成・更新できた

【作業ログ】

1. ACFSマウントポイントにするディレクトリ作成
[root@node1 ~]# mkdir -p /home/grid/images
[root@node1 ~]# chmod 777 /home/grid/images
[root@node1 ~]$ ls -ld /home/grid/images
drwxrwxrwx 4 root root 4096 9月 20 13:56 2022 /home/grid/images

2. ASM動的ボリューム作成
[grid@node1 ~]$ asmcmd -p
ASMCMD [+] > volinfo -G DATA images
volume images not found in diskgroup DATA
ASMCMD [+] > volcreate -G DATA -s 300M images
ASMCMD [+] > volinfo -G DATA images
Diskgroup Name: DATA

Volume Name: IMAGES
Volume Device: /dev/asm/images-261
State: ENABLED
Size (MB): 320
Resize Unit (MB): 64
Redundancy: MIRROR
Stripe Columns: 8
Stripe Width (K): 1024
Usage:
Mountpath:

SQL> select volume_name, volume_device from v$asm_volume where volume_name = 'IMAGES';

VOLUME_NAME VOLUME_DEVICE
------------------------------ ------------------------------
IMAGES /dev/asm/images-261

[grid@node1 ~]$ ls -l /dev/asm
合計 0
brwxrwx--- 1 root asmadmin 251, 133633 9月 20 13:37 2022 images-261

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.DATA.IMAGES.advm
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.DATA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.FRA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.asm
ONLINE ONLINE node1 Started,STABLE
ONLINE ONLINE node2 Started,STABLE
ONLINE ONLINE node3 Started,STABLE
ora.net1.network
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.ons
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE node2 STABLE
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE node3 STABLE
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE node1 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE node1 169.254.243.236 192.
168.100.101,STABLE
ora.cvu
1 OFFLINE OFFLINE STABLE
ora.mgmtdb
1 ONLINE ONLINE node1 Open,STABLE
ora.node1.vip
1 ONLINE ONLINE node1 STABLE
ora.node2.vip
1 ONLINE ONLINE node2 STABLE
ora.node3.vip
1 ONLINE ONLINE node3 STABLE
ora.oc4j
1 ONLINE ONLINE node1 STABLE
ora.orcl.db
1 ONLINE ONLINE node1 Open,STABLE
2 ONLINE ONLINE node2 Open,STABLE
3 ONLINE ONLINE node3 Open,STABLE
ora.scan1.vip
1 ONLINE ONLINE node2 STABLE
ora.scan2.vip
1 ONLINE ONLINE node3 STABLE
ora.scan3.vip
1 ONLINE ONLINE node1 STABLE
--------------------------------------------------------------------------------

3. ACFSの作成
[grid@node1 ~]$ mkfs -t acfs /dev/asm/images-261
mkfs.acfs: バージョン = 12.1.0.2.0
mkfs.acfs: ディスク上のバージョン = 39.0
mkfs.acfs: ボリューム = /dev/asm/images-261
mkfs.acfs: ボリューム・サイズ = 335544320 ( 320.00 MB )
mkfs.acfs: フォーマットが完了しました。

4. ACFSマウント
マウント前
[root@node1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_node1-lv_root 31G 20G 9.0G 69% /
tmpfs 2.0G 620M 1.4G 32% /dev/shm
/dev/sda1 477M 55M 397M 13% /boot

マウント
[root@node1 ~]# mount -t acfs /dev/asm/images-261 /home/grid/images

マウント後
[root@node1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_node1-lv_root 31G 20G 9.0G 69% /
tmpfs 2.0G 621M 1.4G 32% /dev/shm
/dev/sda1 477M 55M 397M 13% /boot
/dev/asm/images-261 320M 40M 281M 13% /home/grid/images

ACFSマウントポイント情報確認
[grid@node1 ~]$ acfsutil info fs /home/grid/images/
/home/grid/images/
ACFSバージョン: 12.1.0.2.0
ディスク上のバージョン: 39.0
フラグ: MountPoint,Available
マウント時間: Tue Sep 20 13:51:16 2022
割当て単位: 4096
ボリューム: 1
合計サイズ: 335544320 ( 320.00 MB )
合計空き領域: 147791872 ( 140.94 MB )
ファイル・エントリ表の割当て: 65536
プライマリ・ボリューム: /dev/asm/images-261
ラベル:
状態: Available
メジャー、マイナー: 251、133633
サイズ: 335544320 ( 320.00 MB )
空き領域: 147791872 ( 140.94 MB )
ADVMディスクグループ DATA
ADVMサイズ変更の増分: 67108864
ADVMの冗長性: mirror
ADVMのストライブ列: 8
ADVMのストライブ幅: 1048576
スナップショット数: 1
スナップショットの領域使用量: 69632 ( 68.00 KB )
レプリケーション・ステータス: DISABLED

[root@node1 ~]# ls -l /home/grid/images
合計 64
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found
★ACFSマウントポイントへアクセスできた

5. ACFSマウントポイントをレジストリに登録
通常のファイルシステムは/etc/fstabで自動マウント設定しますが、ACFSはASMインスタンス起動後にマウントする必要があるため、/etc/fstabでは設定できません。
なので、ASMインスタンス起動後に自動マウントさせるため、ACFSレジストリに登録します

登録前
[root@node1 ~]# /sbin/acfsutil registry -l

登録
[root@node1 ~]# /sbin/acfsutil registry -a /dev/asm/images-261 /home/grid/images
acfsutil registry: mount point /home/grid/images successfully added to Oracle Registry

登録後
[root@node1 ~]# /sbin/acfsutil registry -l
Device : /dev/asm/images-261 : Mount Point : /home/grid/images : Options : none : Nodes : all : Disk Group : DATA : Volume : IMAGES
★lオプションだと1行で表示されてしまうため、オプションなしで再度確認
[root@node1 ~]# /sbin/acfsutil registry
Mount Object:
Device: /dev/asm/images-261
Mount Point: /home/grid/images
Disk Group: DATA
Volume: IMAGES
Options: none
Nodes: all

6. ACFSリソースをCRSに登録
ACFSマウントポイントをOracleホームとして使用する場合、DB起動前にACFSがマウントされていないとDB起動できないため、srvctl add filesystemでACFSマウントポイントをOracle clusterwareに登録する必要があります

登録
[root@node1 ~]# /u01/app/12.1.0/grid/bin/srvctl add filesystem -d /dev/asm/images-261 -m /home/grid/images -g DATA -v IMAGES
PRCA-1022 : ACFSファイルシステム・リソースは、ディスク・グループdataおよびボリュームimagesにすでに存在します
★検証環境が12.1だからかもしれませんが、すでに登録されていたようです

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.DATA.IMAGES.advm
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.DATA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.FRA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.asm
ONLINE ONLINE node1 Started,STABLE
ONLINE ONLINE node2 Started,STABLE
ONLINE ONLINE node3 Started,STABLE
ora.data.images.acfs
ONLINE ONLINE node1 mounted on /home/gri
d/images,STABLE
ONLINE ONLINE node2 mounted on /home/gri
d/images,STABLE
ONLINE ONLINE node3 mounted on /home/gri
d/images,STABLE
ora.net1.network
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.ons
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE node2 STABLE
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE node3 STABLE
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE node1 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE node1 169.254.243.236 192.
168.100.101,STABLE
ora.cvu
1 OFFLINE OFFLINE STABLE
ora.mgmtdb
1 ONLINE ONLINE node1 Open,STABLE
ora.node1.vip
1 ONLINE ONLINE node1 STABLE
ora.node2.vip
1 ONLINE ONLINE node2 STABLE
ora.node3.vip
1 ONLINE ONLINE node3 STABLE
ora.oc4j
1 ONLINE ONLINE node1 STABLE
ora.orcl.db
1 ONLINE ONLINE node1 Open,STABLE
2 ONLINE ONLINE node2 Open,STABLE
3 ONLINE ONLINE node3 Open,STABLE
ora.scan1.vip
1 ONLINE ONLINE node2 STABLE
ora.scan2.vip
1 ONLINE ONLINE node3 STABLE
ora.scan3.vip
1 ONLINE ONLINE node1 STABLE
--------------------------------------------------------------------------------

7. ACFSマウントポイント配下にファイル作成・更新
7-1. ノード1でファイル作成・更新
[grid@node1 ~]$ ls -l /home/grid/images/
合計 64
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found
[grid@node1 ~]$ echo "Hello, Oracle! by node1" >> /home/grid/images/acfstest.txt
[grid@node1 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall 24 9月 20 14:19 2022 acfstest.txt
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found
[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
★ACFSマウントポイントにファイル作成・更新できました

7-2. ノード2でファイル作成・更新
[grid@node2 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall 24 9月 20 14:19 2022 acfstest.txt
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found
[grid@node2 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
★ノード1で更新した内容が見れています

[grid@node2 ~]$ echo "Hello, Oracle! by node2" >> /home/grid/images/acfstest.txt
[grid@node2 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2

7-3. ノード3でファイル作成・更新
[grid@node3 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall 47 9月 20 14:19 2022 acfstest.txt
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found
[grid@node3 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
★ノード2で更新した内容が見れています

[grid@node3 ~]$ echo "Hello, Oracle! by node3" >> /home/grid/images/acfstest.txt
[grid@node3 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3

ノード1の最終的なacfstest.txtの内容　※ノード2・3も同様
[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
★全ノードで共通の内容が見れています

②ACFSスナップショット作成
ACFSスナップショットは特定の時点のACFSのコピーで、ファイルシステムごとに作成できます
バックアップツールとしても使用できます

【検証手順】
1. ACFSスナップショット作成
2. ACFSマウントポイント配下に作成したファイル(オリジナル)更新

【想定】
ACFSスナップショット作成できるはず
ACFSマウントポイント配下に作成したファイル(オリジナル)を更新してもACFSスナップショットは更新されないはず

【検証結果】
ACFSスナップショット作成できた
ACFSマウントポイント配下に作成したファイル(オリジナル)を更新してもACFSスナップショットは更新されなかった

【作業ログ】

1. ACFSスナップショット作成
作成前
[grid@node1 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall 72 9月 20 14:21 2022 acfstest.txt
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found

作成
[grid@node1 ~]$ acfsutil snap create snap1 /home/grid/images
acfsutil snap create: スナップショットの操作が完了しました。

作成後
[grid@node1 ~]$ ls -l /home/grid/images/
合計 68
-rw-r--r-- 1 grid oinstall 72 9月 20 14:21 2022 acfstest.txt
drwx------ 2 root root 65536 9月 20 13:56 2022 lost+found
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS
drwxrwx--- 6 root root 4096 9月 20 13:56 2022 repl
drwxr-xr-x 3 root root 4096 9月 20 14:25 2022 snaps
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps
合計 4
drwxrwxrwx 4 root root 4096 9月 20 14:25 2022 snap1
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1/
合計 4
-rw-r--r-- 1 grid oinstall 72 9月 20 14:21 2022 acfstest.txt
[grid@node1 ~]$ cat /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
[grid@node1 ~]$ acfsutil snap info snap1 /home/grid/images/
スナップショット名: snap1
スナップショットの場所: /home/grid/images/.ACFS/snaps/snap1
ROスナップショットまたはRWスナップショット: RO
親の名前: /home/grid/images/
スナップショット作成時刻: Tue Sep 20 14:25:00 2022
★ACFSスナップショットが作成された

2. ACFSマウントポイント配下に作成したファイル(オリジナル)更新
ACFSマウントポイント配下に作成したファイル(オリジナル)を更新しても、ACFSスナップショットには影響しない(更新されない)ことを確認します

ファイル(オリジナル)更新
[grid@node1 ~]$ echo "hoge,fuga,piyo" >> /home/grid/images/acfstest.txt
[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
hoge,fuga,piyo

[grid@node1 ~]$ ls -l /home/grid/images/acfstest.txt
-rw-r--r-- 1 grid oinstall 87 9月 20 14:34 2022 /home/grid/images/acfstest.txt

[grid@node1 ~]$ cat /home/grid/images/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
hoge,fuga,piyo
★ファイル(オリジナル)が更新された

ACFSスナップショット確認
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
-rw-r--r-- 1 grid oinstall 72 9月 20 14:21 2022 /home/grid/images/.ACFS/snaps/snap1/acfstest.txt

[grid@node1 ~]$ cat /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
Hello, Oracle! by node1
Hello, Oracle! by node2
Hello, Oracle! by node3
★ACFSスナップショットは更新されていない

③ACFSスナップショット削除
ACFSスナップショットを削除できるか検証します

【検証手順】
1. ACFSスナップショット削除

【想定】
ACFSスナップショットが削除できるはず

【検証結果】
ACFSスナップショットが削除できた

【作業ログ】

1. ACFSスナップショット削除
削除前
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/
合計 4
drwxrwxrwx 4 root root 4096 9月 20 14:25 2022 snap1
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1
合計 4
-rw-r--r-- 1 grid oinstall 72 9月 20 14:21 2022 acfstest.txt
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
-rw-r--r-- 1 grid oinstall 72 9月 20 14:21 2022 /home/grid/images/.ACFS/snaps/snap1/acfstest.txt
[grid@node1 ~]$ acfsutil snap info snap1 /home/grid/images/
スナップショット名: snap1
スナップショットの場所: /home/grid/images/.ACFS/snaps/snap1
ROスナップショットまたはRWスナップショット: RO
親の名前: /home/grid/images/
スナップショット作成時刻: Tue Sep 20 14:25:00 2022

削除
[grid@node1 ~]$ #ACFSスナップショット削除
[grid@node1 ~]$ acfsutil snap delete snap1 /home/grid/images
acfsutil snap delete: スナップショットの操作が完了しました。

削除後
[grid@node1 ~]$ acfsutil snap info snap1 /home/grid/images/
acfsutil snap info: ACFS-03051: スナップショットsnap1は存在しません。
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS
合計 8
drwxrwx--- 6 root root 4096 9月 20 13:56 2022 repl
drwxr-xr-x 2 root root 4096 9月 20 14:45 2022 snaps
[grid@node1 ~]$ ls -l /home/grid/images/.ACFS/snaps/
合計 0
★ACFSスナップショットは削除された

④ACFS削除
作成したACFS削除後、ACFSマウントポイント配下に作成したファイルも削除されているか検証します

【検証手順】
1. ACFSマウントポイントレジストリ解除
2. ACFSマウントポイントのアンマウント(全ノード)
3. ACFSファイルシステム削除
4. ボリューム無効化

【想定】
ACFSが削除され、ACFSマウントポイント配下に作成したファイルも削除されるはず

【検証結果】
ACFSが削除され、ACFSマウントポイント配下に作成したファイルも削除された

【作業ログ】

1. ACFSマウントポイントレジストリ解除
[root@node1 ~]# /sbin/acfsutil registry -l
Device : /dev/asm/images-261 : Mount Point : /home/grid/images : Options : none : Nodes : all : Disk Group : DATA : Volume : IMAGES
[root@node1 ~]# /sbin/acfsutil registry
Mount Object:
Device: /dev/asm/images-261
Mount Point: /home/grid/images
Disk Group: DATA
Volume: IMAGES
Options: none
Nodes: all
[root@node1 ~]# /sbin/acfsutil registry -d /home/grid/images
acfsutil registry: successfully removed ACFS mount point /home/grid/images from Oracle Registry
[root@node1 ~]# /sbin/acfsutil registry -l
[root@node1 ~]# /sbin/acfsutil registry

2. ACFSマウントポイントのアンマウント(全ノード)
[root@node1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_node1-lv_root 31G 20G 9.0G 69% /
tmpfs 2.0G 621M 1.4G 32% /dev/shm
/dev/sda1 477M 55M 397M 13% /boot
[root@node1 ~]# umount /home/grid/images
umount: /home/grid/images: マウントされていません
★ACFSマウントポイントレジストリ解除時点で全ノードともアンマウントされていた

3. ACFSファイルシステム削除
後続でボリューム削除しない場合のみ実施します。ボリューム削除するとファイルシステムも削除されます

[root@node1 ~]# /sbin/acfsutil rmfs /dev/asm/images-261

4. ボリューム無効化
[grid@node1 ~]$ asmcmd -p
ASMCMD [+] > volinfo -G data -a
Diskgroup Name: DATA

Volume Name: IMAGES
Volume Device: /dev/asm/images-261
State: ENABLED
Size (MB): 320
Resize Unit (MB): 64
Redundancy: MIRROR
Stripe Columns: 8
Stripe Width (K): 1024
Usage:
Mountpath:

ASMCMD [+] > voldisable -G data images
ASMCMD [+] > volinfo -G data -a
Diskgroup Name: DATA

Volume Name: IMAGES
Volume Device: /dev/asm/images-261
State: DISABLED
Size (MB): 320
Resize Unit (MB): 64
Redundancy: MIRROR
Stripe Columns: 8
Stripe Width (K): 1024
Usage:
Mountpath:

ASMCMD [+] > voldelete -G DATA images
ASMCMD [+] > volinfo -G data -a
diskgroup data has no volumes or is not mounted
★ASMボリュームが削除された

[root@node1 ~]# /u01/app/12.1.0/grid/bin/crsctl stat res -t
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.DATA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.FRA.dg
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.LISTENER.lsnr
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.asm
ONLINE ONLINE node1 Started,STABLE
ONLINE ONLINE node2 Started,STABLE
ONLINE ONLINE node3 Started,STABLE
ora.net1.network
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
ora.ons
ONLINE ONLINE node1 STABLE
ONLINE ONLINE node2 STABLE
ONLINE ONLINE node3 STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
1 ONLINE ONLINE node2 STABLE
ora.LISTENER_SCAN2.lsnr
1 ONLINE ONLINE node3 STABLE
ora.LISTENER_SCAN3.lsnr
1 ONLINE ONLINE node1 STABLE
ora.MGMTLSNR
1 ONLINE ONLINE node1 169.254.243.236 192.
168.100.101,STABLE
ora.cvu
1 OFFLINE OFFLINE STABLE
ora.mgmtdb
1 ONLINE ONLINE node1 Open,STABLE
ora.node1.vip
1 ONLINE ONLINE node1 STABLE
ora.node2.vip
1 ONLINE ONLINE node2 STABLE
ora.node3.vip
1 ONLINE ONLINE node3 STABLE
ora.oc4j
1 ONLINE ONLINE node1 STABLE
ora.orcl.db
1 ONLINE ONLINE node1 Open,STABLE
2 ONLINE ONLINE node2 Open,STABLE
3 ONLINE ONLINE node3 Open,STABLE
ora.scan1.vip
1 ONLINE ONLINE node2 STABLE
ora.scan2.vip
1 ONLINE ONLINE node3 STABLE
ora.scan3.vip
1 ONLINE ONLINE node1 STABLE
--------------------------------------------------------------------------------

[root@node1 ~]# ls -l /home/grid/images/
合計 0
★ACFSマウントポイント配下のファイルも削除された

■参考資料
・オラクルマスター教科書 Oracle Expert RAC 11gR2