カテゴリー: Linux – システム管理

LVM2 スナップショットのスナップショット機能を使った安全なファイルシステムバックアップの方法
スナップショット先のデータは変更されないので安全にバックアップが取得できる。
（ファイルシステムよりシステムよりのLVMの層でオリジナルデータと一緒に変更管理を行っているため、小容量で安全にできる）
○ 検証環境作成
# mke2fs -j /dev/testvg/testlv1
# mount /dev/testvg/testlv1 /mnt/test
# echo "aaaaaa" > /mnt/test/aaaaaa
# echo "bbbbbb" > /mnt/test/bbbbbb
○ lvスナップショット
※mysqlなどのデータベースならここでロックをかける。「FLUSH TABLES WITH READ LOCK;」
# lvcreate -s -L 32M -n snaptestlv /dev/testvg/testlv1
Logical volume "snaptestlv" created
※mysqlなどのデータベースならここでロックを解除。「UNLOCK TABLES;」
○ スナップショット取得検証
オリジナルデータの変更
# echo "cccccc" > /mnt/test/cccccc
# echo "bbbaaa" > /mnt/test/bbbbbb
○ スナップショットのデータの確認
# mkdir /mnt/snaptest
# mount /dev/testvg/snaptestlv /mnt/snaptest
# ls /mnt/snaptest
aaaaa bbbbbb lost+found
# cat /mnt/snaptest/bbbbbb
bbbbbb
# cat /proc/mounts
/dev/testvg/testlv1 /mnt/test ext3 rw 0 0
/dev/testvg/snaptestlv /mnt/snaptest ext3 rw 0 0
# umount /mnt/snaptest
# lvm lvdisplay testvg
--- Logical volume ---
LV Name /dev/testvg/snaptestlv
VG Name testvg
LV UUID yoJjdE-LVJE-LHN1-zrBu-u8bB-ra3R-ijQn0Z
LV Write Access read/write
LV snapshot status active destination for /dev/testvg/testlv1
LV Status available
# open 0
LV Size 32.00 MB
Current LE 8
COW-table size 32.00 MB
COW-table LE 8
Allocated to snapshot 0.29% ←スナップショット先lvの使用率 オリジナルデータを変更するほど増加
Snapshot chunk size 8.00 KB
Segments 1
Allocation inherit
Read ahead sectors 0
Block device 253:5

○ スナップショット先のファイルシステムバックアップ
# dump 0f /tmp/testlv.dmp /dev/testvg/snaptestlv
# lvm lvremove /dev/testvg/snaptestlv
※スナップショット先のlvを消さないと、いつまでもlvの古いデータコピーを続ける
○ バックアップデータの検証
# rm /mnt/test/*
# cd /mnt/test
# restore rf /tmp/testlv.dmp
# ls
aaaaaa bbbbbb lost+found restoresymtable
# cat /mnt/test/bbbbbb
bbbbbb

実行ファイルを実行すると
「cannot open shared object file: ～ – xxxxx.so (LoadError)」
や
「relocation error: symbol not found」
と、共有ライブラリやらシンボルが見つからないと怒られるときの対処方法。この事象は、
rpmパッケージを無理矢理インストールしたときや、
どこかの製品をインストールしたとき
に発生する可能性大。
とりあえず、lddコマンドで実行するコマンドが使用する共有ライブラリ（ダイナミックリンクライブラリ）の依存関係を調べる。
# ldd /usr/local/hoge/bin/hoge
hoge1.so => /usr/local/hoge/lib/hoge1.so (0x0000008000030000)
hoge2.so => /usr/local/hoge/lib/hoge2.so (0x0000008000148000)
ここで、
・右側に表示されたライブラリのパスに該当のファイルが存在している場合
　→バージョン違いの共有ライブラリがキャッシュされている可能性（この時たぶんsymbolエラーになっているはず）
　または共有ライブラリがキャッシュされていない（この時はたぶん見つからないエラー）
　→下記の対処方法を参照
・左側に表示されたファイル名が右側のパスと異なるディレクトリにある
　→共有ライブラリのあるディレクトリがライブラリキャッシュの対象となっていない
　　→下記の対処方法を参照
・左側に表示されたファイル名のファイルがどこにもない
　→そもそも必要な共有ライブラリがインストールされていない
　（rpm -i –force で無理矢理入れたな。もしや製品の前提条件読んでないな。）
　　→先に前提条件のパッケージを入れろ！
・対処方法
　ライブラリ検索リストを確認。
　該当の共有ライブラリが存在するディレクトリが登録されていなければ登録する。
　# vi /etc/ld.so.conf
/usr/local/hoge/lib
　共有ライブラリを更新（リンク再作成・キャッシュ）
　# ldconfig
ちなみに、現在キャッシュおよびリンクされている共有ライブラリの一覧は
# ldconfig -l
で確認できる。

linux kernel2.6 での メモリーチューニングの方法。大容量物理メモリの場合、ほとんどがページキャッシュ・ファイルキャッシュ。
必要な処置
?Ａ．早めにダーティーページを掃除させる
?Ｂ．できるだけスワップさせない
?Ｃ．最低空き容量を大きくする。
?　→ファイルキャッシュがたまらない
?　　→１つのプロセス分の空きメモリを空けていれば、プロセス起動時にスワップしない。
?　　　→メモリが必要になった瞬間の、スワップによるスローダウンが防げる
Ａ．早めにダーティーページを掃除させる
?pdflushがダーティーページの掃除を行う
?　vm.dirty_ratio ＞ ダーティーページの割合 ＞ vm.dirty_background_ratio
?　のときpdflushがバックグラウンドで掃除
?　ダーティーページの割合 ＞ vm.dirty_ratio
?　のときdflushがフォワグラウンドで掃除

　なので、vm.dirty_ratio vm.dirty_background_ratioの値を小さくすれば

　こまめに掃除をし、メモリが空く可能性がある。

　（メモリが必要になったときに、一括で長時間スローダウンすることが

　　　防げる可能性がある）

　しかし、これだけではダーティーページだけでページキャッシュは開放されない

Ｂ．最低空き容量を大きくする。
?空きメモリ容量が vm.min_free_kbytes を下回ったとき

　ページキャッシュは開放される。

　 vm.min_free_kbytesの値を大きくすれば、

　　ページキャッシュの総量を減らせる。

　極端な話、アプリで最大３００ＭＢメモリを使用するなら、

　この値を307200(=300MB*1024)にしておけばスワップしない（バッファキャッシュがあるぞとかスワップアウトのアルゴリズムが・・・とか細かいことは抜きして）

Ｃ．できるだけスワップさせない
?vm.swappiness を減らせばスワップしにくくなる。

　　（何かのパーセンテージらしい・・・）

[追記]

/proc/sys/vm/drop_caches に値を放り込めば、

キャッシュが即時開放されるらしい（Kernel2.6.16 以降(CentOS5/RHEL5以降))

echo "3" >  /proc/sys/vm/drop_caches

1・・・ページキャッシュのみを解放

2・・・ダーティページとinodeキャッシュを解放

3・・・ ページキャッシュとダーティページとinode
を解放

実行前にsyncを実行したほうがいいらしい。

2はいいとして、1と3をしたら直後にパフォーマンス悪くなりそう・・・

（コマンドを実行するごとにメッセージファイルを読みにいったりしてるの知ってますか？）

kernel2.4の頃みたいに直接キャッシュサイズを指定できたらここまで悩まんでもいいのに・・・

linux/unixのディスプレイがないマシンで、ＧＵＩインストールしかできない場合に有効
クライアント(Windows)にはcygwin(X Windowあり)が必要
１．クライアント側のセットアップ・クライアント(Windows) cygwin bash console起動

#X Window起動
$ startx
# 外部マシンからのXの接続許可
$ xhost <LinuxマシンのIPアドレス> #無条件に許可するためにはアドレス部分を+にする

２．Linuxマシン側のセットアップ・Linuxマシン

$ export DISPLAY=<WindowsクライアントのIPアドレス>:0

３．確認・Linuxマシン（exportした端末で）

$ xload

Windowsクライアント側に画面が出たら成功

linuxでのスワップ領域追加（ファイル）
１．スワップ領域用のファイルを用意　１２８ＭＢのスワップ領域を用意する

# dd if=/dev/zero of=/var/tmp/swapfile1 bs=1024k count=128
読み込んだブロック数は 128+0
書き込んだブロック数は 128+0
# chmod 600 /var/tmp/swapfile1
２．スワップ領域として準備する

# mkswap /var/tmp/swapfile1
スワップ空間バージョン 1 を設定します、サイズ = 134213632 バイト
３．スワップ領域を有効にする

# free
total       used       free     shared    buffers     cached
Mem:        253248     250176       3072       1852      53340     128648
-/+ buffers/cache:      68188     185060
Swap:       522072      72836     449236
# swapon /var/tmp/swapfile1
# free
total       used       free     shared    buffers     cached
Mem:        253248     246164       7084       1852      53536     124348
-/+ buffers/cache:      68280     184968
Swap:       653136      72836     580300
４．スワップ領域を解除する

 # swapoff /var/tmp/swapfile1
# free
total       used       free     shared    buffers     cached
Mem:        253248     249248       4000       1852      53680     128648
-/+ buffers/cache:      66920     186328
Swap:       522072      72836     449236
※スワップが使われているときは、解放されるまで待つ
おまけ．スワップの使用状況確認

$ cat /proc/swaps
Filename                                Type            Size    Used    Priority
/dev/hda2                               partition       787176  120780  -1

ディスクのすべてをパーティション割りしてしまっている状況化で、
ファイルシステムの移行のテストとかしたい場合。
ファイルをファイルシステムデバイスとしてしまう方法。
空ファイルを作成（ファイルシステムデバイスにするファイル）

# dd if=/dev/zero of=/var/tmp/mounttest1 count=1 bs=1024k

この例では１GBの領域を/var/tmp/mounttest1に作成
空いてるループバックデバイスの確認

# losetup -f
/dev/loop0

先ほど作成したファイルをループバックファイルとして、ループバックデバイスに関連づける

# losetup /dev/loop0 /var/tmp/mounttest1

おまけ：ファイルシステム作成

# mke2fs /dev/loop0
mke2fs 1.26 (3-Feb-2002)
Filesystem label=
OS type: Linux
Block size=1024 (log=0)
Fragment size=1024 (log=0)
128 inodes, 1024 blocks
51 blocks (4.98%) reserved for the super user
First data block=1
1 block group
8192 blocks per group, 8192 fragments per group
128 inodes per group
Writing inode tables: done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 25 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.

マウント

# mount /dev/loop0 /app2