月: 2007年3月

linux kernel2.6 での メモリーチューニングの方法。大容量物理メモリの場合、ほとんどがページキャッシュ・ファイルキャッシュ。
必要な処置
?Ａ．早めにダーティーページを掃除させる
?Ｂ．できるだけスワップさせない
?Ｃ．最低空き容量を大きくする。
?　→ファイルキャッシュがたまらない
?　　→１つのプロセス分の空きメモリを空けていれば、プロセス起動時にスワップしない。
?　　　→メモリが必要になった瞬間の、スワップによるスローダウンが防げる
Ａ．早めにダーティーページを掃除させる
?pdflushがダーティーページの掃除を行う
?　vm.dirty_ratio ＞ ダーティーページの割合 ＞ vm.dirty_background_ratio
?　のときpdflushがバックグラウンドで掃除
?　ダーティーページの割合 ＞ vm.dirty_ratio
?　のときdflushがフォワグラウンドで掃除

　なので、vm.dirty_ratio vm.dirty_background_ratioの値を小さくすれば

　こまめに掃除をし、メモリが空く可能性がある。

　（メモリが必要になったときに、一括で長時間スローダウンすることが

　　　防げる可能性がある）

　しかし、これだけではダーティーページだけでページキャッシュは開放されない

Ｂ．最低空き容量を大きくする。
?空きメモリ容量が vm.min_free_kbytes を下回ったとき

　ページキャッシュは開放される。

　 vm.min_free_kbytesの値を大きくすれば、

　　ページキャッシュの総量を減らせる。

　極端な話、アプリで最大３００ＭＢメモリを使用するなら、

　この値を307200(=300MB*1024)にしておけばスワップしない（バッファキャッシュがあるぞとかスワップアウトのアルゴリズムが・・・とか細かいことは抜きして）

Ｃ．できるだけスワップさせない
?vm.swappiness を減らせばスワップしにくくなる。

　　（何かのパーセンテージらしい・・・）

[追記]

/proc/sys/vm/drop_caches に値を放り込めば、

キャッシュが即時開放されるらしい（Kernel2.6.16 以降(CentOS5/RHEL5以降))

echo "3" >  /proc/sys/vm/drop_caches

1・・・ページキャッシュのみを解放

2・・・ダーティページとinodeキャッシュを解放

3・・・ ページキャッシュとダーティページとinode
を解放

実行前にsyncを実行したほうがいいらしい。

2はいいとして、1と3をしたら直後にパフォーマンス悪くなりそう・・・

（コマンドを実行するごとにメッセージファイルを読みにいったりしてるの知ってますか？）

kernel2.4の頃みたいに直接キャッシュサイズを指定できたらここまで悩まんでもいいのに・・・

コマンド

iostat -d -x 3

ビジーの基準

• %util　が １００％に近ければビジー
• svctm 50（ﾐﾘ秒）以上
• 平均I/O要求サイズ(avgrq-szフィールド) 平均待機時間(awaitフィールド)が高いとI/O待ちの可能性

平均サービス時間(svctmフィールド)

iostat 秒数 測定回数
avg-cpu: %user %nice %sys %idle

出力項目の説明

• AIX版 iostat

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn

• %user—アプリケーション使用率
• %nice—
• %sys—カーネルのCPU使用率
• %idle—CPUの未使用率
• tps—
• Blk_read/s—ディスクの読み込み量(ブロック/秒)
• Blk_wrtn/s—ディスクの書き込み量 Blk_read—ディスクの読み込み総量(ブロック)
• Blk_wrtn—ディスクの書き込み総量

• linux版 iostat -xの項目説明

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s avgrq-sz await svctm%util

• rrqm/s—秒毎にマージされた読み込み要求数
• wrqm/s—秒毎にマージされた書き込み要求数
• r/s—読み込み要求数/秒 w/s—書き込み要求数
• rsec/s—読み込みセクタ数/秒
• wsec/s—書き込みセクタ数/秒
• rkB/s—読み込み量(KB)/秒
• wkB/s—書き込み量(KB)/秒
• avgrq-sz—I/O要求の平均サイズ(セクタ)
• avgqu-sz—I/O要求の平均待ち数
• await—I/O要求の平均待ち時間(ミリ秒)
• svctm—I/O要求の平均処理時間(ミリ秒)
• %util—I/O要求におけるCPU消費量(%)

linux/unixのディスプレイがないマシンで、ＧＵＩインストールしかできない場合に有効
クライアント(Windows)にはcygwin(X Windowあり)が必要
１．クライアント側のセットアップ・クライアント(Windows) cygwin bash console起動

#X Window起動
$ startx
# 外部マシンからのXの接続許可
$ xhost <LinuxマシンのIPアドレス> #無条件に許可するためにはアドレス部分を+にする

２．Linuxマシン側のセットアップ・Linuxマシン

$ export DISPLAY=<WindowsクライアントのIPアドレス>:0

３．確認・Linuxマシン（exportした端末で）

$ xload

Windowsクライアント側に画面が出たら成功

linuxでのスワップ領域追加（ファイル）
１．スワップ領域用のファイルを用意　１２８ＭＢのスワップ領域を用意する

# dd if=/dev/zero of=/var/tmp/swapfile1 bs=1024k count=128
読み込んだブロック数は 128+0
書き込んだブロック数は 128+0
# chmod 600 /var/tmp/swapfile1
２．スワップ領域として準備する

# mkswap /var/tmp/swapfile1
スワップ空間バージョン 1 を設定します、サイズ = 134213632 バイト
３．スワップ領域を有効にする

# free
total       used       free     shared    buffers     cached
Mem:        253248     250176       3072       1852      53340     128648
-/+ buffers/cache:      68188     185060
Swap:       522072      72836     449236
# swapon /var/tmp/swapfile1
# free
total       used       free     shared    buffers     cached
Mem:        253248     246164       7084       1852      53536     124348
-/+ buffers/cache:      68280     184968
Swap:       653136      72836     580300
４．スワップ領域を解除する

 # swapoff /var/tmp/swapfile1
# free
total       used       free     shared    buffers     cached
Mem:        253248     249248       4000       1852      53680     128648
-/+ buffers/cache:      66920     186328
Swap:       522072      72836     449236
※スワップが使われているときは、解放されるまで待つ
おまけ．スワップの使用状況確認

$ cat /proc/swaps
Filename                                Type            Size    Used    Priority
/dev/hda2                               partition       787176  120780  -1

ディスクのすべてをパーティション割りしてしまっている状況化で、
ファイルシステムの移行のテストとかしたい場合。
ファイルをファイルシステムデバイスとしてしまう方法。
空ファイルを作成（ファイルシステムデバイスにするファイル）

# dd if=/dev/zero of=/var/tmp/mounttest1 count=1 bs=1024k

この例では１GBの領域を/var/tmp/mounttest1に作成
空いてるループバックデバイスの確認

# losetup -f
/dev/loop0

先ほど作成したファイルをループバックファイルとして、ループバックデバイスに関連づける

# losetup /dev/loop0 /var/tmp/mounttest1

おまけ：ファイルシステム作成

# mke2fs /dev/loop0
mke2fs 1.26 (3-Feb-2002)
Filesystem label=
OS type: Linux
Block size=1024 (log=0)
Fragment size=1024 (log=0)
128 inodes, 1024 blocks
51 blocks (4.98%) reserved for the super user
First data block=1
1 block group
8192 blocks per group, 8192 fragments per group
128 inodes per group
Writing inode tables: done
Writing superblocks and filesystem accounting information: done
This filesystem will be automatically checked every 25 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.

マウント

# mount /dev/loop0 /app2

１．４４ＭＢ以上にフォーマット

# fdformat /dev/fd0u1680

使うときは

# mount /dev/fd0u1680

実行中（フォアグラウンド）に

ctrl+

# cd /var/lib
# tar zcvf rpm.tgz rpm
# cd rpm
# rm __db.*
# rpm –rebuilddb