ipcs -lm

------ シェアードメモリの制限 --------
max number of segments = 4096
max seg size (kbytes) = 4194303
max total shared memory (kbytes) = 1073741824
min seg size (bytes) = 1

echo $((4194303 / 1024))=4095
echo $((1073741824 / 1024 / 1024)) = 1024:1G

チューニング(多少の…) （実メモリ1G）

su postgres
vi /var/pgsql/data/postgresql.conf

同時接続数
max_connections = 50

共有バッファを増やす（物理メモリの 1/4～1/2)
#shared_buffers = 32MB      # min 128kB or max_connections*16kB
↓
shared_buffers = 512MB    (物理メモリの1/4～1/2(DBが主な仕事の場合))

#参考値
#1000ページ(8MB)
#2000ページ(16MB)
#4000ページ(32MB)
#8000ページ(64MB)
#16000ページ(128MB)
#32000ページ(256MB)
#64000ページ(512MB)
#128000ページ(1024MB)(1G)
#256000ページ(2048MB)(2G)
#512000ページ(4096MB)(4G)
#1024000ページ(8012MB)(8G)

●テンプバッファの調整
#temp_buffers = 8MB                     # min 800kB
↓
temp_buffers = 16MB                     # min 800kB

●ソートメモリ
#work_mem = 1MB                         # min 64kB
↓
work_mem = 8MB                          # min 64kB

●トランザクションログバッファの調整
wal_buffers = 64kB                     # min 32kB
↓
wal_buffers = 256kB

postgreSQlの再起動

pg_ctl restart

PostgreSQLの再起動時に
This error usually means that PostgreSQL’s request for
a shared memory segment exceeded your kernel’s SHMMAX
parameter.云々
といわれる時は
/proc/sys/kernel/shmmax の値を増やします

#echo 130023424 > /proc/sys/kernel/shmmax  等

接続中のPostgreSQLで他のPostgreSQLデータベースのデータにアクセスする為のライブラリ

contribで提供されているdblinkを利用します

postgres-dblinkインストール

postgresのsrcディレクトリ内のcontrib/dblinkへ移動

su postgres
make
make install

$ psql -U postgres -d {DBNAME} < dblink.sql

※{DBNAME}はdblinkを利用したいデータベース名。
これをtemplate1とすることで今後作成するデータベースで利用できるようになる。

● 使用方法
“[" と "]” で括られている接続識別名は省略可能です。
ただし接続識別名を接続時に指定した場合は常に必要です。※ “[" および "]” は記述不要。

* アクセスしたいテーブルなどがあるデータベースに接続
select dblink_connect(['{接続識別名}', ]‘{接続文字列}’);
※    {接続文字列}にはlibpqのPQconnectdb関数で利用するキーワードを記述します。
参照.) PostgreSQLマニュアル – libpq – Cライブラリ – データベース接続制御関数
ex.)
select dblink_connect(’conn1′,
‘host=dbsv port=5432 dbname=mydb user=scott password=tiger’);
* 検索(SELECT)
select *
from dblink(['{接続識別名}', ]
’select {列名}[, {列名}...]
from {オブジェクト名}’)
t1({列名} {データ型}[, {列名} {データ型}...]);
ex.)
select *
from dblink(’conn1′,
’select oid, relname
from pg_class’)
t1(oid oid, relname text);
* 更新(UPDATE/INSERT/DELETE)
select dblink_exec(['{接続識別名}', ]{DML文}[, fail_on_error]);
ex.)
select dblink_exec(’conn1′,
‘delete from emp where empno=7800′);
* データベースから切断
select dblink_disconnect(['{接続識別名}']); ex.)
select dblink_disconnect(’conn1′);

dblinkのテスト

接続

select dblink_connect('conn1','host=XXXXX port=5432 dbname=replication user=XXX password=XXXX');

切断

select dblink_disconnect('conn1');

検索

select dblink_connect('conn1','host=データベース1 port=5432 dbname=replication user=XXX password=XXX');
select * from dblink('conn1','select a from rep') t1(a integer);
select * from dblink('conn1','select count(*) as cnt from rep') t1(cnt integer);
select dblink_disconnect('conn1');

select dblink_exec('conn1','delete from emp where empno=7800');

select dblink_connect('conn1','host=データベース1 port=5432 dbname=replication user=XXX password=XXX');
select dblink_connect('conn2','host=データベース2 port=5432 dbname=replication user=XXX password=XXX');

select *
from
dblink('conn1','select count(*) as cnt from rep') t1(cnt integer),
dblink('conn2','select count(*) as cnt from rep') t2(cnt integer)
;

おー素晴らしいー

異なるデータベースをひとつのSQL文で取得できちゃいました。

cnt | cnt
-----+-----
10 |  10
(1 row)

select dblink_disconnect(’conn1′);

ベンチマークを測定する事ができます

言うまでもありませんがポスグレをインストールしたサーバで行います。

pgbenchのインストール

su postgres
cd /usr/local/src/postgresql-8.3.4/contrib/pgbench
make
make install

ベンチマーク用データベースを作成し、初期化

createdb pgbench
pgbench -i pgbench

測定評価

tps(trunsaction per second)値が高いほど良い

デフォルトはクライアント数1、トランザクション数10で

SELECT,INSERT,UPDATEが実行される
tpsは1秒間に処理可能なトランザクション数で

数字が大きいほど性能が良いということ
2行の違いは接続の確立に要した時間を含むか含まないか

SELECTのみをクライアント数10、トランザクション数100とする場合は

$ pgbench -S -c 10 -t 100 pgbench

GUIベースで、pgpoolの状態監視や起動・停止、pgpool.confの設定を行うことができます.

pgpoolAdminの取得

pgpoolAdminを入手する

apacheのドキュメントディレクトリにて展開&リネーム

tar zxvf pgpoolAdmin-2.1-beta1.tar.gz
mv pgpoolAdmin-2.1-beta1 pgpoolAdmin

chown nobody /usr/local/apache/htdocs_ssl/pgpoolAdmin/conf/pgmgt.conf.php
chmod 644 /usr/local/apache/htdocs_ssl/pgpoolAdmin/conf/pgmgt.conf.php

pcp.confにログインアカウントを登録する

ここではtestとしていますが実際はセキュアなパスワードを設定する事

md5パスワードを取得

/usr/local/pgpool/bin/pg_md5 test

098f6bcd4621d373cade4e832627b4f6

pcp.confに追記

vi /usr/local/pgpool/etc/pcp.conf

# USERID:MD5PASSWD
test:098f6bcd4621d373cade4e832627b4f6

ブラウザで確認

http://<サーバ>/pgpoolAdmin/login.php

TOP画面

PostgreSQLのデータベースクライアントとPostgreSQLサーバの間に割り込む形で動作し，

PostgrSQLに以下のような機能を追加します．

・コネクションプーリング：：接続を保存し，再利用することで接続オーバヘッドを低減しスループット向上を図る

・負荷分散：：多数のリクエストをそれぞれのサーバで分担して負荷を軽減させ，システム全体の性能を向上させることができます

・レプリケーション：：物理的に2台以上のディスクにリアルタイムで書き込み処理を行い、万が一どれかのディスクに障害が発生しても運用を継続することができます．

・パラレルクエリ：：それぞれのサーバに問い合わせを行い、問い合わせの処理時間を短縮

ここでの環境のポート番号は以下のようにしております

※PORT5439にて接続した場合はPGPOOL経由となりレプリケーションなどが働きます。

PGPOOLはメインDBにインストールしています

—————————————–

アプリ

↓

pgpool(5439)

↓                    ↓

メインDB(5432)       バックエンドDB(5432)

—————————————–

PGPOOLインストール

事前準備

su -
mkdir /usr/local/pgpool
chown postgres:postgres /usr/local/pgpool

展開＆インストール

su postgres
cd /usr/local/src/
% tar zxf pgpool-II-2.1.tar.gz
% cd pgpool-II-2.1
% PATH=/usr/local/pgsql/bin:$PATH
% ./configure --prefix=/usr/local/pgpool
% make
% make install
% ls /usr/local/pgpool/bin/pgpool
pgpool

パスの追加

~/.bashrcにパス追加

vi ~/.bashrc
PATH="$PATH":/usr/local/pgsql/bin:/usr/local/pgpool/bin

source ~/.bashrc

インストールが完了すると設定ファイルの雛形が
作成されるので、これをコピーする。

% cp /usr/local/pgpool/etc/pgpool.conf{.sample,}
% cp /usr/local/pgpool/etc/pcp.conf{.sample,}
% cp /usr/local/pgpool/etc/pool_hba.conf{.sample,}

以上の設定で、/usr/local/pgpool/etc/pgpool.confがpgpool-IIの設定ファイルになる。

PGPOOLの起動

起動するには、

※pgpoolⅡ2.5では/va/run/pgpoolというディレクトリが必要

permission:postgres:postgres

postgres postgres 4096 11月 21 16:05 pgpool

% pgpool -n &c

とコマンドを入力する。

PGPOOLの停止

% pgpool -n stop

PGPOOLの自動起動

pgpoolの起動ですが、
redhat系の場合は自動起動用のスクリプトが
pgpoolのソールディレクトリの
redhat/pgpool.initにあります。
(/usr/local/src/pgpool-II-2.1/redhat/pgpool.init)

スクリプトの最初の方の変数を適宜環境に合せて書き換えて、

vi /usr/local/src/pgpool-II-2.1/redhat/pgpool.init

PGPOOLENGINE=/usr/local/pgpool/bin
PGPOOLDAEMON=$PGPOOLENGINE/pgpool
PGPOOLCONF=/usr/local/pgpool/etc/pgpool.conf
PGPOOLPID=/tmp/pgpool.pid
PGPOOLLOG=/var/log/pgpool.log

/etc/init.d/pgpoolにコピーします。

su -
cp /usr/local/src/pgpool-II-2.1/redhat/pgpool.init /etc/init.d/pgpool

これで

/etc/init.d/pgpool start

で起動できます。

su -
cp /usr/local/src/pgpool-II-2.1/redhat/pgpool.init /etc/init.d/pgpool
vi /etc/init.d/pgpool
chkconfig --add pgpool
chkconfig  pgpool on

chkconfig --list pgpool

又は

ntsysv でチェックする

PGPOOLの設定

それでは、実際にレプリケーションを行ってみる。
レプリケーションのために、pgpool.confに以下の項目を追加する。
なお、ここでの例ではPostgreSQLサーバが
localhostの5432ポートで動いているものとする。

vi /usr/local/pgpool/etc/pgpool.conf

# Host name or IP address to listen on: '*' for all, '' for no TCP/IP
# connections
listen_addresses = '*'

# Port number for pgpool
port = 5439

# Port number for pgpool communication manager
pcp_port = 9898

# レプリケーションの設定

# Replication mode
replication_mode = true

# ロードバランスの設定

# Load balancing mode, i.e., all SELECTs are load balanced.
# This is ignored if replication_mode is false.
load_balance_mode = true

#set pgpool2 hostname
pgpool2_hostname = ''

# メインDB

# system DB info
system_db_hostname = 'localhost'
system_db_port = 5432
system_db_dbname = 'pgpool'
system_db_schema = 'pgpool_catalog'
system_db_user = 'pgpool'
system_db_password = ''

# backend_hostname, backend_port, backend_weight
# here are examples

#バックエンド１

backend_hostname0 = 'バックエンドDB１'
backend_port0 = 5432
backend_weight0 = 1
#backend_data_directory0 = '/data'

#バックエンド２

backend_hostname1 = 'バックエンドDB２'
backend_port1 = 5432
backend_weight1 = 1
#backend_data_directory1 = '/data1'

※メインDBのpostgres.confのPortは5432とする

設定ファイルの編集が完了したところでpgpoolを起動し、
レプリケーションされているかどうかを確認する。

まずはpgpool-IIに接続し、データベース、テーブル、データ5件を作成する。

% createdb -p 5439 replication (5439 番ポートへ接続)
% psql -p 5439 replication
replication=# CREATE TABLE rep (a INT);
replication=# INSERT INTO rep SELECT generate_series(1, 10);

次に直接メインDBとバックエンドDBに5432ポートに接続し、実際にデータが5件作成されているかどうかを確認する。

メインDB

% for p in 5432 ; do
for> echo port: $p
for> psql -p $p -c 'select count(*) from rep' replication
for> done
port: 5432
count
-------
5
(1 row)

バックエンドDB

port: 5432
count
-------
5
(1 row)

PGPOOLのステータス確認

psql -p 5439 replication

show pool_status;