Subcribe via RSS
hadoopなどを使っていて複数ノードの状態をまとめてモニタリングしたい、みたいな時に使えるのがganglia らしい。
debianでhadoopを動かしてみたときのメモ。
正直まだ全然分かってないので、間違ってるかもしれません。
debian5を5台用意してやりました。
サーバは結構古いやつ。
ソースから入れるかaptを使うか悩んでaptにしたけど、結局ソースをいじる必要があるのでaptはやめました。
master: 192.168.18.10
slave1: 192.168.18.11
slave2: 192.168.18.12
…
とする。
# aptitude install openssh-server ssh rsync
# vi /etc/apt/sources.list 変更 deb http://ftp.jp.debian.org/debian/ lenny main → deb http://ftp.jp.debian.org/debian/ lenny main non-free
# aptitude update
# aptitude install sun-java6-jdk
keyの生成 # ssh-keygen -t dsa -P "" masterへ # cat .ssh/id_dsa.pub >> .ssh/authorized_keys 各ノードにもmasterのid_dsa.pub を authorized_keysに追加 (省略)
（今回は0.20.2をダウンロードした。） # wget http://ftp.riken.jp/net/apache//hadoop/core/stable/hadoop-0.20.2.tar.gz /usr/local/下に置いて、解凍して、/usr/local/hadoop にリンクを作る # cp hadoop-0.20.2.tar.gz /usr/local/ # cd /usr/local/ # tar zxf hadoop-0.20.2.tar.gz # ln -s hadoop-0.20.2 hadoop # cd hadoop
192.168.18.1
192.168.18.2 192.168.18.3 ....
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://[master IP]:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/lib/hadoop/cache/${user.name}</value>
</property>
</configuration>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<!-- specify this so that running 'hadoop namenode -format' formats the right dir -->
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>4</value>
</property>
</configuration>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>[master IP]:9001</value>
</property>
</configuration>
export JAVA_HOME=/usr/lib/jvm/java-6-sun
# cd /usr/local/ # tar zcf myhadoop.tar.gz hadoop-0.20.2 省略(各スレーブにmyhadoop.tar.gzを送って、/usr/local/下に展開、 /usr/local/hadoopにリンクを作る)
# cd /usr/local/hadoop # bin/hadoop namenode -format
# bin/start-dfs.sh
# bin/start-mapred.sh
# jps
# bin/stop-mapred.sh # bin/stop-dfs.sh
先週のことですが，VLDB報告会というのに行ってみました．
Twitter: 
facebook: 
flickr: 