hadoop

HadoopコマンドのHDFS操作のおさらい

HadoopコマンドでHDFSを触るここを見ればOK Apache Hadoop 2.9.2 – Overviewlshadoop 2.6.0では-rも-uも-sも使えない。 hadoop fs -ls hadoop fs -lsr hadoop fs -ls hadoop fs -ls -R touchz hadoop fs -touchz hoge mkdir hadoop fs -mkdir foo hadoop fs …

MapRのインストール再挑戦

前提 VirtualBoxの仮想マシン 仮想マシンはCentOS6.6 CentOSにはOpenJDK,gcc,kernel-develをインストール済み CentOSはGuestAddonインストール済み CentOSに20GBのディスクを追加する クイックインストーラを入手するMapR 5.0 Documentation : Quick Install…

MapRをインストールしようとした

クイックインストーラを使っても全然うまくいかない。 ネットワークが悪いのか、yum installが何度も失敗してinstallだけで1時間以上かかった。ハマったっぽいところ ホスト名(hosts)はドメインも含めて書かないとcheckで引っかかるっぽい ディスクを追加し…

Hadoop1.2.1のサンプルを実行したらOutOfMemoryになった

Hadoop1.2.1をインストール。 #rpm -ivh hadoop-1.2.1-1.x86_64.rpm マニュアルにしたがって $cd $cp -r /usr/share/hadoop/templates/conf/ ~/input $hadoop jar /usr/share/hadoop/hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+' を実行するが…

Hadoopのインストール

Hadoopを使うことになりそうなので、とりあえずインストールしてみた。以下のリンクをまず読みながら写経。分散処理に入門してみた(Hadoop + Spark) | キャスレーコンサルティング株式会社 Apache Hadoop 2.9.2 – Hadoop: Setting up a Single Node Cluste…