以下、やりたいこと。 - 【縮小】 コードから不要な文字 （コメント、スペース、改行、タブ） を除去することで コードサイズを小さくすること。 →○ファイル転送量が少なくなる。 →×修正や更新が大変【結合】 複数のファイルを１枚のファイルにまとめること…

レスポンスをgzip化しよう！ってプロジェクトが 担当サービスの中で水面下で進行中。 ファイル転送の量が減るので応答が速くなるっぽい。 メジャーなブラウザはほとんどgzip解凍にも対応しているらしい。 まだまだ調査中だけど、 フロント担当の方がすっごい…

ここから安定版を落としてくる。 http://hive.apache.org/releases.html [nashuaki@hostname /usr/local/hive]$ ./bin/hive Hive history file=/tmp/nashuaki/hive_job_log_nashuaki_201104011605_1439988566.txt hive> ・・・できた？ ビルドもいらなかった…

0.19.0までは、hadoopいれればhiveもあったみたいなんだけど、 0.20〜はhiveのインストール作業も必要な模様。 [nashuaki@hostname ~]$ svn co http://svn.apache.org/repos/asf/hive/trunk hive [nashuaki@hostname ~]$ sudo mv ./hive /usr/local [nashuak…

サンプルプログラムで文字数を数えてみた。サンプルファイルを用意する。 [nashuaki@hostname /usr/local/hadoop]$ mkdir inputs [nashuaki@hostname /usr/local/hadoop]$ echo hoge hoge hoge fuge hage hage fuge hoge hoge > inputs/file1HDFSに移動 [nas…

ローカルにhaoopをインストールしてみた。 ちなみに、バージョンは0.20.2、 ソースはここから入手 http://hadoop.apache.org/common/releases.htmlとりあえず解凍して、いつものとこに移動。 いろいろいれるときは、 バージョン管理のためにシンボリックリン…

スレーブ側の/etc/my.cnfのmysqldに以下追加 slave-skip-errors=10621062はdupliエラーのエラーコードらしい。 blackhole->blackholeじゃないストレージエンジン の場合、blackholeは実データ持たないので webアプリケーションではdupliがどうしてもでるので…

K、Mは通常10の3乗で考えるけど コンピュータ世界では慣習として2進数を利用するため 10の3乗(=1000)を2の10乗(=1024)として計算する。 ただし、単位が大きくなるにつれ誤差も大きくなるため、 2進数の場合は２進数を表す「バイナリー」をつけて表す ことが…

[root@hostname ~]# scp -l 1000 転送ファイル username@ip:~/ l 転送する速度の上限を指定する（Kbit/s） [root@hostname ~]# scp -C 転送ファイル username@ip5:~/ C 圧縮して転送する。 [root@hostname ~]# scp -c arcfour 転送ファイル username@ip5:~/ …

[root@hostname ~]# mysqlbinlog --start_datetime='2011-02-14 00:00:00' ./mysql-bin.00001 > binlog.sql [root@hostname ~]# mysql -uroot -f binlog < binlog.sqlmysqlbinlogコマンドでbinlogをsqlにする。 上は、start_datetimeを指定してみた。 入れる…

mysql> set sql_log_bin=0; Query OK, 0 rows affected (0.00 sec) ・ ・（レプリしたくない作業） ・ mysql> set sql_log_bin=1;レプリしたくないときは 「sql_log_bin=0」で、 明示的に 「sql_log_bin=1」にするか、 mysqlのコンソールを抜けるまで レプリ…

[root@hostname ~]# /etc/init.d/nscd stop nscd を停止中: [ OK ] [root@hostname ~]# echo 1 > /proc/sys/vm/drop_caches [root@hostname ~]# /etc/init.d/nscd start nscd を起動中: [ OK ]追記： [root@hostname ~]# nscd -i hosts

redis ver1.2以降で追加されたsorted set(以下、zset)。 その名の通り、順序を保持できる集合型で、 今まで、listを使ってたところを、 いろいろ都合がよくて早速zsetに変更。 select時にsortしなくていいのも助かる〜。 ・・・と思ってたけど、 実はlistの1…

今まで知らなかった 5 つの事項: Java のパフォーマンス・モニタリング、第 2 回 Java技術最前線 - 「Java SE 6完全攻略」第4回 Windowsでも利用できるようになった管理ツール：ITproこの辺参考にやってみた。※javaのPID=25596のとき [root@hostname ~]# /us…

memcachedとは、 memcachedは高性能な分散メモリキャッシュサーバです。通常，データベースへの問い合わせ結果を一時的にキャッシュすることで，データベースへのアクセス回数を減らし，動的なウェブアプリケーションの高速化やスケーラビリティの向上のため…

batchとかで実行しているjavaのスナップショットをとりたい※実行中のjavaのプロセスが1111だった場合 - １、JavaのHeap dumpを取得する #gcore 1111 >カレントディレクトリにcore.1111（core.）というファイルができる。 >めちゃくちゃおもいので要注意！ ２…

javaのredisのクライアントとしては、 JDBC-RedisとかJRedisがポピュラーっぽいけど、 うちのサービスでは今のところ、JRedisを使用してる。JDBC-RedisはJDBC(Java Database Connectivity)、 JRedisはJCA(J2EE Connector Architecture)を使用しているらしい…

プロフィール なまえ：いぶきちまる 誕生日：2008.12.12 性別：♂ 性格：温厚。びびり。甘えん坊