きっかけ
なんかKibanaが流行っているみたいなので、今更感はありますが、とりあえずいじってみることにしました。
多分、AWSでフルマネージドにおまかせの方がラクチンなんだろうなー、と思いつつ、RDSと同様、ローカルにそのまんま立ててイロイロ比較することになるんじゃないかと思うので、あえてローカルに立てて一通り触ってみることにしたわけです。
今回いじるターゲットとしては、こんな感じです。
1エントリで全部書くと大変なことになりそうなので、いくつかに分けて書きます。
なので、前にやった
atsuizo.hatenadiary.jp
のときみたいな、連載っぽい感じになります。
共通事項
エントリを分けて書きますが、特記がない限り、以下の環境で作業したものとなります。
Windows7+OracleVMVirtualbox+RHEL6系+ElasticStack5.5(Fluentd/Embulkは執筆時点で最新のStableなもの)
正確にはOracleLinux6.9を使っていますが、たまたま手元にあったイメージがそれだったというだけで、同バージョンのRedhat・CentOSと読み替えてもらって問題ないです。
目次
こんな感じになる予定です。
この冒頭エントリを書いている時点で、Fulentdのところまではやっているのですが、最後の方までたどり着けるか自信ない。。。とくにS3にやるところは、認証周りがめんどくさくなってローカルのLinuxじゃなくてEC2にIAMロールつけて済ませてしまうんじゃないかと。
- はじめに(このページ)
- Kibanaって何よ、って話
- Kibana+Elasticsearchセットアップ
- エージェント概要
- Metricbeatを使ってみる
- Packetbeatを使ってみる
- Filebeatを使ってみる
- Logstashを使ってみる
- Fluentdを使ってみる
- Embulkを使ってみる
- JDBCでInputする
- S3へOutputする
- AmazonElasticsearchService(ES)で実現する
- Kibanaでのグラフ作り
- おわりに
Elasticsearch単体としての深い所に踏み込んでみたい気持ちもありますが、Kibanaを使うっていうのが目的だと、当面は「器」でしかないので、余力が出てきたら挑戦したいと思います。
![サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築!] Software Design plus サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築!] Software Design plus](http://images-fe.ssl-images-amazon.com/images/I/61rZ7L4Zt1L._SL160_.jpg)
サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築!] Software Design plus
- 出版社/メーカー:技術評論社
- 発売日: 2014/08/14
- メディア:Kindle版
- この商品を含むブログを見る
当面、エントリ末尾にはこちらの本を紹介していきますが、この本の内容をなぞったものではありません。
次のエントリ「Kibanaって何よ、って話」でも触れますが、この本は2014年8月発行で、elasticsearchのバージョンが1.2.1ベースでの解説です。
このエントリ執筆に使った、現時点の最新のバージョンは5.5ですから!