Clik here to view.
MySQLでmetadata lockにハマりやすいパターン
しばらくブログエントリあげてませんでしたが、引き続きMySQL関係のお仕事していたので、復活弾もやっぱりMySQLネタです。そもそも「metadata lockって何よ？」とか「Waiting for Table metadata lockでハマったらどうしたら良いの？」って話は、過去にエントリMySQL5.6以前でmetadata lock発生の犯人を後追いする -...
View ArticleClik here to view.
RDSのStopからの復旧ログが不思議
RDSの「stop」がサポートされました。AWS Relational Database Service（以下RDS）は、いわゆるDatabase as a...
View ArticleClik here to view.
JavaのOutOfMemoryErrorを追いかけてみた
だいたいのことは、ネットに書いてあるJava自体、すでに歴史ある技術ですし、今回のOutOfMemoryErrorも、その解析方法も確立されているようで、ネットでかなりの情報が手に入り、10年くらい前、Java1.4の案件でちょっとコード書いた程度にしかJavaと接点のない私でも理解できました。インターネットすばらしい。一方、本職アプリケーションエンジニアで今回の案件もJavaのコードをバリバリ書い...
View ArticleClik here to view.
LANケーブルのツメ折れ対策品も意外と役立つ件
だいぶ前に上げたエントリの影響で、LAN関係のお買い上げがボチボチ観測される弊ブログです。atsuizo.hatenadiary.jpエントリ自体が3年前ってのが驚きですが、この零細ブログでも今も月に数個はお買上げ頂いている模様。詳しく調べてないけれど、金額ではなく個数ベースでは「LANポートキャップ」が最も出ているんじゃないかというくらい。ツメ折れ対応の歴史（自分史）昔：LANケーブルのツメが折れ...
View ArticleClik here to view.
Kibanaを立ててみた
きっかけなんかKibanaが流行っているみたいなので、今更感はありますが、とりあえずいじってみることにしました。多分、AWSでフルマネージドにおまかせの方がラクチンなんだろうなー、と思いつつ、RDSと同様、ローカルにそのまんま立ててイロイロ比較することになるんじゃないかと思うので、あえてローカルに立てて一通り触ってみることにしたわけです。今回いじるターゲットとしては、こんな感じです。...
View ArticleClik here to view.
Kibanaって何よ、って話 - Kibanaを立ててみた
外から見たKibanawww.elastic.coがあっさりとしていますが、要はオープンソースのログデータ解析/可視化ツールです。基本的に、リアルタイム検索エンジン「Elasticsearch」とセットで使われます。独自のNode.js...
View ArticleClik here to view.
Kibana+Elasticsearchセットアップ - Kibanaを立ててみた
まずは器を用意するKibanaを使うには、分析・可視化対象のデータを入れる器としてのElasticsearchを立て、それを参照させるようにKibanaを立て、また、器にデータを入れる仕組みを用意する、という順番で進んでいきます。よって、ここでは、器としてのElasticsearch、器の中身を覗き込むKibanaの環境設定を行います。ElasticSearch公式ドキュメントのありかはここです。h...
View ArticleClik here to view.
エージェント概要 - Kibanaを立ててみた
データ収集の先鋒をどうするか概要のところで説明したとおり、エージェント経由でElasticsearchに情報を収集するのですが、選択肢が結構多いですね。よくある事例、記事だと、日本ではFluentdが圧倒的に多くて、次にLogstash。FluentdもLogstashも、ファイルへの出力をリアルタイム監視して、設定ファイルにもとづいて変換して、Output先に送り届ける、ってのは同ですね。...
View ArticleClik here to view.
Metricbeatを使ってみる - Kibanaを立ててみた
Metricbeatとはシステムの統計情報（Metric）を収集するbeatです。いわゆるOSで取得できるCPUやメモリなどの情報、および、モジュールを通してApacheやMySQLその他の統計情報も、ちょっとした設定をするだけで収集できる様になっています。今回は、SystemとMySQLの情報をMetricbeatsで取得し、Kibanaのダッシュボードに表示する所を目指します。MetricBea...
View ArticleClik here to view.
Packetbeatを使ってみる - Kibanaを立ててみた
Packetbeatとはbeatをインストールしたマシンのネットワーク・インターフェースを監視し、その内容を収集するbeatです。ネットワークパケットの内容は、プロトコル毎に整理されます。今回も、システム一般とMySQLの情報を取得することを目的としていますが、デフォルト設定でMySQL含む多くの情報を取得可能になっています。ちょうど先日、elasticsearch勉強会で、elasticsearc...
View ArticleClik here to view.
Filebeatを使ってみる - Kibanaを立ててみた
Filebeatとはbeatをインストールしたマシン上のファイルを監視し、その内容を収集するbeatです。いわゆる一般的なログファイル監視・収集ツールという位置付けですが、syslog、Apache2、nginx、mysqlについてはelasticsearchのインデックス生成テンプレート、および、kibanaダッシュボード生成のスクリプトが用意されている分、立ち上げがラク、といったところでしょうか...
View ArticleClik here to view.
Logstashを使ってみる - Kibanaを立ててみた
Logstashとはさまざまなデータソースから情報を収集し、さまざまなstash＝格納庫にデータを投入する機能を提供するツールです。Elaticsearchの文脈で語る上では、「Elasticsearchにデータを投入するためのエージェント」という位置付けになりますが、Logstash自身としては、プラグインを通じてデータベースやSlack、メールや、AWS...
View ArticleClik here to view.
Clik here to view.
Embulkを使ってみる - Kibanaを立ててみた
Embulkとは「Fruentdのバッチ版」と呼ばれることが多いツールで、FruentdやLogstashが逐次生成されるデータをストリームとして扱って転送するのに対し、Embulkはほぼ変化のないデータの塊を転送するのに向いているエージェント、という位置付けになります。開発しているのもFluentdのメインコミッターの一人ということで、Fruentdとセットで語られることが多いです。ですが、今のと...
View ArticleClik here to view.
JDBCでInputする - Kibanaを立ててみた
ファイルではなくDBの中身を取得これまで、Logstashやfluentdが、「ファイル」を読み込んでelasticsearchに流し込む事例を扱ってきましたが、どちらも、「データベース」から直接読み取って、elasticsearchに流し込むことができます。今回は、MySQLの中身を直接読み取ってElasticsearch/Kibanaに流し込むケースにトライします。過去ブログで取り上げた「SHO...
View ArticleClik here to view.
一旦おしまい - Kibanaを立ててみた
Kibanaを立ててみた - なからなLifeにて当初予定していたもの全部は記事化できなかったのですが、一旦締めさせていただこうと思います。以下テーマは、間に合わなかったので後ほどAmazon...
View ArticleClik here to view.
MySQLのサーバーステータス変数の監視の話
mysqlクライアントから定期実行してたし、計算は別途やってた。SHOW [GLOBAL ]STATUSで取れるのは、「サーバー起動からの累積値」または「コマンド発行時の瞬間値」という仕様のため、前者について推移を知りたいときは、・定間隔でコマンド発行してファイルに吐く（ex: mysql -e "SHOW GLOBAL...
View ArticleClik here to view.
「新しいLinuxの教科書」あれはいい本だ。
所属している会社は小さいし、そこそこ実績のある中途しか採用していないので、Linux入門者を相手にする機会はそうそうないです。なので、ここで吠えておくことにします。「新しいLinuxの教科書」あれはいい本だ。新卒SE向け研修（特に文系も採用しているようなところで）のテキストとして使うもよし、とりあえず自由に使えるLinux環境立てられるようになったらあとは自分で写経しながら読んでおけ、でも、いい感じ...
View ArticleClik here to view.
Logstashでハマった - Kibanaを立ててみた：番外編
atsuizo.hatenadiary.jpの際に扱っているLogstashですが、この時使用したファイルとは別のファイルを取り込もうとしてハマりました。何が原因なのかログから見えにくい、ということもあり、こちらに記録を残しておきます。「指定したファイルへのアクセス権」が足りなかった。。。結論だけ言ってしまえば、それだけでした。。。前回の例だと、path =>...
View ArticleClik here to view.
「Amazon Web Services負荷試験入門」は２つの面で良書だった
まさにT/OなんだがAWS負荷本、「AWSで作るシステム負荷試験のやり方」というIssueを掘り下げただけでも貴重なのだが、そもそも普通に負荷試験についてしっかり解説した書籍自体がレアなので、二重に美味しい。— atsuizo (@atsuizo)...
View Article