Clik here to view.
HammerDBをCLIで使うなど（１０）：テストデータをテキストファイルに出力する
DBによっては、データファイルの一括ロードが速いよねOracleのSQL*Loaderとか、MYSQLのLOAD DATAコマンドとか、PostgreSQLのCOPYコマンドとか。...
View ArticleClik here to view.
HammerDBをCLIで使うなど：まとめ、あるいは、目次の代わりに
「10回分の目次」的な何か2週間平日連載？で10回に分けて書いてきた「HammerDBをCLIで使う」のエントリのリストです。（１）環境構築（２）MySQLにTPC-Cを実行してみる（３）PostgreSQLにTPC-Cを実行してみる（４）OracleにTPC-Cを実行してみる（５）RedisにTPC-Cを実行してみる（６）自動でテストを繰り返す（７）MySQLにTPC-Hを実行してみる（８）Pos...
View ArticleMySQL8.0.18新機能「EXPLAIN ANALYZE」で外部結合の実行計画が取れなかった件
祝：8.0.18リリース！今回のメンテナンスリリースは盛りだくさんです。詳細は、リリースノートを読んでいただくか、今度の9/21(月)に更新されるであろうMySQL...
View Article新年あけまして2020
毎年年初になんか書いてたっけ？くらいに、中身のあること書いてなかったことを、過去ブログ見て思い返すなど。ブログの更新頻度は、2018年の15本に対して2019年は24本と伸びているのですが、ここ２ヶ月サボってますね。個人的にはOSSベンチマークツール「HammerDB」のCLI利用に関する連投が、自分自身も頻繁に見返しながら使うようなお役立ち記事になり、そのプロセスの中でもOSSのバグをソースレベル...
View ArticleClik here to view.
PostgreSQLのpsqlで実行時間だけ欲しい場合
用途時間計測したいけど、結果の行表示とか余計なものは全くいらない、ってケースありますよね。性能検証やってるときとか。何百行何千行も取れるようなSQL流すと、表示するのも萎える。 pager有効だと「--More--」って出て止まる。これは「q」で残りの表示はスキップできるけど、それもめんどくさい。...
View ArticleClik here to view.
MySQLのゾンビプロセスの話
エビデンス的なものを貼り付けてもイマイチ伝わらないので、文字通り雑記レベルで。複数セッション用意してタイミングに依存した実験の結果を伝える時、難しいよね、ってことで、ダラっとした解説になってしまいます。MySQLのサーバーに重いクエリを投げつけたりしたとき、クライアント自身を強制終了（mysqlクライアントを「kill -9」とか）すると、サーバー側では処理が続きます。「SHOW FULL...
View ArticleClik here to view.
「15 Stepで習得 Dockerから入るKubernates」を読んでEC2で演ってみた：（１）概要と環境構築
やっとkubernetesに手を出した本職がDB専業、MySQL、PostgreSQL、Oracleの導入、チューニング、移行などの支援がメインということもあり、k8sを使うインセンティブもモチベーションも非常に低かったのです。しかし、流石にぼちぼち触っておこうと思い、このコロナ禍での在宅勤務と、稼働率が少し落ち着いてきたのが重なって自由な時間が増えたところに、この本と出会ったという色々な偶然が重な...
View ArticleClik here to view.
「15 Stepで習得 Dockerから入るKubernates」を読んでEC2で演ってみた：（２）各演習（Step）でのメモ
この本、15Stepで習得 Dockerから入るKubernetes コンテナ開発からK8s本番運用まで (StepUp!選書)作者:高良 真穂発売日: 2019/09/27メディア:単行本（ソフトカバー）半分くらいまでは、DockerとKubernetesについての解説で、後半が15 Stepの演習になってます。このエントリは、その15...
View ArticleClik here to view.
AWS RDSの各種DBにおけるメモリ管理の指定方法
超親切設計な、インスタンスサイズからの自動計算、だけどパラメータグループには、デフォルトでDBInstanceClassMemoryからの自動計算になっていて、インスタンスサイズの変更時に手動でパラメータ変更をする必要がないような超親切設計になっています。しかし、これを単純に逆算すると、どうしてもインスタンスタイプの搭載メモリとして公開されている値に一致しないんです。わりとみんな通る道。この件、ドキ...
View ArticleClik here to view.
MySQL8.0.21の「Redoログ無効化」で大量書込処理を加速する
7/13 に MySQL 8.0.21 がリリースされました。リリースノートを読んでいて「Functionality Added or Changed」の3つ目にInnoDB: Redo logging can now be enabled and disabled using ALTER INSTANCE {ENABLE|DISABLE} INNODBREDO_LOG syntax. This...
View ArticleClik here to view.
「Linuxとpthreadsによるマルチスレッドプログラミング入門」を読んでみた
きっかけ「MySQLで接続数増やして同じテーブルへのアクセスが増えると、SHOW ENGINE INNODB STATUSのSEMAPHOREのところにいっぱい情報が出てくる「Mutex」がイマイチ分からん」と、MySQLを触り初めて以来、ずっと思っていました。MySQLのSHOW ENGINE INNODB...
View ArticleClik here to view.
SELECT FOR UPDATE NOWAIT他のオプションにおける、MySQL、PostgreSQL、Oracleの挙動
MySQL8.0から、SELECT FOR UPDATE NOWAIT/SKIP LOCKEDがサポートされました。パチパチパチ、といっても、MySQL8.0自体は2018-04-19にGA（8.0.11）していますし、この機能自体は8.0.1（2017-04-10, Development...
View ArticleClik here to view.
MySQL ShellのdumpInstance()、dumpSchemas()をAWS RDS＆AuroraMySQLに対して使用する
MySQL ShellのdumpInstance()/dumpSchemas()とはMySQLからのダンプエクスポートといえば、mysqldumpでした。しかし、シリアルに動くので、大量テーブル、大量データを対象としたdump処理には時間がかかることがネックとなることがありました。有償拡張版のMySQL Enterpriseには、Enterprise...
View ArticleClik here to view.
MySQLとRAND関数の挙動の整理 その1
MySQL Advent Calendar 2020 - Qiitaの3日目の記事です。昨年のアドベントカレンダーは1つも記事も書かなかったので、今年は1つくらいは。。。（ていうか、アドベントカレンダーのタイトルがMySQLだったりMySQL...
View ArticleClik here to view.
MySQLとRAND関数の挙動の整理 その2
MySQL Advent Calendar 2020 - Qiitaの4日目の記事です。昨日の記事MySQLとRAND関数の挙動の整理 その1 - なからなLifeの続きです。よって、前提条件も同じでMySQL 5.7.32 (エビデンスはこちらで取った）MySQL 8.0.22CentOS7 on...
View ArticleClik here to view.
MySQLとPostgreSQLのランダム関数の挙動の違い（小ネタ）
MySQL Advent Calendar 2020 - Qiitaの11日目の記事であり、同時に、PostgreSQL Advent Calendar 2020 - Qiitaの11日目の記事です。両データベースについての挙動差のお話です。MySQLとRAND関数の挙動の整理 その1 - なからなLifeMySQLとRAND関数の挙動の整理 その2 -...
View ArticleClik here to view.
MySQLのデータ投入順序とデータファイルサイズのお話
穴があったら埋めたい！ということで、埋まっていたと思ったら空いていたMySQL Advent Calendar 2020 - Qiitaの22日目、急遽登板です。小ネタにしては、エビデンス収集・整理に時間のかかるネタになってしまいましたが。データ投入順とプライマリキーの関係先日、「PKにSequence/Auto...
View Article新年あけまして2021
今年は年が明ける前から振り返ってみただいたい、他の人の年初エントリ見て「自分もやらなきゃ」って感じで始めるのですが、2020年末は余裕があったので、振り返りも先に済ませておこう、と。本当は、もっと短いサイクルで振り返り/軌道修正、いわゆるPDCAサイクルを回すのが理想なんですけどね。新型コロナウイルスの影響で、物理出社が平均月1回以下ですっかり在宅、お客さんの案件も、打ち合わせから作業までリモートで...
View ArticleHammerDB 4.0がリリースされていた - リリースノートチェック
おかげさまで、HammerDBについてのエントリが好評いただいております。一部の人には知られていた、データベースに対するベンチマークツール「HammerDB」ですが、GUI操作がそこそこ簡単なものの、CLIはドキュメントをガッツリ読む必要があり、日本語ドキュメントが整備されていなかったことから、そこにフォーカスを当てて書いた一連のエントリが、いろいろなところでお役に立っているようで嬉しい限りです。G...
View ArticleHammerDB 4.0がリリースされていた - 環境構築
HammerDB 4.0がリリースされていた - リリースノートチェック - なからなLifeの続きです。CentOS7環境用意いつものごとく、Windows10＋VirtualBox＋CentOS 7、または、AWS EC2＋AmazonLinux2の環境を使用しています。CentOS7をminimalインストールして、yum...
View ArticleHammerDB 4.0がリリースされていた - 設定まわりの変化
HammerDB 4.0がリリースされていた - リリースノートチェック - なからなLifehttps://atsuizo.hatenadiary.jp/entry/2021/04/07/090000の続きです。基本的な手順は同じなので、差があるところだけ対象データベースからRedisが消えている件hammerdb>dbset db help Unknown prefix help,...
View ArticleHammerDB 4.0がリリースされていた - 複数インスタンスへの接続・負荷試験 その１
HammerDB 4.0がリリースされていた - リリースノートチェック - なからなLifeHammerDB 4.0がリリースされていた - 環境構築 - なからなLifeHammerDB 4.0がリリースされていた - 設定まわりの変化 - なからなLifeHammerDB 4.0がリリースされていた - ワークロードの実行 -...
View ArticleClik here to view.
HammerDB 4.0がリリースされていた - 複数インスタンスへの接続・負荷試験 その２
HammerDB 4.0がリリースされていた - リリースノートチェック - なからなLifeHammerDB 4.0がリリースされていた - 環境構築 - なからなLifeHammerDB 4.0がリリースされていた - 設定まわりの変化 - なからなLifeHammerDB 4.0がリリースされていた - ワークロードの実行 - なからなLifeHammerDB 4.0がリリースされていた -...
View ArticleHammerDB 4.1がリリースされていた - リリースノートチェック
今回はリリースノートチェックだけ4/23にHammerDB v4.1がリリースされていました。マイナーバージョンアップということで、どこぞのデータベースのような大きな機能追加はないです。リリースノートには、大きく6つの変更点が記載されています。1.1. Nomenclature Change(命名法の変更) 1.2. Stored Procedure Refactoring and...
View ArticleClik here to view.
新年あけまして2022
2021年の雑感結局新型コロナは落ち着かず、withコロナにシフトして、在宅勤務がデフォになりました。世の中的には、お出かけできるようになっただけでもマシって感じです。お仕事的には、客先常駐が嫌いなので、「世の中在宅当たり前、客先にも入れない、だから全部リモートでよろしく」くらいが丁度いいですね。短期案件だと、開始から終了まで、一度もお客さんの顔を見ない／こちらも見せない、というケースもありますが、...
View ArticleClik here to view.
RDSがAuroraより速い！？について調べてみた
長くなりそうなので、先に要点だけ。Twitterで先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo)...
View ArticleClik here to view.
新年あけまして2023
2022年の雑感とにかくブログを全然書かない1年でした。。。年明けお約束の1本を除くと、4月に書いた1本だけ。ブログ書き始めて過去最低記録です。アドベントカレンダーへの参加すらできませんでした。色々理由はあるのですが、夏頃に本業のポジションが変わって、ブログを書く時間的余裕自体がまったくなくなってきたこと、仕事に占める技術ネタの割合が激減してしまったことが原因です。ひたすら、表に出せないような管理業...
View Article新年あけまして2024
2023年の雑感2022年も年頭所感以外は1本だったが、今年はまさかの0本。技術的に何かに深く取り組んで、それを公開するような活動をできていなかったです。そして、管理職として取り組んできたことは、ほとんど公開できない。。。また、各所コミュニティやセミナー・勉強会への参加も、数えるほどしかできませんでした。業務の延長として参加したのが数本、くらい。ネット人格？として参加したものは1本もなかった気がする...
View Article