データストアの選択

世の中には データを保存しておく製品にも、いろいろと選択肢が用意されています。GCPでも目的に応じて特徴の異なる複数のサービスが用意されています。その中でもBigQueryって特徴的で判りやすいと(個人的には)思っていたのですが、最近になってGCPにかかわりながらもBigQueryがどういうものなのかを未だに知らない人に遭遇しました。

ここでGCPのデータの保存目的に使えるサービスを比較しておきたいと思います。

一覧

GCPに用意されたサービスの一覧です。

名称	略称	概要	スケーラブル	マネージド
Firestore	(特になし)	NoSQL、ドキュメント指向データベース。	〇	〇
Cloud SQL	(特になし)	SQLのリレーショナルデータベース。	△	〇
Cloud Spanner	Spanner	SQLのリレーショナルデータベース。	〇	〇
Cloud Bigtable	Bigtable	NoSQL・低レイテンシのデータベース。	〇	〇
Memorystore	Memstore	オンメモリで高速動作。	〇	〇
BigQuery	(特になし)	検索に特化したデータウェアハウス。	〇	〇
Cloud Storage	GCS	非構造化データ用のストレージ。	〇	〇

「略称」はGoogleが決めた正式なものではないですが、開発者の間でよく使われている呼称です。

「マネージド」の〇はフルマネージド、△はフルではないマネージドを表します。

これら以外にもFirebaseのサービスもあるのですが、それらに関しては割愛します。

各サービスの特徴

サービスを比較・選択するうえで参考としていただけるように、ざっくりと説明します。詳細はGoogleの各サービスをご覧ください。

Firestore

スケーラブルなので負荷が増えても重くなる心配がありません。むしろアクセスが少ないと優先順位が下げられて待ちが長くなる感じさえあります。フルマネージドなのでメンテナンスフリーです。

スキーマレスでドキュメント指向です。自分で各ドキュメントの構造を同じにして使えば、テーブルとして使えます。検索用のインデックスが付いた連想配列の様な感じですが、インデックスによる検索機能は貧弱です。柔軟な検索が必要なら、ElasticSearchやGAEのSearch APIと組み合わせる必要があります。

強整合性でトランザクションにも対応しています。

費用は主に保存容量に対して発生し、無料枠もあるので、ランニングコストは低めです。

SQLしか経験のない方には理解しにくいかもしれませんが、「Not only SQL」なデータベースです。

過去には似たようなDatastoreというサービスがありましたが、それが廃止されてFirestoreのDatastore互換モードとなりました。Firestoreにはネイティブモードもあり、こちらはドキュメントを階層構造にすることもできます。

Cloud SQL

MySQL/PostgreSQL/SQL Serverのいずれかから選んで使用します。これらを自分でGCEに乗せなくても、予めGoogleが用意してくれていると理解すればいいと思います。

なので利点も欠点もMySQL/PostgreSQL/SQL Serverを引き継ぎます。スケーリングに関しては設定した範囲内に限定され、無限ではありません。幸いフルマネージドでメンテフリーで使えます。

費用は主に保存容量とCPUに対して発生します。CPUはGCEと同等なので、ランニングコストはそれなりに発生します。

Cloud Spanner

スケーラブルなので負荷が増えても重くなる心配なし、フルマネージドでメンテナンスフリー、強整合性と、ここまではFirestoreと同じです。こちらはドキュメント指向でありません。SQLでリレーショナルデータベースを使いたい人にとっては、Cloud SQLとFirestore/Bigtableの「良いとこ取り」の様な感じになります。GCPではコスト以外はほぼ最強ではないでしょうか。

費用は主に保存容量とコンピューティングインスタンスに対して発生します。「Cloud Spanner vs Cloud SQL」も参考になると思います。

Cloud Bigtable

スケーラブル、フルマネージド、NoSQLと、ここまではFirestoreと同じです。低レイテンシが最大の売りでしょうか。

GCPに昔からあるサービスで、他のデータベース/ストレージの基盤となるサービスだと聞いたことがあります。(今GoogleのWeb上のドキュメントを探してもそのような説明は見当たらないのですが、当時詳しい人だったかGoogle日本法人の人から聞いた話なので、嘘ではないはず)

費用は主に保存容量とコンピューティングに使われるノードに対して発生します。ノードは事実上GCEと同じなので、たぶんそこそこかかるはず。

Memorystore

Redis/Memcachedのいずれかから選んで使用します。たぶんそれらをGCPに乗せただけと思います。オンメモリなので速いはず。しかもスケーラブル。

速さを活かしてキャッシュや書き換えの集中するデータの保存に向きます。

ここから後のサービスは、データベースではありません。

BigQuery

データベースが構造化されたデータの永続化を目的とするのに対し、BigQueryは高速な検索が行えることを目的としたデータウェアハウスです。特に保存・更新・削除において制限が多く、データベースと比べると機能・性能面で限定的になっています。そのためデータベースの代わりになるものではなく、データベースと同じと思って使うと痛い目に遭います。特徴である検索の高速性を活かす使い方をすべきで、データベースの補完として使います。

Cloud Storage

データベースが構造化されたデータを保存するものであるのに対して、ストレージは画像や音声など構造化されていないデータの保存に特化しています。保存容量に対して料金が安いという特徴もあります。

おわりに

GCP独自のものと、オープンソースをGCPに乗せた+αと思われるものがあります。どちらにしても提供されているサービスが多く、最適なものの選択は難易度が高いのが実際です。結局好みと料金で選ばれることが多いと思いますが、それでは失敗することもあります。

オープンソースのデータベースをGCEインスタンスに乗せて使っているのも見かけますが、これはお勧めできません。GCPで用意されているデータベースと比べると純粋な費用で同等あるいはそれ以上かかると思われますし、自分でメンテナンスが必要になるのでそれも合わせるとコストパフォーマンスで劣ってしまいます。またGCPの他のサービスのと連携が出来ないなど、損するケースも多くなります。