AWSのRedshiftで1億レコード

AWSのRedhshiftを使って大量レコードで遊んでみる。

■目的 大量データでの検索パフォーマンス、環境の作りやすさの調査。 ローカル環境にてCassandraで1億レコード環境を作ってみたが、色々問題点が目に付いたので、結局Redshiftに戻ってくる。 1億超のレコードは扱ったことがなかったので試す。

■準備

• テストテーブルの作成、テストデータの作成（100万件、1000万件、1億件のCSVファイル）
• CSVファイルをS3にアップロード
• IAMにて、Redshift用のロールを作成しておく
• Redshiftにてクラスタを作成。最小構成（$0.314/h）で、1ノードで試す。
• テスト用のEC2にpostgresql92をインストールし、RedshiftのDBに接続する。

■結果

• COPYコマンドにて、S3からデータのロード。 100万件・・3秒程度でロード完了 1000万件・・25秒程度でロード完了 1億件・・5分程度でロード完了

• 各種検索 avg、sum、group by などを使った集計用の検索処理をいくつか実行。 どれも数秒で結果が返ってくる。

■感想

• Redshift環境は簡単に作成できる。

• データのインポートが想像よりはるかに早い。1億レコード5分は驚異的。

• 最小構成でも集計用SQLは数秒で返ってくる。 より上位の構成にしたり、ノード数を増やせばさらにパフォーマンス向上が見込まれるが、これは予算との兼ね合いで。 最小構成であれば、月額3万円以内で収まる。

• オンプレで頑張って分散環境作るより、Redshiftがお薦め。