データ取り込み直後からほぼ即時にインサイトを得られるよう、高速なデータ処理とクエリ実行を可能にします。
データをオープンフォーマットで保存することで、すべてのワークロードを単一の信頼できるデータソースに統合でき、データガバナンスの向上につながります。
データレイクハウス vs データウェアハウス：比較と選択
データウェアハウスは独自フォーマットでデータを格納するため、処理可能なワークロードがそのシステムの機能に制限されます。一方データレイクハウスはオープンフォーマットとオープンカタログサービスにより、多様な計算エンジンと統合可能。これにより、全データの信頼性ある単一ソースを維持できます。
データレイクハウス vs. データウェアハウス：どちらが優れているのか
データウェアハウスはデータを独自フォーマットで保存するため、実行できるワークロードはそのデータウェアハウスの機能に制限されます。一方で、データレイクハウスはデータをオープンフォーマットで保存し、オープンなカタログサービスと連携することで、さまざまなコンピュートエンジンとの統合が可能です。その結果、すべてのデータに対して単一の信頼できるデータソース（Single Source of Truth）を維持することができます。
また、データレイクハウスは従来型のデータレイクに比べて、より高いデータ鮮度を実現できます。しかし、リアルタイム分析の観点では、リアルタイムデータウェアハウスのほうが、専用ツールによりデータ鮮度で優位に立つケースもあります。詳しくはこちらをご覧ください。
代表的なレイクハウステーブルフォーマット
オープンテーブルフォーマットは、すべてのレイクハウスアーキテクチャの中核を成す要素であり、標準化されたデータ形式と、データウェアハウスに近い高度な機能を提供します。
Apache Iceberg
Apache Iceberg は、大規模な分析テーブル向けに設計された高性能なテーブルフォーマットです。
Apache Hudi
Apache Hudi は、トランザクション処理をサポートするデータレイクプラットフォームであり、データベースやデータウェアハウスに求められる機能をデータレイク上で実現します。
Delta Lake
Delta Lake は、フォーマットに依存しないレイクハウスアーキテクチャの構築を可能にする、オープンソースのストレージフレームワークです。
レイクハウスの制約
データレイクハウスは柔軟性、スケーラビリティ、コスト効率を約束しますが、クエリ性能の低さによりこれらの利点を十分に発揮できないことが少なくありません。その結果、多くのユーザーは求めるクエリ性能を得るために、レイクハウスからプロプライエタリなデータウェアハウスへデータをコピーせざるを得なくなっています。しかしこの手法は、複雑かつ高コストなデータ取り込みパイプラインを必要とし、データガバナンスとデータの鮮度を損なう要因となっています。
なぜレイクハウスにおいてクエリエンジンが重要なのか
タスクに応じて最適なクエリエンジンを選択することで、レイクハウスの潜在能力を最大限に引き出すことができます。オープンフォーマットを採用することで、同じデータに対して複数のエンジンをレイヤーとして重ね、用途に応じた処理が可能になります。たとえば、バッチ処理には Spark、低レイテンシなクエリには StarRocks といったように、レイクハウス向けのエンジンは特定の処理に特化した高い性能を発揮します。
