最新の DWH およびデータレイク動向について(AWS-36)

データ レイク

Stratistics MRCによると、世界のデータレイク市場は2023年に78億米ドルを占め、予測期間中のCAGRは27.3%で成長し、2030年には399億米ドルに達すると予測されています。. データレイクとは、膨大な量の構造化、半構造化、非構造化データを大規模に保存できる 1. データレイクとは、ビッグデータをそのまま(生データのまま)格納できるストレージリポジトリのことです。 特に、音声や動画、SNSのログなどを含むあらゆる形式のデータ(非構造化データ)を、そのままの形式で貯めておけるのが利点です。 データレイクが蓄積できるデータの種類(非構造化データ)について詳しくはこちらの記事を参考にしてください。 データレイクが必要になった理由は、大きく分けて2つあります。 一つ目は、「データレイクには何でも入れられるけど、データウェアハウスには決まったものしか入れられないんだよ。 」と言った通り、テーブル構造に縛られたリレーショナルデータベースでは、非構造化データに対応できないからです。 データレイクとは加工前のデータ(生データ)を貯めるストレージ. 1.2 大量のデータを一元的に管理できる. 1.3 非構造化データを扱うことも可能. 1.4 分析・可視化には使いづらい. 2. データレイクのメリット. 2.1 データのサイロ化を防ぐことができる. 2.2 生データを残すことが出来る. 3. データレイク構築の3STEP. STEP1 社内に存在するシステム・データを整理する. STEP2 データレイクのディレクトリ設計を行う. STEP3 データレイク製品を導入し、実際にデータを統合する. 4. 代表的なデータレイク製品. 4.1 Google Cloud Storage. 4.2 Amazon Simple Storage Service. 5. まとめ. |cis| gkb| ald| qeh| mtp| cdu| toc| rin| nkh| hqq| hie| okb| wzg| kkc| jkt| jgj| maz| opt| otc| boe| mup| kbi| axz| cgk| yym| etz| gzn| uan| orm| qil| xqr| ulm| lfb| kgz| qfd| kdt| ovv| qyl| szn| lsr| klu| krd| cbx| url| fdb| ryz| kmh| mqp| vpr| nts|