企業におけるデータ活用の重要性が高まる中、特にビッグデータのリアルタイム分析が注目されています。

本記事では、そんなニーズに応える「Azure Data Explorer」について、その基本的な概要から設計思想、使い方、そしてメリットまでを分かりやすく解説していきます。

Microsoft Azureが提供するこのサービスは、特にリアルタイムモニタリングや予測分析に適しており、大量のストリーミングデータや時系列データを高速に処理し、分析する機能を持っています。
また、独自のクエリ言語KQLを用いて直感的にデータを探索することが可能で、豊富な連携オプションを備えている点も大きな特長です。

Azure Data Explorerの活用により、データ分析の効率化を図り、ビジネスの意思決定を加速させましょう。

Azure Data Explorerとは

Azure Data Explorerは、Microsoft Azureが提供する、リアルタイムでの大量データ分析に特化したフルマネージドサービスです。リアルタイムモニタリング、予測分析、異常検知など、即時性の高い分析タスクに特に適しています。

Azure Data Explorerイメージ

大規模なストリーミングデータや時系列データを高速に処理し、分析することができるAzure Data Explorerについて今回解説していきます。

Azure Data Explorerの特徴

まず初めに、Azure Data Explorerの主要な特徴について説明していきます。

Azure Data Explorerの主要な特徴

高速性と低レイテンシー

Azure Data Explorerは、非常に高速なデータ処理と分析を行うことができます。その特徴は次の通りです：

• 大量データの取り込みが可能です。
• 高速なクエリ実行ができます。
• 高速化の技術: コラムナーインデックスと高度なキャッシュ技術を使って、データの検索と分析を高速化します。

コラムナーインデックス（列指向インデックス）は、データベースのストレージ形式の一種で、データを「列ごと」に保存・管理する方法です。データ検索や集計の際に大きなメリットがあります。

その速さはどのくらいかと言うと、

 1分間に生成される1,000万行のログデータを、5秒以内に取り込み、すぐに分析できる状態にします。

多様なデータ形式への対応

Azure Data Explorerは、取り込んだデータの形式に基づいて自動的にスキーマ（データの構造）を推論する機能を持っているので、次のようなさまざまな形式のデータを迅速に取り込んで分析することができます：

• 構造化データ: CSV、JSON、Parquet
• 半構造化データ: ログファイル、IoTテレメトリ
• 非構造化データ: テキストデータ

Kusto Query Language (KQL) による直感的なクエリ

Kusto Query Language (KQL) は、Azure Data Explorer専用に設計された強力で直感的なクエリ言語です。その特徴としては、

• SQLに似た構文で学習が容易
• パイプライン (|) を使用した読みやすいクエリ構造: クエリの各ステップをパイプライン記号（|）でつなげて書くことで、データの変換やフィルタリングの流れが視覚的にわかりやすくなります。
• 豊富な関数と演算子による高度な分析: KQLは、統計関数や文字列操作、時間の計算、機械学習アルゴリズムのサポートなど、豊富な関数と演算子を備えています。

Azure サービスやオープンソースツールとの連携

Azure Data Explorerは、さまざまなAzureサービスとシームレスに連携できます。代表的な連携先はこちらです：

• Azure Monitor: アプリケーションやインフラのモニタリングデータを分析するために利用されます。
• Azure Event Hubs: 大量のリアルタイムデータストリームを取り込むためのサービスです。
• Power BI: Azure Data Explorerで分析したデータを視覚化し、ダッシュボードを作成できます。
• Apache Spark: 大規模なデータ処理が得意なApache Sparkとも連携できます。

また、Azure Data ExplorerはPython、R、.NETなどのさまざまなプログラミング言語を使ってデータにアクセスできるため、既存のデータ分析のワークフローやプロセスに簡単にAzure Data Explorerを組み込むことが可能です。

Azure Monitorについては、こちらの記事もご覧ください。

【関連記事】 ➡️ Azure Monitorとは？導入目的やメリット、料金体系を解説

Azure Data Explorerの使い方

ではここからはAzure Data Explorerの基本的な使い方をご紹介します。

一連の流れとしては、

１　クラスターとデータベースの作成
２　データ取り込み
３　クエリ実行
４  可視化

となります。

クラスターとデータベースの作成

Azure Data Explorerでデータ分析を開始するためには、まずクラスター（データを保存しクエリを実行するためのコンピューティングリソース）とその上にデータベース（データを格納するためのコンテナ）を作成する必要があります。

ステップ１：クラスターの作成

1. Azure portalにサインイン
   Azureポータルにアクセスし、Azureアカウントでサインインします。

   
   
   Azureポータル画面
   ※前提準備として、Azureアカウントの作成を行ってください。

   【関連記事】
   ➡️Azure Portalとは？操作方法やメリットをわかりやすく解説！

2. 「リソースの作成」ボタンをクリックします。
   
   
   リソースの作成ボタン

3. ①検索画面に「Azure Data Explorer」と入力し、②Azure Data Explorerを選択します。③「作成」をクリックします。
   
   
   検索画面

4. クラスターの基本情報を設定:
   クラスター名、リージョン、スケーリングのオプションなど、基本情報を入力したら、「確認と作成」をクリックします。
   
   
   クラスター設定画面

5. 内容を確認したら、「作成」をクリックします。
   
   
   作成ボタン

クラスターが作成されたら、そのクラスター内にデータベースを追加します。

ステップ２：データベースの作成

1. クラスターの[概要] タブで [データベースの追加] を選択します。
   
   
   データベースの追加ボタン

2. 新しいデータベースの作成画面に必要事項を入力したら、「作成」をクリックします。
   
   
   データベースの作成画面

データの取り込み

次に、分析対象のデータをAzure Data Explorerに取り込みます。 この記事では以下、ローカル ファイルから新しいテーブルにデータを取得する方法について説明します。

1. ①クラスターのページの左側のメニューから [クエリ] を選択 し、②データを取り込むデータベースを選択します。③Web UIで開くをクリックします。
   
   
   クラスターページ

2. このような画面が開きます。Azure Data Explorer Web UIは、データのクエリや分析に特化したユーザー向けのツールで、素早く操作を行いたいときに便利なものです。
   
   
   Azure Data Explorer Web UI

3. データを取り込むデータベースを右クリックし、 [Get Data(データの取得)] を選択します。
   
   
   Get Dataボタン

4. [ データの取得 ] ウィンドウで、[ データソースの選択 ] タブが選択されています。
   使用可能な一覧からデータ ソースを選択します。

   この例では、 ローカル ファイルからデータを取り込むので、「ローカルファイル」をクリックします。
   
   
   ソースタブ

5. ターゲット データベースとテーブルを選択します。 新しいテーブルにデータを取り込むために、[ + 新しいテーブル ] を選択し、テーブル名を入力します。
   
   
   新しいテーブル入力画面

6. ファイルをウィンドウにドラッグするか、[ファイルの 参照] を選択します。
   
   
   ドラッグ画面

7. ファイルを追加したら、「次へ」をクリックします。
   
   
   次へボタン

8. データの検査（インジェスト）画面が開き、データのプレビューが表示されます。
   インジェスト プロセスを完了するには、[終了] を選択 します。
   
   
   検査画面

KQLを使ったクエリの実行

次は、取り込んだデータに対して、Kusto Query Language (KQL) を使用してクエリを実行します。

1. 左側のメニューで [クエリ] を選択し、データベースを選択します。
   
   
   クエリ選択

2. 次のクエリをコピーしてクエリ ウィンドウに貼り付けます。 ウィンドウの上部にある (実行) を選択します。

   Linkxtable
   | sort by Name desc
   | take 10```
   
   

※テーブル名(Linkxtable)と列名(Name)はデータに応じて置き換えてください。

3. Nameでソートされた１０個のクエリが返ってきました。

結果画面

可視化ツールとの連携

Azure Data Explorerでは、データの可視化を簡単に行うために、以下の可視化ツールと連携することができます。

1. Azure Data Explorer Dashboards:
   Azure Data Explorerには、もともと組み込まれているダッシュボード機能があります。KQLを使用して、データのクエリを作成し、それをもとにインタラクティブで動的なグラフやチャートを簡単に作成できます。

2. Power BI:
   データの可視化とレポート作成を行う人気のビジネスインテリジェンスツールです。

3. Grafana:
   オープンソースの監視および可視化ツール。

4. Excel:
   Azure Data Explorer のデータに接続して、Excelでの分析やピボットテーブルを作成。

5. Jupyter Notebooks:
   Python や R などのプログラミング言語を使用してデータのクエリと分析を行う。

詳細は、こちらをご覧ください。

Azure Data Explorer ダッシュボードの例(参考：Microsoft)

Azure Data Explorerの活用シーン

ここからは、Azure Data Explorerが効果を発揮する具体的な活用シーンをご紹介します。

ログデータ分析

Azure Data Explorerは、大規模なログデータの分析に非常に適したツールであり、以下のような場面で効果的に活用されます：

• アプリケーションログ:
  アプリケーションの動作中に発生するエラーやパフォーマンスの問題を迅速に特定するために利用されます。

• セキュリティログ:
  不正アクセスや異常なアクティビティをリアルタイムで検出し、分析するために使用されます。

• インフラストラクチャログ:
  サーバー、ネットワーク機器、ストレージなど、システム全体の健全性をモニタリングします。

IoTテレメトリデータ分析

Azure Data Explorerは、IoTデバイスから生成される大量のテレメトリデータのリアルタイム分析に特化しています。そのため、以下のような場面で効果を発揮するでしょう。

• センサーデータのリアルタイム処理:
  温度、湿度、圧力などのセンサーデータをリアルタイムで処理します。

• デバイスのパフォーマンス監視:
  各IoTデバイスのパフォーマンスをモニタリングし、異常な動作やパフォーマンスの低下を早期に発見できます。

• 予測メンテナンスのためのパターン分析:
  過去のデータから異常なパターンを検出し、デバイスの故障を予測できます。

異常検知や予測モデルの作成

Azure Data Explorerは、機械学習モデルの構築と実行にも対応しており、以下のような用途で強力なツールとなります。

• 時系列データの異常検知:
  時系列データ（例えば売上データ、温度センサーデータ）を使用して、異常なパターンを検出します。

• トレンド予測と需要予測:
  過去のデータに基づいて、将来のトレンドや需要を予測します。

• クラスタリングとセグメンテーション:
  データの特性に基づいてクラスタリング（グループ化）することで、類似した特性を持つ顧客をグループ化し、各セグメントに適したマーケティング戦略を立てることができます。

Azure Data Explorerの料金

では、ここでAzure Data Explorerの料金について見ていきましょう。ポイントは次のとおりです。

1. 料金体系:

   • 使用量に基づく従量課金制（分単位）

2. 料金構成:

   • VM料金: クラスター内の各VMの使用量に応じて課金
   • Azure Data Explorerの追加料金: エンジンクラスターのVMのvCore数に比例して課金

3. インスタンスの種類:

   • ストレージ最適化インスタンス: 大容量データで少ないクエリ向け（例: Lsv3、Easv4シリーズ）
   • コンピュート最適化インスタンス: 小容量データで多くのクエリ向け（例: Easdv5、Ddv5シリーズ）
   • 開発者向けインスタンス: 開発・テスト用（例: D11 v2, E2a v4）

4. 予約オプションと割引:

   • 1年または3年の予約により、約15〜30%のコスト削減が可能です。

5. 追加のコスト:

   • ストレージおよびネットワーク使用料が別途発生します。

Azure Data Explorerの詳細な料金は、こちらをご覧ください。

Azure Data Explorerのメリット

最後にAzure Data Explorerを使うことで得られるメリットをご説明します。

高い作業効率

Azure Data Explorerを使用することで、データ分析の作業効率が大幅に向上します。そのメリットは、以下のとおりです。

1. 高速クエリ実行:

   • 膨大なデータセットに対しても驚くほど迅速にクエリを実行できます。
   • インタラクティブな分析が可能です。

2. 直感的なクエリ言語（KQL）:

   • データ分析に不慣れなユーザーでも短期間で習得できます。
   • パイプライン（|）構文を使用して、複雑な分析も簡潔で読みやすく表現できます。

3. 自動スケーリング:

   • データ量やクエリの負荷に応じてリソースを自動的にスケーリングします。
   • 手動でのパフォーマンス調整が不要です。

例えば、
従来のSQLベースのシステムで1時間以上かかっていた分析タスクが、Azure Data Explorerではわずか数分で完了することもあります。

インフラ管理不要のフルマネージドサービス

Azure Data Explorerは、フルマネージドサービスとして提供されており、インフラストラクチャの管理をする必要がありません。以下の特徴がそのメリットを具体的に示しています。

1. 自動パッチ適用とアップグレード:

   • パッチ適用やアップグレードを自動的に行うため、常に最新かつセキュアな環境を維持できます。
   • メンテナンスの自動化により、メンテナンス作業による中断を最小限に抑えられています。

2. 高可用性の確保:

   • Microsoftによる99.9%のSLA保証がされています。
   • データの自動バックアップと迅速な障害復旧機能が組み込まれています。

3. セキュリティ管理:

   • Microsoft Entra IDとの統合により、ユーザーアクセスの管理が強化されています。
   • 保存時（静止データ）と転送時（移動中のデータ）の両方で暗号化が施されています。

Microsoft Entra IDについてはこちらの記事もご覧ください。

【関連記事】
➡️ Microsoft Entra IDとは？その機能や料金体系をわかりやすく解説！

まとめ

本記事では、Azure Data Explorerの概要、主要な特徴、基本的な使用方法、活用シーン、そしてそのメリットについて解説しました。

Azure Data Explorerは、リアルタイムでの大量データ分析に特化したサービスとして、高速性、低レイテンシー、多様なデータ形式への対応、直感的なクエリ言語（KQL）の提供など、多くの強力な機能を備えています。

ぜひAzure Data Explorerを効果的に活用することで、データの価値を最大限に引き出し、ログデータ分析、IoTテレメトリデータの処理、異常検知や予測モデルの作成など、様々な分野で活用してみてください。

この記事が、皆様のお役に立てたら幸いです。