168. Realtime Intelligence を試す

前回の記事　　　　　　　　　　　　　　　　　　　　　　　　次回の記事

はじめに

この記事を書いている時点で、Digital Twin Builder 作れない問題が解決していませんが、前から気になっていた、Microsoft Fabric の Realtime Intelligence を試すことにします。

Realtime Intelligence

概要

Microsoft Learn によれば、Realtime Intelligence とは、

だそうです。一般的に言われているところの”データ分析”は、どちらかというと、現時点で（様々な場所に）溜まっているデータに対する統計処理とか、グラフによる可視化などを意味すると思います。それらは、過去から現在にかけて何が起こったのかを分析するわけですね。（様々な）データソースを介して参照可能な（様々な場所に）溜まっているデータのライフサイクルに想いを馳せれば、それらは現実世界（の様々な場所）で生じた事象に伴う情報（データの組）を収集した結果です。事象の発生は、営業、業務、それらにかかわる人や機器群など、ビジネス活動の駆動や、活動が行われている過程や結果に関連しています。単に集まっているデータ群だけでなく、何時そのデータが生じたのか、何故生じたのか、それが明確に把握できて初めて、デジタルデータの効果的なトランスフォーメーション、すなわち DX が達成できると考えられます。

それを実践するための環境が、”Realtime Intelligence”というわけですね。

多分、ここまで読んできて、旧来的なメインフレーム系の環境で過ごしている人達の中には、「え、そんなんあたりまえやん、で、なんでこんな大仰な仕組みが必要なん？」と感じるかも。しかし、規模の大きい組織の場合、扱うデータも膨大だし、日々追加されていく、IoT やらなんやら様々な新規技術・サービスにより既存システムに統合されていくデータソースが増えていくような中で、同時並行的にばらばらと発生するデータ群を捌くには、スケーラブルな環境が必須ということ。

Microsoft Fabric のアーキテクチャを見ると、OneLake を基盤とした、マイクロソフト以外のサービスによるデータソースもセキュアに接続可能な環境が使える。
”リアルタイム”というと、工場やプラントで稼働している機器からのデータがメインかと思いきや、ビジネス上、ソリューション上の様々なイベントも含まれるのが特徴。
業務上のメッセージングでも、Microsoft Graph 等を使えば、詳細な粒度でお客様とのやり取りも含めた社員間のコミュニケーションの発生過程を、生成系AI の活用も含めて取り出せる、そんなことは従来できなかったので、同じ規模の組織でも、その活動から生じるデータ量は、何十倍も増えていくことになります。

リアルタイムデータを捌く（分析・変換する）環境を”Real-Time Hub”と呼ぶらしい。構成要素は以下の通り。

• Eventstream

  • 様々なデータソースから・へのコネクター

    • データストリーム

    • Microsoft のソース

    • Fabric Event

  • イベント処理機能

    • フィルター処理、データクレンジング、変換、ウィンドウ集計、重複検出など

• Eventhouse

  • 構造化・半構造化・非構造化データを含む時間ベースのストリーミングイベントに伴う、移動中（？）のデータを処理するのに理想的な分析エンジン

    • KQL による高速なクエリが可能なパーティション分割されたデータ管理

• KQL Queryset

  • データ分析情報可視化のためのデータ加工

• Activator

  • イベント駆動型の分析情報を実用的なビジネス上の利点に変える

    • 特定の条件またはロジックが満たされると、ユーザーへのアラート、パイプラインなどの Fabric ジョブ項目の実行、Power Automate ワークフローの開始などのアクションを実行

• Real-time Dashboard

  • 静的空間データと組み合わせてリアルタイム空間データを表示

  • 地図による位置情報も表示可能

• Digital Twin Builder

  • 物理環境をデジタル的に表すオントロジとしてデータをモデル化

  • Fabric Onelake を含む様々なソースシステムからのデータをオントロジのデータとしてマップ

Microsoft Learn の説明で、”移動中のデータ”という書きようが見受けられて、違和感を感じたので、ja-jp を en-us に代えて、原文を確認。