［６］データのサイクル〜JDEA「料金積算資料」を読む：佃均

　データはアナログ情報をデジタル化した最小単位です。データが集まって一定の意味を持つと「情報」となり、そこに解釈が加えられると「知識」となります。デジタル化→情報→知識のプロセスをＩＴの視点で表記したのが、TOPの「データのCRUD」です。
　Ｃは「Creation」、Ｒは「Read」、Ｕは「Update」、Ｄは「Delete」。その頭文字をつなげて「クラッド」と読んでいます。Ｃ：Creationは文字通り「生成」のこと、Ｒ：ReadとＵ：updateが「利活用」、Ｄ：Deleteは「削除」「廃棄」を意味します。
　データを利活用すると新しいデータが生まれます。元のデータは変わりませんが、２次・３次のデータが積み上がります。並行して新しい元データが追加され、不要になったデータはアクティブファイルから削除され、ストックヤードに移されます。そのようにデータはCRUDのサイクルを繰り返します。

生成工程は企画からSQT＊Gの設定まで

　解説（３）で紹介した「データ生成のＵ字モデル」を思い出してください。
　ある目的（課題解決）のために、データを収集・分析しようとするとき、まず「企画」を立て、「どのようなデータが必要か」を決め、「データを集める手法・手段」を考えます。このとき「既存のデータとしてどのようなものがあるか」「どういうデータをどのように組み合わせれ最適な解が出るか」を考える必要があります。
　そうやって収集された原票（データの元）をデジタル化すると、コンピュータ処理にかけることができるデータが生成されます。生成の手段は、かつてはキーボードによる入力（打鍵）でしたが、現在は光学式読取装置（OCRやカメラ）、音声認識、手書きイメージ認識、タッチパネル、マウス、バーコード／QRコード読取、センサーなど様ざまです。
　生成されたデータが運用に入るには、データそのものの検査・検証、データシステムと適用アプリケーションのテスト運用を経なければなりません。いざ動かしてみたらアプリケーションのデータ領域が不足していた——などということがないとは限らないからです。
　忘れてはいけないのは、データの安心・安全（Ｓ：Safety /Security）と品質（Ｑ：Quality）、信頼性（Ｔ：Trust）を運用後も継続的に維持する組織とルールを整える必要があるということです。組織とルールとは、ガバナンス（Ｇ）を意味しています。
　ここまでが「データ生成」です。
　多くの人が抱いている「データ生成」のイメージは、原票に記載されているアナログ情報をデジタル化する工程です。それは「情報システムの構築とはプログラムを作ること」と考えることと同じです。情報システムの構築が企画から運用開始までであるように、データ生成も企画からSQT＊Gまでであることを頭に刻み込んでください。

「Ｒ」と「Ｕ」にかかる13の課題

　今回発表した「データ・エンジニアリング料金積算資料」にも、そのニュースレリースにも書いていないのは、SQT＊Gのあと、つまり運用に入ってからのことです。運用とはデータの利活用、つまり「Ｒ」と「Ｕ」のプロセスです。
　冒頭に記したように、データ利活用の効果を上げるには、「既存のデータとしてどのようなものがあるか」「どういうデータをどのように組み合わせれ最適な解が出るか」がポイントになります。時間と予算が圧縮できるだけでなく、データないしデータ解析の付加価値が格段に高まるためです。
　下図は経済産業省／情報処理推進機構（IPA）の「産業データ流通基盤」（ウラノス・エコシステム　ホワイトペーパー）から引用した「データ流通にかかる5つのプロセスと13の課題」です。その最初のプロセス「データの探索」における課題は前述の通りです。「データが見つからない」「データとデータの関係性が分からない」とあります。　

　「Ｒ」と「Ｕ」の第２プロセス「データの確認」は、データが見つかったものの「データの所有者が誰なのか分からない」「データにロックがかかっていてアクセスできない」という問題です。「所有者が誰だか分からない」は、データのNora問題と言うことができます。
　第３プロセスは「データの転送」とありますが、「データの利用」と言い換えていいでしょう。「データの形式が合わない」「当該データを利用する方法・手続きが統一されていない」「データを入手するコストが合わない（高い）」という課題が指摘されています。
　データを利用する方法・手続きやコストはデータそのものの課題ではありません。データ生成の工程で留意しなければならないのは「データの形式」です。形式とはメタデータ（項目）、データ長、文字コード、ファイル形式（拡張子）などを指しています。

利用するときに「品質が分からない」では困る

　第４のプロセスは「データの利用・廃棄」となっていますが、この図を作成した方に「利用は第３のプロセスまでではありませんか？」と質問すると、「第３のプロセスまでは利用の前段階」という答えが返ってきました。そして「利用・廃棄は厳密には別のプロセスなのですが、表では一括しているんです」とのことでした（分かりにくい図なので、あえて説明を入れました）。
　で、第４プロセスの１「利用」の課題として、は「アクセスしたデータの完全性や品質を評価できない」「データ提供者によるデータの利用に関する条件等に対して抵触しているか判断できない」とあります。後者の課題は分かりにくいのですが、どうやら他者所有のデータを利用するときの条件を指しているようです。
　完全性や評価は、前節で述べた「データ品質の階層」を意味しています。これは自己保有のデータであっても他者所有のデータであっても変わりません。データの品質がどのレベルなのか、生成プロセスで規定されておらず、SQT＊Gが明文化されていないことを意味しています。
　データを利用するに及んで「品質が分からない」「評価できない」は困ったものです。データの品質はソフトウェアと同じように、触ることも見ることもできません。触ったり見ることができる工業製品も、流れ作業で組み立てられる場合は同様です。企画・設計段階で設定し、生成プロセスで品質を作り込むほかありません。
　第４プロセスの２「廃棄」はデータCRUDの「Ｄ」に当たるようですが、厳密には違います。データに限ると、「Ｕ」（Update）の工程でオーバーライト（上書き）、消去（erase）、消去（clear）が行われています。
　経産省資料が意味しているのは、おそらくアクティブファイルからの除去（remove）ないしデータシステムからの物理的な削除（delete）です。ただアクティブファイルからの除去であっても物理的な削除であっても、データは残ります。そのために「バックアップ」「アーカイブ」という用語があるわけです。

（佃均：ＩＴ記者会）