98、网络数据监控及相关应用技术解析

网络数据监控及相关应用技术解析

1. 网络数据监控的挑战

网络数据监控面临着诸多独特的问题。与传统数据库技术不同，“流”查询针对的是正在接收的数据，而非存储在数据库中的数据。传统数据库技术核心在于二级存储管理和利用索引，而流查询通常应用于主内存数据，且事先没有可用的索引。

网络数据本质上是分布式和异构的，类似于分布式数据库，但网络上的数据来源数量众多，且难以理解数据源的语义，这就需要动态发现新数据源并即时分析其语义，这使得监控工作不得不包含大量人工智能成分。

此外，网络不像传统数据库系统那样提供完善的数据变更控制。对于 HTML 页面，虽可注册页面变更通知服务，但这只是非常原始的变更控制方式，通常是定期读取页面并检查哈希值来判断是否变更。

2. 电子商务中的网络监控

2.1 比较购物

比较购物是电子商务中常见的应用，系统需要整合不同目录的信息。主要困难包括“包装”各种数据源以提取信息（如产品性质、价格、交付条款等），以及监控数据源的信息变化。对于变化迅速的数据（如机票价格），可采用“中介”方法，即用户查询时直接发起查询；而在许多情况下，会采用数据仓库方法，先提取、存储和监控数据。

2.2 自动站点包装和监控

目前，数据源的包装大多是从 HTML 页面半自动完成的，工程师需检查具有相似结构的页面集合并定制程序来提取信息。这种方法的弱点是适用的站点和页面样式数量有限，且页面布局修改时包装程序也需修改。使用 XML 时情况会稍好，可利用标签信息自动理解页面语义并自动包装。对于表单或 Web 服务，情况更为复杂，需要借助人工智能来理解网站语义并自动提取信息。如果网站所有者愿意共