6、现代数据仓库的Azure服务架构与规划

现代数据仓库的Azure服务架构与规划

1. Azure SQL DB与Power BI基础

Azure的组件能提供完整的T - SQL功能，如行级和列级安全、数据掩码、存储过程和视图等，类似于SQL Server数据库。不过也有不同，无法通过T - SQL访问数据库下方的存储，但在云环境中这些功能可能并非必需。此外，SQL数据库还能提供AI组件，如支持Python和R。

在可视化方面，Power BI仍是首选工具。可以从数据仓库数据库导入数据，并利用Power BI的列存储数据模型提升性能。还能在导入数据时使用Python或R脚本，或在显示数据时使用Python或R可视化来实现一些机器学习算法。

2. 不同规模数据仓库的服务规划

2.1 L规模数据仓库的服务选择

当数据量很大，达到数百GB甚至更多，且需要对大量数据进行复杂转换，甚至要分析图像、音频或视频以训练机器学习模型时，需要设计能处理这些情况的现代数据仓库。
- Azure Data Factory ：用于ETL/ELT过程，其引擎的可扩展性可实现高效的数据提取和存储。若需要在加载数据时进行转换，可使用Data Factory中的映射流。
- Azure Stream Analytics ：可用于从物联网系统消费流数据，或对物流系统中的事件做出响应，将传入事件传输到数据湖。
- Azure Data Lake Storage ：由于要存储的数据在复杂性上超出了标准Azure存储账户，需要构建更复杂的文件夹结构并可能进行文件存档，同时不