9、Apache Hive与Apache Pig：大数据处理的利器

Apache Hive与Apache Pig：大数据处理的利器

1. Apache Hive概述

在使用Hive之前，有几个要点需要考虑：
- 非关系型数据库管理系统 ：Hive并非传统的关系型数据库管理系统（RDBMS），尽管它使用类似SQL的语言，但大多数作业会转换为MapReduce作业。例如，在RDBMS中，简单的 SELECT COUNT (*) 能立即返回结果，而Hive需要启动时间，因为map和reduce操作的启动可能耗时较长。此外，Hive还不支持 COMMIT 和 ROLLBACK 操作，而这些对于在线事务处理至关重要。
- 基于文件工作 ：Hive的数据以HDFS或AWS S3文件的形式存在，Hive表或分区以物理形式存在于文件位置。因此，Hive拥有的数据集可能会被外部因素改变，也可以加载外部数据。
- 内置函数局限性 ：使用Hive的内置函数可能难以获得所需结果。针对这种情况，Hive支持用户定义函数（UDF）和序列化/反序列化器（SerDe）。

2. Hive安装

以下是Hive 1.2.1的安装步骤：
1. 下载并解压Hive ：

$ wget http://www.us.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz