任务14：使用MapReduce提取全国每年最低/最高气温

任务描述

知识点：

• 使用MapReduce提取数据

重  点：

• 开发MapReduce程序
• 统计每年每个月的最低气温
• 统计每年每个月的最高气温

内  容：

• 使用IDEA创建一个MapReduce项目
• 开发MapReduce程序
• 使用MapReduce统计每年每个月的最低气温
• 使用MapReduce统计每年每个月的最高气温

任务指导

1. 使用MapReduce提取最低气温

• 使用IDEA创建Maven项目：TemperatureDemo
• 在Settings中配置Maven
• 配置pom.xml文件
• 开发MapReduce程序
  • com.MinTemperatureMapper：提取日期和气温数据
  • com.MinTemperatureReducer：提取其中的最低温度，由于气温数据的膨胀因子为10，也就是说是原始数据的10倍，因此需要将获取的气温数据除以10
  • com.MinTemperature：MapReduce程序主入口
• 程序编写完成，右键MinTemperature，点击Run 'MinTemperature.main()'运行MapReduce程序
• 程序运行完成，进入master机器，查看运行结果

2. 使用MapReduce提取最高气温

• 开发MapReduce程序
  • com.MaxTemperatureMapper：提取日期和气温数据
  • com.MaxTemperatureReducer：提取其中的最高温度，由于气温数据的膨胀因子为10，也就是说是原始数据的10倍，因此需要将获取的气温数据除以10
  • com.MaxTemperature：MapReduce程序主入口
• 程序编写完成，右键MaxTemperature，点击Run 'MaxTemperature.main()'运行MapReduce程序
• 程序运行完成，进入master机器，查看运行结果

任务实现

1. 使用MapReduce提取最低气温

• 使用IDEA创建Maven项目：TemperatureDemo

• 在Settings中配置Maven

• 配置pom.xml文件，内容如下：

<dependencies>    
	<dependency>        
	<groupId>org.apache.hadoop</groupId>        
	<artifactId>hadoop-client</artifactId>        
	<version>2.9.2</version>    
	</dependency>
</dependencies>

       程序是一个典型的MapReudce程序结