Spark SQL thrift server 部署

最新推荐文章于 2026-06-23 17:26:15 发布

原创

最新推荐文章于 2026-06-23 17:26:15 发布 · 1.3k 阅读

标签

#spark #sql #数据 #hdfs #hive

收录于

本文档介绍了如何部署和运行Spark SQL Thrift Server，包括将Hive和Spark配置文件同步，启动Spark SQL进行交互式查询，以及启动Thrift Server供远程访问。此外，还提到了如何使用Beeline客户端连接Thrift Server，以及解决端口冲突和安全验证的问题。

说明

1.需要先部署好hive和spark on yarn.
2.Spark1.6对应Hive1.2.1，Spark1.4对应Hive0.13.

配置

将Hive的配置文件hive-site.xml和HDFS的配置文件core-site.xml,hdfs-site.xml复制到spark的配置文件夹conf.

运行spark sql.

执行

./bin/spark-sql

可以交互式查询Hive数据.

运行spark thrift server

类似于HiveServer2,推荐用这种方式.
执行

./sbin/start-thriftserver.sh

将启动一个服务,通过10000端口提供远程访问.
也可以自定义参数如下:

./sbin/start-thriftserver.sh \
  --hiveconf hive.server2.thrift.port=<listening-port> \
  --hiveconf hive.server2.thrift.bind.host=<listening-host>
  --num-executors <num>

PS:如果该机器已经启动了HiveServer2占用了10000端口,则会启动失败,需要更换端口.
默认num-executors为2,代表executor的数量.