深入解析Hive分位数函数：percentile与percentile_approx的算法差异与应用场景

1. 分位数是什么？为什么在数据分析中如此重要？

大家好，我是老张，在数据仓库和Hive这块摸爬滚打了十来年。今天咱们不聊那些宏大的架构，就聚焦一个非常具体、但在日常分析中几乎天天打交道的功能：分位数计算。你可能经常用percentile或者percentile_approx，但有没有那么一瞬间，对它们算出来的结果感到一丝困惑？比如，明明感觉中位数应该是另一个数，为什么Hive返回的是这个？这背后其实是两套完全不同的“算法世界观”。

在深入代码之前，咱们先得把“分位数”这个概念用大白话讲清楚。想象一下，你们部门有100个销售，年底要发奖金。老板说：“咱们把奖金分成四档，业绩排在前25%的拿最高档，接下来的25%拿第二档……” 这里用到的就是四分位数。更普遍地说，分位数就是把一组数据按大小排序后，切成100等份，每一份的边界点就是百分位数。中位数，就是那个50%分位数，它把数据一分为二，一半人比你高，一半人比你低。

在数据分析和决策中，分位数比简单的平均值有用得多。平均值很容易被几个极端值（比如团队里有个超级销售明星）给“拉偏”。而分位数，特别是中位数，更能反映大多数人的“典型”状况。在Hive里处理海量数据时，计算用户停留时长中位数、订单金额的90分位值（用于发现高价值用户）、或者排查系统延迟的95分位点（用于定位慢查询），都是分位数的典型应用场景。

Hive很贴心地为我们提供了两种武器：percentile 和 percentile_approx。名字里带个“approx”（近似），已经暗示了它们的不同。简单说，一个追求精确，一个追求高效。但它们的差异远不止于此，从底层算法、适用场景到参数调优，都藏着不少门道。用对了，事半功倍；用混了，可能就会对数据结果产生误判。接下来，我就带你彻底拆解这对“同胞兄弟”，看看它们到底是怎么算的，以及你该在什么时候选择谁。

2. 刨根问底：percentile的精确算法与实现细节

我们先来看大哥 percentile。它的设计哲学非常直接：既然要算分位数，我就给你一个确定无疑的、基于所有数据排序后的精确结果。

2.1 核心算法：排序与线性插值

percentile 的算法步骤，其实和我们手工计算分位数的思路一模一样：

1. 排序：将指定列的所有数据，从小到大进行排序。
2. 定位：根据给定的分位数 p (0 < p < 1)，计算理论上的位置 index。公式是：index = 1 + (n - 1) * p。其中 n 是数据总条数。
3. 取值：这是最关键的一步，分两种情况：
   • 情况A：index 正好是整数。比如数据有9条（n=9），计算中位数（p=0.5），那么 index = 1 + (9-1)*0.5 = 5。这个位置是整数，直接取排序后第5个数的值即可。
   • 情况B：index 是小数。比如数据有8条（n=8），计算中位数（p=0.5），那么 index = 1 + (8-1)*0.5 = 4.5。这个位置介于第4和第5个数之间。这时，percentile 会采用线性插值法。取第4个数（value_lower）和第5个数（value_upper），然后按比例计算：result = value_lower + (index - floor(index)) * (value_upper - value_lower)。对于中位数4.5的位置，结果就是 (第4个数 + 第5个数) / 2。

这个算法保证了结果的确定性。只要输入数据不变，无论计算多少次，结果都完全一致。我们用一个简单的Hive SQL示例来验证一下：

-- 创建一个测试表
CREATE TABLE sales_amount (
    us