2 つの浮動小数点ベクトル間のコサインの類似性を返します。 ベクトルの次元は同じである必要があります。
対応する Databricks SQL 関数については、 vector_cosine_similarity 関数を参照してください。
構文
from pyspark.sql import functions as dbf
dbf.vector_cosine_similarity(left=<left>, right=<right>)
Parameters
| パラメーター | タイプ | 説明 |
|---|---|---|
left |
pyspark.sql.Column または列名 |
最初のベクター列。 |
right |
pyspark.sql.Column または列名 |
2 番目のベクター列。 |
返品
pyspark.sql.Column: 浮動小数点値としてのコサインの類似性。
Examples
from pyspark.sql import functions as dbf
from pyspark.sql.types import ArrayType, FloatType, StructType, StructField
schema = StructType([StructField('a', ArrayType(FloatType())), StructField('b', ArrayType(FloatType()))])
df = spark.createDataFrame([([1.0, 2.0, 3.0], [4.0, 5.0, 6.0])], schema)
df.select(dbf.vector_cosine_similarity('a', 'b')).first()[0]
# 0.974631...
