SparkSession

データセットと DataFrame API を使用した Spark のプログラミングのエントリ ポイント。 SparkSession を使用すると、DataFrame の作成、テーブルとしての DataFrame の登録、テーブルに対する SQL の実行、テーブルのキャッシュ、Parquet ファイルの読み取りを行うことができます。

構文

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

プロパティ

財産 説明
builder セッション構成を構築するためのインターフェース。
catalog ユーザーが基になるデータベース、テーブル、関数などを作成、削除、変更、またはクエリを実行できるインターフェイス。
client Spark Connectクライアントへのアクセスを提供します。 Spark Connectのみ。
conf Spark のランタイム構成インターフェイス。
dataSource データ ソース登録の DataSourceRegistration を返します。
profile パフォーマンス/メモリ プロファイリング用のプロファイルを返します。
read DataFrame としてデータを読み取るために使用できる DataFrameReader を返します。
readStream ストリーミング DataFrame としてデータ ストリームを読み取るために使用できる DataStreamReader を返します。
sparkContext 基になる SparkContext を返します。 クラシック モードのみ。
streams すべてのアクティブなストリーミング クエリを管理できる StreamingQueryManager を返します。
tvf テーブル値関数 (TVF) を呼び出すための TableValuedFunction を返します。
udf UDF 登録の UDFRegistration を返します。
udtf UDTF 登録の UDTFRegistration を返します。
version このアプリケーションが実行されている Spark のバージョン。

メソッド

メソッド 説明
createDataFrame(data, schema, samplingRatio, verifySchema) RDD、リスト、pandas DataFrame、numpy ndarray、または pyarrow テーブルから DataFrame を作成します。
sql(sqlQuery, args, **kwargs) 指定されたクエリの結果を表す DataFrame を返します。
table(tableName) 指定したテーブルを DataFrame として返します。
range(start, end, step, numPartitions) 範囲内の要素を含む、 idという名前の単一の LongType 列を持つ DataFrame を作成します。
newSession() 別の SQLConf、登録済みの一時ビュー、UDF を含む新しい SparkSession を返しますが、SparkContext とテーブル キャッシュは共有されます。 クラシック モードのみ。
getActiveSession() 現在のスレッドのアクティブな SparkSession を返します。
active() 現在のスレッドのアクティブまたは既定の SparkSession を返します。
stop() 基になる SparkContext を停止します。
addArtifacts(*path, pyfile, archive, file) クライアント セッションに成果物を追加します。
interruptAll() サーバーで現在実行中のこのセッションのすべての操作を中断します。
interruptTag(tag) 指定されたタグを使用して、このセッションのすべての操作を中断します。
interruptOperation(op_id) 指定された operationId を使用して、このセッションの操作を中断します。
addTag(tag) このセッションでこのスレッドによって開始されたすべての操作に割り当てられるタグを追加します。
removeTag(tag) このスレッドによって開始された操作用に以前に追加されたタグを削除します。
getTags() このスレッドによって開始されたすべての操作に現在割り当てられているタグを取得します。
clearTags() 現在のスレッドの操作タグをクリアします。
  • Last updated on