DataFrame是一個組織成命名列的資料集。它在概念上等同于關系資料庫中的表或R/Python中的資料架構，但其經過了優化。DataFrames可以從各種各樣的源建構，例如：結構化資料檔案，Hive中的表，外部資料庫或現有RDD。
DataFrame API 可以被Scala，Java，Python和R調用。
在Scala和Java中，DataFrame由Rows的資料集表示。
在Scala API中，DataFrame隻是一個類型别名Dataset[Row]。而在Java API中，使用者需要Dataset用來表示DataFrame。
在本文檔中，我們經常将Scala/Java資料集Row稱為DataFrames。
那麼DataFrame和spark核心資料結構RDD之間怎麼進行轉換呢？
代碼如下：
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import Row
if __name__ == "__main__":
# 初始化SparkSession
spark = SparkSession \
.builder \
.appName("RDD_and_DataFrame") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
sc = spark.sparkContext
lines = sc.textFile("employee.txt")
parts = lines.map(lambda l: l.split(","))
employee = parts.map(lambda p: Row(name=p[0], salary=int(p[1])))
#RDD轉換成DataFrame
employee_temp = spark.createDataFrame(employee)
#顯示DataFrame資料
employee_temp.show()
#建立視圖
employee_temp.createOrReplaceTempView("employee")
#過濾資料
employee_result = spark.sql("SELECT name,salary FROM employee WHERE salary >= 14000 AND salary <= 20000")
# DataFrame轉換成RDD
result = employee_result.rdd.map(lambda p: "name: " + p.name + " salary: " + str(p.salary)).collect()
#列印RDD資料
for n in result:
print(n)
以上這篇spark: RDD與DataFrame之間的互相轉換方法就是小編分享給大家的全部内容了，希望能給大家一個參考，也希望大家多多支援。
