偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

PySpark常見類庫及名詞解釋

開發(fā)
今天給大家?guī)淼氖荘ySpark常見類庫和名詞解釋,了解這些最基礎(chǔ)的名詞以后,我們看大段的相關(guān)資料就不會犯難了。

哈嘍大家好,我是了不起。

PySpark是一個非常復(fù)雜的系統(tǒng),我們初次接觸就會感覺有很多的名詞或者簡稱,今天就帶大家看一下常見的類庫和名詞的解釋,也是方便大家統(tǒng)一收藏,方便后續(xù)查找,先了解單一名詞的解釋,有利于快速的理解整個PySpark的運行機(jī)制。

PySpark核心類

  • pyspark.SparkContext: Spark 庫的主要入口點,它表示與Spark集群的一個連接,其他重要的對象都要依賴它.SparkContext存在于Driver中,是Spark功能的主要入口。代表著與Spark集群的連接,可以在集群上創(chuàng)建RDD,accumulators和廣播變量
  • pyspark.RDD: 是Spark的主要數(shù)據(jù)抽象概念,是Spark庫中定義的一個抽象類。
  • pyspark.streaming.StreamingContext 一個定義在Spark Streaming庫中定義的類, 每一個Spark Streaming 應(yīng)用都必須創(chuàng)建這個類
  • pyspark.streaming.DStrem:離散數(shù)據(jù)流,是Spark Streaming處理數(shù)據(jù)流的主要對象
  • pyspark.sql.SparkSession: 是DataFrame和SQL函數(shù)的主要入口點。
  • pyspark.sql.DataFrame: 是Spark SQL的主要抽象對象,若干行的分布式數(shù)據(jù),每一行都要若干個有名字的列。跟R/Python中的DataFrame 相像,有著更豐富的優(yōu)化。DataFrame可以有很多種方式進(jìn)行構(gòu)造,例如:結(jié)構(gòu)化數(shù)據(jù)文件,Hive的table, 外部數(shù)據(jù)庫,RDD。
  • pyspark.sql.Column DataFrame 的列表達(dá).
  • pyspark.sql.Row DataFrame的行數(shù)據(jù)

Spark的基本概念

Application由多個Job組成,Job由多個Stage組成,Stage由多個Task組成。Stage是作業(yè)調(diào)度的基本單位。

  • RDD:是彈性分布式數(shù)據(jù)集(Resilient Distributed Dataset)的簡稱,是分布式內(nèi)存的一個抽象概念,提供了一種高度受限的共享內(nèi)存模型。
  • DAG:是Directed Acyclic Graph(有向無環(huán)圖)的簡稱,反映RDD之間的依賴關(guān)系。
  • Driver Program:控制程序,負(fù)責(zé)為Application構(gòu)建DAG圖。
  • Cluster Manager:集群資源管理中心,負(fù)責(zé)分配計算資源。
  • Worker Node:工作節(jié)點,負(fù)責(zé)完成具體計算。
  • Executor:是運行在工作節(jié)點(Worker Node)上的一個進(jìn)程,負(fù)責(zé)運行Task,并為應(yīng)用程序存儲數(shù)據(jù)。
  • Application:用戶編寫的Spark應(yīng)用程序,一個Application包含多個Job。
  • Job:作業(yè),一個Job包含多個RDD及作用于相應(yīng)RDD上的各種操作。
  • Stage:階段,是作業(yè)的基本調(diào)度單位,一個作業(yè)會分為多組任務(wù),每組任務(wù)被稱為“階段”。
  • Task:任務(wù),運行在Executor上的工作單元,是Executor中的一個線程。

RDD操作的兩種類型

RDD的操作有兩種類型,即Transformation操作和Action操作。轉(zhuǎn)換操作是從已經(jīng)存在的RDD創(chuàng)建一個新的RDD,而行動操作是在RDD上進(jìn)行計算后返回結(jié)果到 Driver。

(1) Transformation操作:

用于對RDD的創(chuàng)建,還包括大量的操作方法,如map、filter、groupBy、join等,RDD利用這些操作生成新的RDD。

transformation都具有 Lazy 特性,即 Spark 不會立刻進(jìn)行實際的計算,只會記錄執(zhí)行的軌跡,只有觸發(fā)Action操作的時候,它才會根據(jù) DAG 圖真正執(zhí)行。

(2) action操作:

數(shù)據(jù)執(zhí)行部分,通過執(zhí)行count、reduce、collect等真正執(zhí)行數(shù)據(jù)的計算。RDD的lazy模式,使得大部分前期工作都在transformation時已經(jīng)完成。

PySpark - MLlib

Apache Spark提供了一個名為MLlib的機(jī)器學(xué)習(xí)API。PySpark也在Python中使用這個機(jī)器學(xué)習(xí)API。它支持不同類型的算法。

  • mllib.classification - spark.mllib包支持二進(jìn)制分類,多類分類和回歸分析的各種方法。分類中一些最流行的算法是Random Forest, Naive Bayes, Decision Tree等。
  • mllib.clustering - 聚類是一種無監(jiān)督的學(xué)習(xí)問題,您可以根據(jù)某些相似概念將實體的子集彼此分組。
  • mllib.fpm - 頻繁模式匹配是挖掘頻繁項,項集,子序列或其他子結(jié)構(gòu),這些通常是分析大規(guī)模數(shù)據(jù)集的第一步。多年來,這一直是數(shù)據(jù)挖掘領(lǐng)域的一個活躍的研究課題。
  • mllib.linalg - 線性代數(shù)的MLlib實用程序。
  • mllib.recommendation - 協(xié)同過濾通常用于推薦系統(tǒng)。這些技術(shù)旨在填寫用戶項關(guān)聯(lián)矩陣的缺失條目。
  • spark.mllib - 它目前支持基于模型的協(xié)同過濾,其中用戶和產(chǎn)品由一小組可用于預(yù)測缺失條目的潛在因素描述。spark.mllib使用交替最小二乘(ALS)算法來學(xué)習(xí)這些潛在因素。
  • mllib.regression - 線性回歸屬于回歸算法族?;貧w的目標(biāo)是找到變量之間的關(guān)系和依賴關(guān)系。使用線性回歸模型和模型摘要的界面類似于邏輯回歸案例。

總結(jié)

今天給大家?guī)淼氖荘ySpark常見類庫和名詞解釋,了解這些最基礎(chǔ)的名詞以后,我們看大段的相關(guān)資料就不會犯難了。

責(zé)任編輯:趙寧寧 來源: Python都知道
相關(guān)推薦

2017-04-13 09:10:06

Spark解釋關(guān)系

2011-04-08 17:53:31

數(shù)據(jù)庫

2011-01-04 16:20:57

linux名詞解釋

2014-06-25 09:22:47

大數(shù)據(jù)營銷

2011-11-29 13:23:29

2009-06-23 16:52:55

J2EE縮寫名詞

2011-08-12 10:55:30

2011-12-02 10:37:14

JavaJ2ME

2020-02-10 11:32:11

區(qū)塊鏈blockchain智能合約

2009-05-31 09:18:25

cnbeta

2009-06-25 11:21:36

JSF流行名詞

2017-10-17 16:10:31

綜合布線線纜

2020-06-03 17:50:57

機(jī)器學(xué)習(xí)人工智能模型

2010-04-30 16:58:14

Oracle Raw

2018-01-31 17:50:33

數(shù)據(jù)庫MySQL優(yōu)化

2009-07-23 09:31:56

數(shù)據(jù)庫表連接方式

2017-03-07 15:17:26

DevOps采用趨勢

2018-03-23 06:39:00

區(qū)塊鏈物聯(lián)網(wǎng)幣種

2009-12-04 10:02:32

VS XML注釋

2012-03-31 13:10:47

路由器追蹤
點贊
收藏

51CTO技術(shù)棧公眾號