天天看點

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

linux簡史

linux系統整體介紹

ubuntu linux安裝

linux使用初步

要講述大名鼎鼎的linux,必然要先從unix系統談起,下面這幅圖給出了unix系統的進化圖:

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

從進化圖中可以看到,目前所有的主流作業系統都源自unix 6(1976),我們要講的linux系統隻是類unix系統中的一種,它源自于minix系統,由linus torvalds于1991年開發,那時候linus torvalds還是芬蘭大學的一名學生,其信奉開源精神,将代碼分布可網際網路上,可以免費擷取,自從該作業系統問世後,世界各地的程式員加入到該作業系統的維護、核心更新等工作中來,進行了大量艱辛的工作以使該作業系統能夠與bsd版的unix及system v unix(svr4)等商用作業系統的功能與新功能進行比對。

linux開源後也源生出了多種版本,從性質上劃分,大體分為由商業公司維護的商業版本與由開源社群維護的免費發行版本。常用的linux作業系統有三種,它們分别是redhat、 debian及ubuntu:

ubuntu linux。ubuntu最大的特點在于其有着漂亮的gui界面,包管理系統較為完善的,軟體源比較豐富,技術社群資源及文檔比較齊全,是以ubuntu有着漂亮的使用者界面,完善的包管理系統,強大的軟體源支援,豐富的技術社群,良好的硬體相容性,它有兩種版本,分别是desktop版本及server版。ubuntu比較适合初學者,因為ubuntu的gui界面的原因,它的大衆化方向比較明顯,當然因為gui的原因,它非常消耗記憶體對機器的配置要求較高

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

centos。centos是生産環境使用最廣泛的linux作業系統,它是red hat enterprise linux(簡稱rhel)源代碼編譯後的社群重新釋出版,它是一個非常成熟的linux發行版,它雖然也有圖形使用者界面,但不像ubuntu那樣強大。

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

debian。debian也比較适合用于伺服器的作業系統,它比ubuntu要更加穩定,它的核心比較簡潔,隻需要128m記憶體就可以流暢地運作,據說debian可以幾年不重新開機。debian的技術資料、文檔等相對于ubuntu、centos等要少,它更适合linux的進階使用者使用。

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

由于本課程針對想從事大資料開發的初學者,後期也需要在ubuntu中配置intellij idea spark、scala開發環境,在linux系統上進行spark、scala應用程式開發,是以之故本教程決定采用ubuntu desktop版本進行教學。

下圖給出的是linux作業系統分層視圖:

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

引自:a practical guide to linux commands, editors and shell programming

從上圖可以看到,linux大緻可以分為四層,分别是硬體、核心、系統應用及使用者軟體層,分層結構具有較強的安全性,也為我們屏蔽了底層硬體的複雜性。所有的系統應用都是通過核心來與底層硬體打交道的。linux主要有如下特點:

提供核心程式設計接口,為使用者操縱核心實作硬體資源通路提供了通道

它是一種多使用者的作業系統

它是一種多任務的作業系統

強大的檔案系統

提供shell腳本

豐富的系統指令

對于初學者,為友善linux的學習,可以采用安裝虛拟機的方式進行,目前流行的虛拟機有:

xen。xen出身名門,起源于劍橋大學,後來被開源出來,它可以讓多個虛拟機在單獨一台機器上運作各自的作業系統。

vmware。由vmware公司開發,功能強大,軟體比較成熟,本課程采用vmware作為虛拟機的容器

kvm,基于kernel的虛拟機,它也是一個開源的産品,隻不過它運作在linux上,作為linux核心的一部分

virtual box。sun公司的大作,可以在windows上運作。

由于後期需要在本機上搭建spark叢集,建議機器配置記憶體12g以上,一般叢集至少三台,sparkmaster 4g,sparkslave01 2g,sparkslave02 2g,本機4g,這樣整體機器運作起來才會比較流暢。現在ubuntu版本已經升到了ubuntu 15.04,但它太耗記憶體了,出于機器性能考慮,本教程采用ubuntu 10.04版,vmware版本是8.0.0

vmware下載下傳後按預設安裝即可,下面講解一下如何安裝ubuntu 10.04

1 file->new virtual machine

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

2 選擇typical,然後next

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

3 選擇installer disc image file(iso),選擇ubuntu 10.04 iso檔案

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

4 personlize linux,full name表示安裝好的linux hostname,username,password可以根據自己的需要做任意設定,然後下一步

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

5 設定虛拟機名稱,然後next

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

6 設定磁盤容量,預設為20g,建議選擇split virtual disk into multiple files,然後next

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

7 其它預設設定就可以,然後finish

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

8 如此便完成linux的配置,接下來便是系統安裝過程,整個安裝過程中無需人工幹預,大約30分鐘

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步
Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步
Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步
Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

1 指令行終端的使用

可以直接在圖形使用者界面上進行指令行的使用,applications->accessories->terminal

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步
Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

也可以按ctr+alt+f1進入cli(command line interface)模式,

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

輸入使用者名和密碼,可以得到如下界面:

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

切換回圖形使用者界面,用ctr+alt+f8

2 超級使用者root密碼的設定

3 切換使用者

4 目前使用者工作目錄與根目錄

5 列出檔案目錄 ls指令的使用

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步
Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步
Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

上面四種是最為常用的ls指令,可以滿足日常工作中的絕大部分需求,更多參數如下:

在需要時去查文檔即可。

添加公衆微信号,可以了解更多最新spark、scala相關技術資訊

Spark修煉之道(基礎篇)——Linux大資料開發基礎:第一節、Linux介紹、安裝及使用初步

繼續閱讀