Linux 文本處理工具

一、Linux 及Unix平台

sed awk grep

這三個工具都要用到正規表達式，把常用貼出來。

 1．行的比對

[[email protected] /]# sed -n ‘2p’ /etc/passwd  列印出第2行

[[email protected] /]# sed -n ‘1,3p’ /etc/passwd 列印出第1到第3行

[[email protected] /]# sed -n ‘$p’ /etc/passwd   列印出最後一行

[[email protected] /]# sed -n ‘/user/p' /etc/passwd 列印出含有user的行

[[email protected] /]# sed -n ‘/\$/p' /etc/passwd  列印出含有$元字元的行，$為特殊字元，表示最後一行

2．插入文本和附加文本(插入新行)

[[email protected] /]# sed -n ‘/FTP/p’ /etc/passwd  列印出有FTP的行

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

[[email protected] /]# sed ‘/FTP/ a/ 456′ /etc/passwd 在含有FTP的行後面新插入一行，内容為456

[[email protected] /]# sed ‘/FTP/ i/ 123′ /etc/passwd在含有FTP的行前面新插入一行，内容為123

[[email protected] /]# sed ‘/FTP/ i/ “123″‘ /etc/passwd在含有FTP的行前面新插入一行，内容為”123″

[[email protected] /]# sed ‘5 a/ 123′ /etc/passwd         在第5行後插入一新行，内容為123

[[email protected] /]# sed ‘5 i/ “12345″‘ /etc/passwd   在第5行前插入一新行，内容為”12345″

3．删除文本

[[email protected] /]# sed ‘1d’ /etc/passwd  删除第1行

[[email protected] /]# sed ‘1,3d’ /etc/passwd  删除第1至3行

[[email protected] /]# sed ‘/user/d’ /etc/passwd  删除帶有user的行

4． 替換文本,替換指令用替換模式替換指定模式，格式為：

[ a d d r e s s [，address]] s/ pattern-to-find /replacement-pattern/[g p w n]

[[email protected] /]# sed ’s/user/USER/’ /etc/passwd     将第1個user替換成USER,g表明全局替換

[[email protected] /]# sed ’s/user/USER/g’ /etc/passwd    将所有user替換成USER

[[email protected] /]# sed ’s/user/#user/’ /etc/passwd    将第1個user替換成#user,如用于屏蔽作用

[[email protected] /]# sed ’s/user//’ /etc/passwd         将第1個user替換成空

[[email protected] /]# sed ’s/user/&11111111111111/’ /etc/passwd  如果要附加或修改一個很長的字元串，可以使用（ &）指令，&指令儲存發現模式以便重新調用它，然後把它放在替換字元串裡面，這裡是把&放前面

[[email protected] /]# sed ’s/user/11111111111111&/’ /etc/passwd  這裡是将&放後面

5. 快速一行指令

下面是一些一行指令集。（[ ]表示空格，[ ]表示t a b鍵）

‘s / / . $ / / g’ 删除以句點結尾行
‘-e /abcd/d’ 删除包含a b c d的行
‘s / [ ] [ ] [ ] * / [ ] / g’ 删除一個以上空格，用一個空格代替
‘s / ^ [ ] [ ] * / / g’ 删除行首空格
‘s / / . [ ] [ ] * / [ ] / g’ 删除句點後跟兩個或更多空格，代之以一個空格
‘/ ^ $ / d’ 删除空行
‘s / ^ . / / g’ 删除第一個字元
‘s /COL / ( . . . / ) / / g’ 删除緊跟C O L的後三個字母
‘s / ^ / / / / g’ 從路徑中删除第一個/
‘s / [ ] / [ ] / / g’ 删除所有空格并用t a b鍵替代
‘S / ^ [ ] / / g’ 删除行首所有t a b鍵
‘s / [ ] * / / g’ 删除所有t a b鍵
's/^/:/g'  在每行首部加一個：
's/$/:/g'   在第行尾部加一個：
           

如果使用s e d對檔案進行過濾，最好将問題分成幾步，分步執行，且邊執行邊測試結果。

vim

移動光标的方法
h 或 向左箭頭鍵(←)	光标向左移動一個字元
j 或 向下箭頭鍵(↓)	光标向下移動一個字元
k 或 向上箭頭鍵(↑)	光标向上移動一個字元
l 或 向右箭頭鍵(→)	光标向右移動一個字元
如果你将右手放在鍵盤上的話，你會發現 hjkl 是排列在一起的，是以可以使用這四個按鈕來移動光标。 如果想要進行多次移動的話，例如向下移動 30 行，可以使用 "30j" 或 "30↓" 的組合按鍵， 亦即加上想要進行的次數(數字)後，按下動作即可！
[Ctrl] + [f]	螢幕『向下』移動一頁，相當于 [Page Down]按鍵 (常用)
[Ctrl] + [b]	螢幕『向上』移動一頁，相當于 [Page Up] 按鍵 (常用)
[Ctrl] + [d]	螢幕『向下』移動半頁
[Ctrl] + [u]	螢幕『向上』移動半頁
+	光标移動到非空格符的下一列
-	光标移動到非空格符的上一列
n<space>	那個 n 表示『數字』，例如 20 。按下數字後再按空格鍵，光标會向右移動這一行的 n 個字元。例如 20<space> 則光标會向後面移動 20 個字元距離。
0 或功能鍵[Home]	這是數字『 0 』：移動到這一行的最前面字元處 (常用)
$ 或功能鍵[End]	移動到這一行的最後面字元處(常用)
H	光标移動到這個螢幕的最上方那一行的第一個字元
M	光标移動到這個螢幕的中央那一行的第一個字元
L	光标移動到這個螢幕的最下方那一行的第一個字元
G	移動到這個檔案的最後一行(常用)
nG	n 為數字。移動到這個檔案的第 n 行。例如 20G 則會移動到這個檔案的第 20 行(可配合 :set nu)
gg	移動到這個檔案的第一行，相當于 1G 啊！ (常用)
n<Enter>	n 為數字。光标向下移動 n 行(常用)
搜尋與取代
/word	向光标之下尋找一個名稱為 word 的字元串。例如要在檔案内搜尋 vbird 這個字元串，就輸入 /vbird 即可！ (常用)
?word	向光标之上尋找一個字元串名稱為 word 的字元串。
n	這個 n 是英文按鍵。代表『重複前一個搜尋的動作』。舉例來說， 如果剛剛我們執行 /vbird 去向下搜尋 vbird 這個字元串，則按下 n 後，會向下繼續搜尋下一個名稱為 vbird 的字元串。如果是執行 ?vbird 的話，那麼按下 n 則會向上繼續搜尋名稱為 vbird 的字元串！
N	這個 N 是英文按鍵。與 n 剛好相反，為『反向』進行前一個搜尋動作。 例如 /vbird 後，按下 N 則表示『向上』搜尋 vbird 。
使用 /word 配合 n 及 N 是非常有幫助的！可以讓你重複的找到一些你搜尋的關鍵詞！
:n1,n2s/word1/word2/g	n1 與 n2 為數字。在第 n1 與 n2 行之間尋找 word1 這個字元串，并将該字元串取代為 word2 ！舉例來說，在 100 到 200 行之間搜尋 vbird 并取代為 VBIRD 則： 『:100,200s/vbird/VBIRD/g』。(常用)
:1,$s/word1/word2/g	從第一行到最後一行尋找 word1 字元串，并将該字元串取代為 word2 ！(常用)
:1,$s/word1/word2/gc	從第一行到最後一行尋找 word1 字元串，并将該字元串取代為 word2 ！且在取代前顯示提示字元給使用者确認 (confirm) 是否需要取代！(常用)
删除、複制與貼上
x, X	在一行字當中，x 為向後删除一個字元 (相當于 [del] 按鍵)， X 為向前删除一個字元(相當于 [backspace] 亦即是倒退鍵) (常用)
nx	n 為數字，連續向後删除 n 個字元。舉例來說，我要連續删除 10 個字元， 『10x』。
dd	删除遊标所在的那一整列(常用)
ndd	n 為數字。删除光标所在的向下 n 列，例如 20dd 則是删除 20 列 (常用)
d1G	删除光标所在到第一行的所有資料
dG	删除光标所在到最後一行的所有資料
d$	删除遊标所在處，到該行的最後一個字元
d0	那個是數字的 0 ，删除遊标所在處，到該行的最前面一個字元
yy	複制遊标所在的那一行(常用)
nyy	n 為數字。複制光标所在的向下 n 列，例如 20yy 則是複制 20 列(常用)
y1G	複制遊标所在列到第一列的所有資料
yG	複制遊标所在列到最後一列的所有資料
y0	複制光标所在的那個字元到該行行首的所有資料
y$	複制光标所在的那個字元到該行行尾的所有資料
p, P	p 為将已複制的資料在光标下一行貼上，P 則為貼在遊标上一行！ 舉例來說，我目前光标在第 20 行，且已經複制了 10 行資料。則按下 p 後， 那 10 行資料會貼在原本的 20 行之後，亦即由 21 行開始貼。但如果是按下 P 呢？ 那麼原本的第 20 行會被推到變成 30 行。 (常用)
J	将光标所在列與下一列的資料結合成同一列
c	重複删除多個資料，例如向下删除 10 行，[ 10cj ]
u	複原前一個動作。(常用)
[Ctrl]+r	重做上一個動作。(常用)
這個 u 與 [Ctrl]+r 是很常用的指令！一個是複原，另一個則是重做一次～ 利用這兩個功能按鍵，你的編輯，嘿嘿！很快樂的啦！
.	不要懷疑！這就是小數點！意思是重複前一個動作的意思。 如果你想要重複删除、重複貼上等等動作，按下小數點『.』就好了！ (常用)

進入插入或取代的編輯模式
i, I	進入插入模式(Insert mode)： i 為『從目前光标所在處插入』， I 為『在目前所在行的第一個非空格符處開始插入』。 (常用)
a, A	進入插入模式(Insert mode)： a 為『從目前光标所在的下一個字元處開始插入』， A 為『從光标所在行的最後一個字元處開始插入』。(常用)
o, O	進入插入模式(Insert mode)： 這是英文字母 o 的大小寫。o 為『在目前光标所在的下一行處插入新的一行』； O 為在目前光标所在處的上一行插入新的一行！(常用)
r, R	進入取代模式(Replace mode)： r 隻會取代光标所在的那一個字元一次；R會一直取代光标所在的文字，直到按下 ESC 為止；(常用)
上面這些按鍵中，在 vi 畫面的左下角處會出現『--INSERT--』或『--REPLACE--』的字樣。 由名稱就知道該動作了吧！！特别注意的是，我們上面也提過了，你想要在檔案裡面輸入字元時， 一定要在左下角處看到 INSERT 或 REPLACE 才能輸入喔！
[Esc]	退出編輯模式，回到一般模式中(常用)

指令列的儲存、離開等指令
:w	将編輯的資料寫入硬碟檔案中(常用)
:w!	若檔案屬性為『隻讀』時，強制寫入該檔案。不過，到底能不能寫入， 還是跟你對該檔案的檔案權限有關啊！
:q	離開 vi (常用)
:q!	若曾修改過檔案，又不想儲存，使用 ! 為強制離開不儲存檔案。
注意一下啊，那個驚歎号 (!) 在 vi 當中，常常具有『強制』的意思～
:wq	儲存後離開，若為 :wq! 則為強制儲存後離開 (常用)
ZZ	這是大寫的 Z 喔！若檔案沒有更動，則不儲存離開，若檔案已經被更動過，則儲存後離開！
:w [filename]	将編輯的資料儲存成另一個檔案（類似另存新檔）
:r [filename]	在編輯的資料中，讀入另一個檔案的資料。亦即将 『filename』 這個檔案内容加到遊标所在行後面
:n1,n2 w [filename]	将 n1 到 n2 的内容儲存成 filename 這個檔案。
:! command	暫時離開 vi 到指令列模式下執行 command 的顯示結果！例如  :! ls /home  即可在 vi 當中察看 /home 底下以 ls 輸出的檔案資訊！
vim 環境的變更
:set nu	顯示行号，設定之後，會在每一行的字首顯示該行的行号
:set nonu	與 set nu 相反，為取消行号！

多視窗情況下的按鍵功能
:sp [filename]	開啟一個新視窗，如果有加 filename， 表示在新視窗開啟一個新檔案，否則表示兩個視窗為同一個檔案内容(同步顯示)。
[ctrl]+w+ j [ctrl]+w+↓	按鍵的按法是：先按下 [ctrl] 不放， 再按下 w 後放開所有的按鍵，然後再按下 j (或向下箭頭鍵)，則光标可移動到下方的視窗。
[ctrl]+w+ k [ctrl]+w+↑	同上，不過光标移動到上面的視窗。
[ctrl]+w+ q	其實就是 :q 結束離開啦！ 舉例來說，如果我想要結束下方的視窗，那麼利用 [ctrl]+w+↓ 移動到下方視窗後，按下 :q 即可離開， 也可以按下 [ctrl]+w+q

vim 的環境設定參數
:set nu :set nonu	就是設定與取消行号啊！
:set hlsearch :set nohlsearch	hlsearch 就是 high light search(高亮度搜尋)。 這個就是設定是否将搜尋的字元串反白的設定值。預設值是 hlsearch
:set autoindent :set noautoindent	是否自動縮排？autoindent 就是自動縮排。
:set backup	是否自動儲存備份檔？一般是 nobackup 的， 如果設定 backup 的話，那麼當你更動任何一個檔案時，則源檔案會被另存成一個檔名為 filename~ 的檔案。 舉例來說，我們編輯 hosts ，設定 :set backup ，那麼當更動 hosts 時，在同目錄下，就會産生 hosts~ 檔案名的檔案，記錄原始的 hosts 檔案内容
:set ruler	還記得我們提到的右下角的一些狀态欄說明嗎？ 這個 ruler 就是在顯示或不顯示該設定值的啦！
:set showmode	這個則是，是否要顯示 --INSERT-- 之類的字眼在左下角的狀态欄。
:set backspace=(012)	一般來說， 如果我們按下 i 進入編輯模式後，可以利用倒退鍵 (backspace) 來删除任意字元的。 但是，某些 distribution 則不許如此。此時，我們就可以透過 backspace 來設定啰～ 當 backspace 為 2 時，就是可以删除任意值；0 或 1 時，僅可删除剛剛輸入的字元， 而無法删除原本就已經存在的文字了！
:set all	顯示目前所有的環境參數設定值。
:set	顯示與系統預設值不同的設定參數， 一般來說就是你有自行變動過的設定參數啦！
:syntax on :syntax off	是否依據程式相關文法顯示不同顔色？ 舉例來說，在編輯一個純文字檔時，如果開頭是以 # 開始，那麼該行就會變成藍色。 如果你懂得寫程式，那麼這個 :syntax on 還會主動的幫你除錯呢！但是， 如果你僅是編寫純文字檔案，要避免顔色對你的螢幕産生的幹擾，則可以取消這個設定 。
:set bg=dark :set bg=light	可用以顯示不同的顔色色調，預設是『 light 』。如果你常常發現批注的字型深藍色實在很不容易看， 那麼這裡可以設定為 dark 喔！試看看，會有不同的樣式呢！

妙招1  交換等号兩邊的内容。

我們在寫代碼的時候難免會遇到左值和右值交換，若是這樣的語句多達百條，痛苦萬分。

sed 's/\(.*\) = \(.*\);/\2 = \1;/'   注意等号左右各有一個空格，當然這要取決于你的指派語句。

二Windows平台

ultraedit

1亂碼現象

同樣的一個檔案 UltraEdit 打開是亂碼，顯示檔案的編碼是U8-DOS，可是用EditPlus 、記事本，打開，就是正常的，編碼顯示是ANSI。

即使在UltraEdit打開檔案的時候，手動選擇各種編碼，也不能正确顯示檔案内容。

解決方法:

進階->配置->正常->檔案處理->Unicode/UTF-8檢測->去掉Auto detect UTF-8 files前面的勾

%     比對行的開始 - 顯示搜尋字元串必須在行的開始，但是在所選擇的結果字元串中不包括任何行終止字元。

$     比對行尾 - 顯示搜尋字元串必須在行尾，但是在所選擇的結果字元串中不包括任何行終止字元。

?     除了換行符以外比對任何單個的字元

*     除了換行符比對任何數量的字元和數字

+     前一字元比對一個或多個，但至少要出現一個

++    前一字元比對零個或多個，但至少要出現一個

^b    比對一個分頁

^p    比對一個換行符(CR/LF)(段)(DOS檔案)

^r    比對一個換行符(CR 僅僅)(段)(MAC 檔案)

^n    比對一個換行符 ( LF 僅僅 )( 段 )( UNIX 檔案 )

^t    比對一個标簽字元TAB

[]    比對任何單個的字元，或在方括号中的範圍

^{A^}^{ B^} 比對表達式A或 B

^     重載其後的正規表達式字元，轉義字元，相當于  \

^(^)  括或标注為用于替換指令的表達式。

交換等号兩邊：  wmz=wangmz;

查找内容：^(%*^)=^(*^);

替換為：^2 = ^1;