java centos Firefox 编程 google linux Ubuntu 微软 云计算 Android shell php 开源 wordpress apache mysql nginx Windows Python 程序员

每個程序員都應該知道的8個Linux命令

每個程序員,在職業生涯的某個時刻,總會發現自己需要知道一些 Linux 方面的知識。我並不是說你應該成為一個 Linux 專家,我的意思是,當面對 linux 命令行任務時,你應該能很熟練的完成。事實上,學會了下面 8 個命令,我基本上能完成任何需要完成的任務。

註意:下面的每個命令都有十分豐富的文檔說明。這篇文章並不是來詳盡的展示每個命令的各種功用的。我在這裏要講的是這幾個最常用的命令的最常見用法。如果你對 linux 命令並不是很了解,你想找一些這方面的資料學習,那這篇文章將會給你一個基本的指導。

讓我們從處理一些數據開始。假設我們有兩個文件,分別記錄的訂單清單和訂單處理結果。

order.out.log 8:22:19 111, 1, Patterns of Enterprise Architecture, Kindle edition, 39.99 8:23:45 112, 1, Joy of Clojure, Hardcover, 29.99 8:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.99 order.in.log 8:22:20 111, Order Complete 8:23:50 112, Order sent to fulfillment 8:24:20 113, Refund sent to processing
cat

cat – 連接文件,並輸出結果

cat 命令非常的簡單,你從下面的例子可以看到。

jfields$ cat order.out.log 8:22:19 111, 1, Patterns of Enterprise Architecture, Kindle edition, 39.998:23:45 112, 1, Joy of Clojure, Hardcover, 29.998:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.99
就像它的說明描述的,你可以用它來連接多個文件。

jfields$ cat order.* 8:22:20 111, Order Complete8:23:50 112, Order sent to fulfillment8:24:20 113, Refund sent to processing8:22:19 111, 1, Patterns of Enterprise Architecture, Kindle edition, 39.998:23:45 112, 1, Joy of Clojure, Hardcover, 29.998:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.99
如果你想看這些 log 文件的內容,你可以把它們連接起來並輸出到標準輸出上,就是上面的例子展示的。這很有用,但輸出的內容可以更有邏輯些。

sort

sort – 文件裏的文字按行排序

此時 sort 命令顯然是你最佳的選擇。

jfields$ cat order.* sort8:22:19 111, 1, Patterns of Enterprise Architecture, Kindle edition, 39.998:22:20 111, Order Complete8:23:45 112, 1, Joy of Clojure, Hardcover, 29.998:23:50 112, Order sent to fulfillment8:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.998:24:20 113, Refund sent to processing
就像上面例子顯示的,文件裏的數據已經經過排序。對於一些小文件,你可以讀取整個文件來處理它們,然而,真正的 log 文件通常有大量的內容,你不能不考慮這個情況。此時你應該考慮過濾出某些內容,把 cat、sort 後的內容通過管道傳遞給過濾工具。

grep

grep, egrep, fgrep – 打印出匹配條件的文字行

假設我們只對 Patterns of Enterprise Architecture 這本書的訂單感興趣。使用 grep,我們能限制只輸出含有 Patterns 字符的訂單。

jfields$ cat order.* sort grep Patterns8:22:19 111, 1, Patterns of Enterprise Architecture, Kindle edition, 39.998:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.99
假設退款訂單 113 出了一些問題,你希望查看所有相關訂單——你又需要使用 grep 了。

jfields$ cat order.* sort grep ":\d\d 113, "8:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.998:24:20 113, Refund sent to processing
你會發現在 grep 上的匹配模式除了“113”外還有一些其它的東西。這是因為 113 還可以匹配上書目或價格,加上額外的字符後,我們可以精確的搜索到我們想要的東西。

現在我們已經知道了退貨的詳細信息,我們還想知道日銷售和退款總額。但我們只關心 Patterns of Enterprise Architecture 這本書的信息,而且只關心數量和價格。我現在要做到是切除我們不關心的任何信息。

cut

cut – 刪除文件中字符行上的某些區域

又要使用 grep,我們用 grep 過濾出我們想要的行。有了我們想要的行信息,我們就可以把它們切成小段,刪除不需要的部分數據。

jfields$ cat order.* sort grep Patterns8:22:19 111, 1, Patterns of Enterprise Architecture, Kindle edition, 39.998:24:19 113, -1, Patterns of Enterprise Architecture, Kindle edition, 39.99jfields$ cat order.* sort grep Patterns cut -d"," -f2,5 1, 39.99 -1, 39.99
現在,我們把數據縮減為我們計算想要的形式,把這些數據粘貼到 Excel 裏立刻就能得到結果了。

cut 是用來消減信息、簡化任務的,但對於輸出內容,我們通常會有更復雜的形式。假設我們還需要知道訂單的 ID,這樣可以用來關聯相關的其他信息。我們用 cut 可以獲得 ID 信息,但我們希望把 ID 放到行的最後,用單引號包上。

sed

sed – 一個流編輯器。它是用來在輸入流上執行基本的文本變換。

下面的例子展示了如何用 sed 命令變換我們的文件行,之後我們在再用 cut 移除無用的信息。

jfields$ cat order.* sort grep Patterns \> sed s/"[0-9\:]* \([0-9]*\)\, \(.*\)"/"\2, '\1'"/1, Patterns of Enterprise Architecture, Kindle edition, 39.99, '111'-1, Patterns of Enterprise Architecture, Kindle edition, 39.99, '113'lmp-jfields01:~ jfields$ cat order.* sort grep Patterns \> sed s/"[0-9\:]* \([0-9]*\)\, \(.*\)"/"\2, '\1'"/ cut -d"," -f1,4,51, 39.99, '111'-1, 39.99, '113'
我們對例子中使用的正則表達式多說幾句,不過也沒有什麽復雜的。正則表達式做了下面幾種事情

刪除時間戳
捕捉訂單號
刪除訂單號後的逗號和空格
捕捉余下的行信息
裏面的引號和反斜杠有點亂,但使用命令行時必須要用到這些。

一旦捕捉到了我們想要的數據,我們可以使用 \1 & \2 來存儲它們,並把它們輸出成我們想要的格式。我們還在其中加入了要求的單引號,為了保持格式統一,我們還加入了逗號。最後,用 cut 命令把不必要的數據刪除。

現在我們有麻煩了。我們上面已經演示了如何把 log 文件消減成更簡潔的訂單形式,但我們的財務部門需要知道訂單裏一共有哪些書。

uniq

uniq – 刪除重復的行

下面的例子展示了如何過濾出跟書相關的交易,刪除不需要的信息,獲得一個不重復的信息。

jfields$ cat order.out.log grep "\(Kindle\Hardcover\)" cut -d"," -f3 sort uniq -c 1 Joy of Clojure 2 Patterns of Enterprise Architecture
看起來這是一個很簡單的任務。

這都是很好用的命令,但前提是你要能找到你想要的文件。有時候你會發現一些文件藏在很深的文件夾裏,你根本不知道它們在哪。但如果你是知道你要尋找的文件的名字的話,這對你就不是個問題了。

find

find – 在文件目錄中搜索文件

在上面的例子中我們處理了 order.in.log 和 order.out.log 這兩個文件。這兩個文件放在我的 home 目錄裏的。下面了例子將向大家展示如何在一個很深的目錄結構裏找到這樣的文件。

jfields$ find /users -name "order*"Users/jfields/order.in.logUsers/jfields/order.out.log
find 命令有很多其它的參數,但 99% 的時間裏我只需要這一個就夠了。

簡單的一行,你就能找到你想要的文件,然後你可以用 cat 查看它,用 cut 修剪它。但文件很小時,你用管道把它們輸出到屏幕上是可以的,但當文件大到超出屏幕時,你也許應該用管道把它們輸出給 less 命令。

less

less – 在文件裏向前或向後移動

讓我們再回到簡單的 cat sort 例子中來,下面的命令就是將經過合並、排序後的內容輸出到 less 命令裏。在 less 命令,使用“/”來執行向前搜索,使用“?”命令執行向後搜索。搜索條件是一個正則表達式。

jfields$ cat order* sort less
如果你在 less 命令裏使用 /113.*,所有 113 訂單的信息都會高亮。你也可以試試?.*112,所有跟訂單 112 相關的時間戳都會高亮。最後你可以用 ‘q’ 來退出 less 命令。

linux 裏有很豐富的各種命令,有些是很難用的。然而,學會了前面說的這 8 個命令,你已經能處理大量的 log 分析任務了,完全不需要用腳本語言寫程序來處理它們。

延伸阅读

评论