Unix® 起源于簡單的文本處理，并且在它的命令行環境中保留了功能最強大的文本處理工具之一。通過將一系列簡單的命令組合在一起，可以完成復雜的文本轉換，UNIX 提供的工具允許您構建幾乎任何所需的文本處理引擎。

引言

在 UNIX® 誕生之初，人們不大熟悉這種新的操作系統，但他們很快找到了適當的切入點，大學中的研究人員需要一種像樣的文本處理環境。因為在那個時候，計算機的處理速度和內存容量有限，所以程序必須很小，并且相對比較簡單。這樣就產生了 UNIX 中著名的設計思想：“一組工具協同工作，以便完成一項任務。通過 UNIX 管道將幾種很小的、但功能強大的文本處理工具組合在一起，可以對文本進行各種方式的轉換和操作。

在本文中，您將簡要了解從文件和程序中獲得文本、使用 tr 命令對其進行簡單的轉換、使用 sed 命令進行復雜的搜索和替換操作。然后，您將使用 Perl 編程和腳本語言再次完成這些操作，這樣一來您就可以認識到，Perl 的功能非常強大，它可以替代 tr 和 sed 命令。

開始之前

如果您希望按照本文中的示例進行實驗，請確保您可以使用 UNIX 命令行環境。這可能是本地計算機中的終端模擬程序（在現代桌面中通常稱為 終端，如果您習慣使用 Windows®，那么可以使用 Cygwin）、或通過 SSH 訪問的遠程系統。

本文的示例所使用的 Shell 語法適用于 GNU Bash，有關需要使用的特定語法，請參考您的 Shell 手冊（或者可以考慮使用 Bash）。

對文本進行各種操作

在開始使用 UNIX 的各種文本實用程序操作文本之前，需要了解如何獲得文本。并且在進行這項工作之前，需要了解 UNIX 的標準輸入/輸出 (I/O) 流。

標準 C 庫（因而，每個 UNIX 程序）定義了三種標準流：輸入、輸出和錯誤。有時將它們稱為 stdin、stdout 和 stderr，這是在所有 C 程序中用來表示它們的全局變量。

當您在 Shell 中使用 > 操作符將程序輸出重定向到文件時，就可以將它的標準輸出 (stdout) 流發送到這個文件。例如：ls > this-dir 將 ls 的輸出發送到一個名為 this-dir 的文件。

當您在 Shell 中使用 < 操作符將程序輸入重定向到文件時，就可以將該文件中的內容輸入到該程序的標準輸入 (stdin) 流。例如：sort < this-dir 可以從名為 this-dir 的文件中讀取內容，并將其作為 sort 命令的輸入。

另一個常用于重定向標準流的操作符是“|（管道）操作符，它可以將左側程序的標準輸出流連接到右側程序的標準輸入流。例如：ls | sort 和前面的兩個示例完成相同的任務，并且無需臨時文件，ls 的輸出直接進入 sort 命令。

如果您仔細觀察，那么可能會發現，前面的這些示例中并沒有出現標準錯誤 (stderr) 流。與標準輸出流一樣，可以對 stderr 進行重定向或使用管道進行傳輸，但是您需要告訴 Shell 您希望處理 stderr 而不是 stdout。

可以使用 2> 操作符將標準錯誤流重定向到文件。在處理生成有用的錯誤輸出的命令時，您經常會看到這個操作符，比如用于編譯 Unix 程序的 make 工具：make 2> build-errors。

這個命令運行了 make，并將任何錯誤信息發送到 build-errors 文件。與之類似，您可以使用 2| 將 stderr 通過管道傳遞到另一個程序。

如果您對具體的細節感興趣，那么其他的流也有與之對應的數字，盡管很少使用到它們（0 表示標準輸入，1 表示標準輸出），除了在一個非常常見的操作符中。在清單 1 所示的示例中，2>&1 操作符將標準錯誤流連接 到標準輸出流。與 > 操作符組合在一起，您可以使 stderr 和 stdout 輸出到相同的文件中。

清單 1. 將標準錯誤流連接到標準輸出流

make > build-output 2>&1

命令

有兩個常用來生成文本輸出的標準 Unix 命令：cat 和 echo。

cat 命令讀取參數中指定的每個文件，并將這些文件的內容寫入到 stdout。echo 命令將其參數寫入到 stdout。您常常會發現它們作為更復雜的命令管道中的一部分（請參見清單 2）。

清單 2. 使用 cat 和 echo

cat file1 file2 ... filenecho arguments...

但如果您只需要文件中開頭的部分或結尾的部分，那又應該如何呢？cat 有兩種可用來完成這種任務的變種，稱為 head 和 tail（請參見清單 3），它們分別可以顯示開頭的或結尾的 10 行內容，您可以使用 -n 選項為它們指定不同的行數。

清單 3. 使用 head 和 tail

head file1 file2 ... filentail file1 file2 ... filen

tail 命令還有一個有用的選項 -f (follow)。該選項告訴 tail 打印指定文件的最后 10 行，但是它不僅打印已有的內容，還會等待該文件中將要出現的更多內容，并對其進行打印。您可以使用該選項接著 顯示錯誤日志中的輸出，例如，要在將錯誤寫入到日志的同時查看這些錯誤。

轉換文本

既然您已經了解了至少 5 種生成文本的方式，下面讓我們來看一些進行簡單文本轉換的示例。

tr 命令允許您將一個集合中的字符轉換為另一個集合中相應的字符。讓我們來看一些示例（清單 4），以了解其工作方式。

清單 4. 使用 tr 對字符進行轉換

echo "a test" | tr t pecho "a test" | tr aest 1234echo "a test" | tr -d techo "a test" | tr '[:lower:]' '[:upper:]'

研究這些命令的輸出結果（請參見清單 5），可以看出 tr 的工作方式（提示：它直接使用第二個集合中相應的字符來代替第一個集合中的字符）。

清單 5. tr 進行了哪些工作？

chrish@dhcp3 [199]$ echo "a test" | tr t pa pespchrish@dhcp3 [200]$ echo "a test" | tr aest 12341 4234chrish@dhcp3 [201]$ echo "a test" | tr -d ta eschrish@dhcp3 [202]$ echo "a test" | tr '[:lower:]' '[:upper:]'A TEST

第一個和第二個示例都很簡單，將一個字符替換為另一個字符。第三個示例使用了 -d 選項 (delete)，它從輸出中徹底刪除了指定的字符。這個選項通常用來從 Dos 文本文件中刪除回車，以將其轉換為 Unix 文本文件（請參見清單 6）。最后一個示例使用了字符類（[: :] 中的名稱），以將所有的小寫字母轉換為大寫字母。可移植操作系統接口標準（POSIX 標準）字符類包括：

alnum：字母數字字符 alpha：字母字符 cntrl：控制（非打印）字符 digit：數字字符 graph：圖形字符 lower：小寫字母字符 print：可打印字符 punct：標點符號 space：空白字符 upper：大寫字符 xdigit：十六進制字符

清單 6. 將 DOS 文本文件轉換為 UNIX 文本文件

tr -d '' < input_dos_file.txt > output_unix_file.txt

盡管 tr 命令表示了 C locale 環境變量（有關這些環境變量更多的信息，可以使用 man locale），但是不要指望它能夠對 UTF-8 文檔進行任何合理的操作，如能夠使用合適的大寫字符替換小寫重音字符。tr 命令最適合于 ASCII 和其他標準 C 區域設置。

使用 sed 進行復雜的搜索和替換

tr 命令所提供的單字符替換（或刪除）功能非常適用于特定的解決方案，但是這些功能并不是很靈活。如果您需要將一個單詞替換為另一個單詞，或將連續的空格和制表符替換為一個空格，那又應該怎么辦呢？

幸運的是，您可以使用 sed 命令 (Stream EDitor)，它提供了功能強大的正則表達式 匹配和替換。正則表達式是使用各種構件構建的復雜模式規范，并且隨著模式變得越來越復雜，它看起來就像是調制解調器的線路噪聲。本文并不打算詳細地介紹正則表達式，但是在本文中，您將簡單了解 sed 所使用的一些有用的模式。

在清單 7 中，您可以看到 sed 命令的基本格式。模式是用來匹配輸入（通常可以使用管道從另一個程序輸入，或者重定向于文本文件）的正則表達式，替換是指插入某些文本并用其代替那些與模式相匹配的文本。標志是用來控制替換行為的單個字符。最常用的標志是 g（將替換應用于所有匹配模式的非重疊實例，而不僅僅是第一個匹配項）。

實際上，模式和替換可以是各種各樣的內容，并且它們之間不需要像在 tr 命令中那樣具有 1:1 的關系。

清單 7. sed 命令

sed -e s/pattern/replacement/flags

最簡單的模式是一個或多個字符組成的字符串。如清單 8 所示，例如將單詞 one 替換為單詞 another。

清單 8. 最簡單的正則表達式

chrish@dhcp3 [334]$ echo "Replace one Word" | sed -e s/one/another/Replace another word

可以使用方括號將一個或多個字符括起來，以創建一個集合，該集合中的任何字符都可以匹配。如清單 9 所示，讓我們將所有的元音字母替換為下劃線。

清單 9. 匹配集合中的任何字符

chrish@dhcp3 [338]$ echo "This is a test" | sed -e s/[aeiouy]/_/gTh_s _s _ t_st

請注意，示例中使用了 g 標志，以便將模式/替換應用于所有的匹配項，而不僅僅是第一個匹配項。

sed 命令也可以理解 tr 命令所支持的那些命名字符類，POSIX 對這些字符類進行了定義，但是本文中的語法稍有不同。清單 10 顯示了如何替換任何空白字符（制表符、空格等等）：

清單 10. 根據命名字符類匹配內容

chrish@dhcp3 [345]$ echo -e 'hellothere'　hello　 therechrish@dhcp3 [346]$ echo -e 'hellothere' | sed -e 's/[[:space:]]/, /'hello, there

echo 命令的 -e 標志用來告訴該命令擴展 C 風格的轉義字符，在本示例中，它會把 轉換為制表符。

您還可以使用“.（點號）匹配任何單個的字符。如果您需要處理一些略有變化的數據，或者包含難以進行轉義的特殊字符的數據，那么使用這個符號是非常方便的。例如，在匹配引號時，我經常使用 .，所以我不需要在 Shell 中對引號進行轉義。清單 11 顯示了一個正則表達式初學者在使用這個模式時出現的問題。

清單 11. 這可能并不是想要的結果

chrish@dhcp3 [339]$ echo "This is a test" | sed -e s/./_/g______________

既然您已經了解了這些非常基本的內容，下面介紹一些附加模式修飾符，要使用高級 正則表達式，您現在還可以使用 -E 選項代替 -e。? 字符表示匹配前面模式元素的零個或一個實例，* 字符表示匹配前面元素的零個或多個實例。+ 字符表示匹配一個或多個前面的元素。^ 字符匹配行首，而 $ 則匹配行尾。清單 12 顯示了實際應用中的情況。

清單 12. 實際應用中的多個匹配項

chrish@dhcp3 [356]$ echo "hellooooo" | sed -E 's/o?$/_/g'helloooo_chrish@dhcp3 [357]$ echo "hellooooo" | sed -E 's/o*$/_/g'hell_chrish@dhcp3 [358]$ echo "hellooooo" | sed -E 's/o+$/_/g'hell_

如果使用圓括號將模式元素括起來，您可以在替換字符串中使用匹配的內容。這些元素稱為組，它們使得正則表達式搜索和替換操作的功能變得非常強大，但是卻很難理解。例如，在清單 13 中，您匹配一個或多個 l (el) 字符，并且后面跟著零個或多個 o 字符。依次使用第二組和第一組中的內容對其進行替換，實際上是對它們進行交換。請注意這個模式中各個組的引用方法，即反斜杠加上該組的序號。

清單 13. 匹配組

chrish@dhcp3 [361]$ echo "hellooooo" | sed -E 's/(l+)(o*)$/21/g'heoooooll

通過在大括號中指定匹配的數目，您可以匹配特定數目的模式。例如，模式 o{2} 將匹配兩個（僅僅兩個）o 字符。

對了，還有最后一個內容，通過使用 字符對其進行轉義，您可以在模式中使用這些特殊字符的字面內容（即作為其本身）。

將其組合在一起

既然已經向您介紹了一些非常簡單的正則表達式，那么讓我們來嘗試一些有用的內容。給定 ls -l（文件長 清單）的輸出，您將從中提取權限信息、大小和名稱。清單 14 顯示了要進行處理的 ls -l 輸出示例。

清單 14. ls -l 的典型輸出

chrish@dhcp3 [365]$ ls -l | taildrwx------　 3 chrishwheel　 102 Jun 14 21:38 gsrvdir501drwxr-xr-x　 2 chrishwheel68 Jun 16 16:01 hsperfdata_chrishdrwxr-xr-x　 3 root　wheel　 102 Jun 14 23:38 hsperfdata_root-rw-r--r--　 1 root　wheel　 531 Jun 14 10:17Illustrator_activation.plist-rw-r--r--　 1 root　wheel　 531 Jun 14 10:10 indesign_activation.plist-rw-------　 1 nobodywheel24 Jun 16 16:01 objc_sharing_ppc_4294967294-rw-------　 1 chrishwheel　 132 Jun 16 23:50 objc_sharing_ppc_501-rw-------　 1 security　wheel24 Jun 16 10:04 objc_sharing_ppc_92-rw-r--r--　 1 root　wheel　 531 Jun 14 10:05 Photoshop_activation.plist-rw-r--r--　 1 root　wheel　 928 Jun 14 10:17 serialinfo.plist

正如您所看到的，這里一共有 7 列：

權限 鏈接的數目 屬主 組 大小 最后的修改時間 名稱

讓我們來建立一些正則表達式，以匹配其中的每一列：

.([r-][w-][x-]){3}—權限（使用 . 匹配第一個字符，因為它可能是幾個不同的特殊字符中的任何一個。） [[:digit:]]+—鏈接的數目 [A-Za-z0-9_-.]+ -—屬主（您還可以使用這個模式進行組匹配。） [[:digit:]]+—大小 .{3} [0-9 ]{2} [0-9 ][0-9]:[0-9][0-9]—修改時間（您可以對這個模式進行一些簡化，因為所有的文件都在 6 月份進行的修改，所以您可以確切地指定月份的名稱。） .+$—名稱（在這些內容之后，您需要匹配所有的字符，直到行尾。）

在上述模式之間，必須使用 [[:space:]]+ 對它們進行連接，因為您并不知道這些列之間究竟是使用空格或制表符，還是兩者的組合進行分隔。您還需要將權限、大小和名稱放到組中，以便可以在替換中使用它們。如清單 15 所示，正則表達式很快就變得難以理解。

清單 15. 完成后的正則表達式實在難以理解！

(.([r-][w-][x-]){3})[[:space:]]+[[:digit:]]+[[:space:]]+([A-Za-z0-9_-.]+[[:space:]]+){2}([[:digit:]]+)[[:space:]]+.{3} [0-9 ]{2} [0-9][0-9]:[0-9][0-9][[:space:]]+(.+)$

如果您仔細研究這個可怕的正則表達式模式，您將發現 5 個組：

完整的權限塊 權限塊中最后匹配的 rwx 組 組（該模式的屬主/組部分中最后匹配的內容） 大小 名稱

在清單 16 中，您將更改 ls -l 的輸出以顯示文件名、權限和大小。

清單 16. 對輸出進行重組

chrish@dhcp3 [382]$ ls -l | tail | sed -E's/(.([r-][w-][x-]){3})[[:space:]]+[[:digit:]]+[[:space:]]+([A-Za-z0-9_-.]+[[:space:]]+){2}([[:digit:]]+)[[:space:]]+.{3} [0-9 ]{2} [0-9][0-9]:[0-9][0-9][[:space:]]+(.+)$/5 (1) has 4 bytes of data/'gsrvdir501 (drwx------) has 102 bytes of datahsperfdata_chrish (drwxr-xr-x) has 68 bytes of datahsperfdata_root (drwxr-xr-x) has 102 bytes of dataIllustrator_activation.plist (-rw-r--r--) has 531 bytes of dataindesign_activation.plist (-rw-r--r--) has 531 bytes of dataobjc_sharing_ppc_4294967294 (-rw-------) has 24 bytes of dataobjc_sharing_ppc_501 (-rw-------) has 132 bytes of dataobjc_sharing_ppc_92 (-rw-------) has 24 bytes of dataPhotoshop_activation.plist (-rw-r--r--) has 531 bytes of dataserialinfo.plist (-rw-r--r--) has 928 bytes of data

成功了！您已經完成了對輸出結果的轉換。

使用 Perl 完成相應的工作

Perl 編程和腳本語言（請參見參考資料部分）的功能非常強大，通常可用來取代前面介紹的 tr 和 sed 命令。通常可以在命令行中直接輸入簡短的 Perl 程序，有時它可以完成比 tr 或 sed 命令行更多的操作。

Perl 的 -p 選項告訴它讀取和處理標準輸入中的每行內容，并將結果打印到標準輸出。-e 選項允許您在命令行中指定一個 Perl 表達式（實際上是一個程序）。

清單 17 顯示了如何使用 Perl 完成清單 5 中的示例。

清單 17. 使用 Perl 完成 tr 的工作

chrish@dhcp3 [248]$ echo a test | perl -p -e 'tr/t/p/;'a pespchrish@dhcp3 [249]$ echo a test | perl -p -e 'tr/aest/1234/;'1 4234chrish@dhcp3 [250]$ echo a test | perl -p -e 'tr/t//d;'a eschrish@dhcp3 [251]$ echo a test | perl -p -e 'tr/a-z/A-Z/;'A TEST

Perl 的 tr 語句具有不同的語法，它更像 sed 的搜索和替換表達式。另請注意，您在最后一個示例中指定了小寫和大寫字符的范圍。

Perl 中的正則表達式支持非常優秀，并且上面的 sed 示例可以作為有效的 Perl 語句正常工作。清單 18 使用 Perl 顯示了清單 16 中的 ls -l 示例，除了 Perl 命令行語法之外，不需要對其他的內容進行更改。

清單 18. 使用 Perl 重組 ls 的輸出

chrish@dhcp3 [384]$ ls -l | tail | perl -p -e's/(.([r-][w-][x-]){3})[[:space:]]+[[:digit:]]+[[:space:]]+([A-Za-z0-9_-.]+[[:space:]]+){2}([[:digit:]]+)[[:space:]]+.{3} [0-9 ]{2} [0-9][0-9]:[0-9][0-9][[:space:]]+(.+)$/5 (1) has 4 bytes of data/'gsrvdir501 (drwx------) has 102 bytes of datahsperfdata_chrish (drwxr-xr-x) has 68 bytes of datahsperfdata_root (drwxr-xr-x) has 102 bytes of dataIllustrator_activation.plist (-rw-r--r--) has 531 bytes of dataindesign_activation.plist (-rw-r--r--) has 531 bytes of dataobjc_sharing_ppc_4294967294 (-rw-------) has 24 bytes of dataobjc_sharing_ppc_501 (-rw-------) has 132 bytes of dataobjc_sharing_ppc_92 (-rw-------) has 24 bytes of dataPhotoshop_activation.plist (-rw-r--r--) has 531 bytes of dataserialinfo.plist (-rw-r--r--) has 928 bytes of data

這樣做的優點在于，您可以使用 sed 或 Perl 完善正則表達式，并且在只包含其中某一個的系統中，您仍然可以它們。使用 Perl，您可以獲得全方位的編程結構，可以充分地利用它們進行更復雜的文本處理。

總結

使用像 sed 和 Perl 這樣功能強大的工具，以及神奇的正則表達式，您可以直接通過 Unix 命令行輕松地完成復雜的文本處理任務。這使得您可以有效地將多個命令組合在一起，以正確地完成文本處理工作。