首页 > Shell > 正则表达式快速入门

正则表达式快速入门

Shell 2013-03-01

正则表达式,就是用某种模式去匹配一类字符串的一个公式,用shell也有一段时间了,自诩对正则表达式也略微了解,却被正则表示式之道的题目难倒了,把文章的精华记录下来,工作中作为参考.

正则表达式有元字符和普通字符组成的,最终要理解元字符的意义.

1.元字符的意义

元字符

描述

.

匹配任何单个字符。例如正则表达式r.t匹配这些字符串:ratrutr t,但是不匹配root

$

匹配行结束符。例如正则表达式weasel$ 能够匹配字符串”He’s a weasel“的末尾,但是不能匹配字符串”They are a bunch of weasels.“。

^

匹配一行的开始。例如正则表达式^When in能够匹配字符串”When in the course of human events“的开始,但是不能匹配”What and When in the”

*

匹配0或多个正好在它之前的那个字符。例如正则表达式.*意味着能够匹配任意数量的任何字符。
这是引用府,用来将这里列出的这些元字符当作普通的字符来进行匹配。例如正则表达式$被用来匹配美元符号,而不是行尾,类似的,正则表达式.用来匹配点字符,而不是任何字符的通配符。

[ ] 

[c1-c2][^c1-c2]

匹配括号中的任何一个字符。例如正则表达式r[aou]t匹配ratrotrut,但是不匹配ret。可以在括号中使用连字符-来指定字符的区间,例如正则表达式[0-9]可以匹配任何数字字符;还可以制定多个区间,例如正则表达式[A-Za-z]可以匹配任何大小写字母。另一个重要的用法是“排除”,要想匹配除了指定区间之外的字符——也就是所谓的补集——在左边的括号和第一个字符之间使用^字符,例如正则表达式[^269A-Z] 将匹配除了2、6、9和所有大写字母之外的任何字符。

< >

匹配词(word)的开始(<)和结束(>)。例如正则表达式<the能够匹配字符串”for the wise“中的”the”,但是不能匹配字符串”otherwise“中的”the”。注意:这个元字符不是所有的软件都支持的。

( )

将 ( 和 ) 之间的表达式定义为“组”(group),并且将匹配这个表达式的字符保存到一个临时区域(一个正则表达式中最多可以保存9个),它们可以用 1 到9 的符号来引用。

|

将两个匹配条件进行逻辑“或”(Or)运算。例如正则表达式(him|her) 匹配”it belongs to him“和”it belongs to her“,但是不能匹配”it belongs to them.“。注意:这个元字符不是所有的软件都支持的。

+

匹配1或多个正好在它之前的那个字符。例如正则表达式9+匹配9、99、999等。注意:这个元字符不是所有的软件都支持的。

?

匹配0或1个正好在它之前的那个字符。注意:这个元字符不是所有的软件都支持的。

{i}
{i,j}

匹配指定数目的字符,这些字符是在它之前的表达式定义的。例如正则表达式A[0-9]{3} 能够匹配字符”A”后面跟着正好3个数字字符的串,例如A123、A348等,但是不匹配A1234。而正则表达式[0-9]{4,6} 匹配连续的任意4个、5个或者6个数字字符。注意:这个元字符不是所有的软件都支持的。

2.简单入门

这里有一些有代表性的、比较简单的例子。

vi 命令 作用
:%s/ */ /g 把一个或者多个空格替换为一个空格。
:%s/ *$// 去掉行尾的所有空格。
:%s/^/ / 在每一行头上加入一个空格。
:%s/^[0-9][0-9]* // 去掉行首的所有数字字符。
:%s/b[aeio]g/bug/g 将所有的bagbegbigbog改为bug
:%s/t([aou])g/h1t/g 将所有tagtogtug分别改为hathothug(注意用group的用法和使用1引用前面被匹配的字符)。

3.中级教程

例1

将所有方法foo(a,b,c)的实例改为foo(b,a,c)。这里a、b和c可以是任何提供给方法foo()的参数。也就是说我们要实现这样的转换

之前 之后
foo(10,7,2) foo(7,10,2)
foo(x+13,y-2,10) foo(y-2,x+13,10)
foo( bar(8), x+y+z, 5) foo( x+y+z, bar(8), 5)

下面这条替换命令能够实现这一魔法:

:%s/foo(([^,]*),([^,]*),([^)]*))/foo(2,1,3)/g

现在让我们把它打散来加以分析。写出这个表达式的基本思路是找出foo()和它的括号中的三个参数的位置。第一个参数是用这个表达式来识别的::([^,]*),我们可以从里向外来分析它:

[^,] 除了逗号之外的任何字符
[^,]* 0或者多个非逗号字符
([^,]*) 将这些非逗号字符标记为1,这样可以在之后的替换模式表达式中引用它
([^,]*), 我们必须找到0或者多个非逗号字符后面跟着一个逗号,并且非逗号字符那部分要标记出来以备后用。

现在正是指出一个使用正则表达式常见错误的最佳时机。为什么我们要使用[^,]*这样的一个表达式,而不是更加简单直接的写法,例如:.*,来匹配第一个参数呢?设想我们使用模式.*来匹配字符串”10,7,2″,它应该匹配”10,”还是”10,7,”?为了解决这个两义性(ambiguity),正则表达式规定一律按照最长的串来,在上面的例子中就是”10,7,”,显然这样就找出了两个参数而不是我们期望的一个。所以,我们要使用[^,]*来强制取出第一个逗号之前的部分。

这个表达式我们已经分析到了:foo(([^,]*),这一段可以简单的翻译为“当你找到foo(就把其后直到第一个逗号之前的部分标记为1”。然后我们使用同样的办法标记第二个参数为2。 对第三个参数的标记方法也是一样,只是我们要搜索所有的字符直到右括号。我们并没有必要去搜索第三个参数,因为我们不需要调整它的位置,但是这样的模式能 够保证我们只去替换那些有三个参数的foo()方法调用,在foo()是一个重载(overoading)方法时这种明确的模式往往是比较保险的。然后, 在替换部分,我们找到foo()的对应实例,然后利用标记好的部分进行替换,是的第一和第二个参数交换位置。

例2

假设有一个CSV(comma separated value)文件,里面有一些我们需要的信息,但是格式却有问题,目前数据的列顺序是:姓名,公司名,州名缩写,邮政编码,现在我们希望讲这些数据重新组 织,以便在我们的某个软件中使用,需要的格式为:姓名,州名缩写-邮政编码,公司名。也就是说,我们要调整列顺序,还要合并两个列来构成一个新列。另外, 我们的软件不能接受逗号前后面有任何空格(包括空格和制表符)所以我们还必须要去掉逗号前后的所有空格。

这里有几行我们现在的数据:

Bill Jones,HI-TEK Corporation,CA, 95011

Sharon Lee Smith,  Design Works Incorporated,  CA, 95012

B. Amos,Hill Street Cafe,  CA, 95013

A lexander Weatherworth,  The Crafts Store,  CA, 95014

我们希望把它变成这个样子:

Bill Jones,CA 95011,HI-TEK Corporation

Sharon Lee Smith,CA 95012,Design Works Incorporate

B. Amos,CA 95013,Hill Street Cafe

Alexander Weatherworth,CA 95014,The Crafts Store

我们将用两个正则表达式来解决这个问题。第一个移动列和合并列,第二个用来去掉空格。

下面就是第一个替换命令:

:%s/([^,]*),([^,]*),([^,]*),(.*)/1,3 4,2/这里的方法跟例1基本一样,第一个列(姓名)用这个表达式来匹配:([^,]*),即第一个逗号之前的所有字符,而姓名内容被用1标记下来。公司名和州名缩写字段用同样的方法标记为23,而最后一个字段用(.*)来匹配(”匹配所有字符直到行末”)。替换部分则引用上面标记的那些内容来进行构造。

下面这个替换命令则用来去除空格:

:%s/[ t]*,[ t]*/,/g我们还是分解来看:[ t]匹配空格/制表符,[ t]* 匹配0或多个空格/制表符,[ t]*,匹配0或多个空格/制表符后面再加一个逗号,最后,[ t]*,[ t]*匹配0或多个空格/制表符接着一个逗号再接着0或多个空格/制表符。在替换部分,我们简单的我们找到的所有东西替换成一个逗号。这里我们使用了结尾的可选的g参数,这表示在每行中对所有匹配的串执行替换(而不是缺省的只替换第一个匹配串)。

例3

假设有一个多字符的片断重复出现,例如:

Billy tried really hard
Sally tried really really hard
Timmy tried really really really hard
Johnny tried really really really really hard

而你想把”really”、”really really”,以及任意数量连续出现的”really”字符串换成一个简单的”very”(simple is good!),那么以下命令:

:%s/(really )(really )*/very /

就会把上述的文本变成:

Billy tried very hard
Sally tried very hard
Timmy tried very hard
Johnny tried very hard

表达式(really )*匹配0或多个连续的”really “(注意结尾有个空格),而(really )(really )* 匹配1个或多个连续的”really “实例。

4. 不同工具下的正则表达式

sed

sed脚本 描述
sed ‘s/^$/d’ price.txt 删除所有空行
sed ‘s/^[ t]*$/d’ price.txt 删除所有只包含空格或者制表符的行
sed ‘s/”//g’ price.txt 删除所有引号

awk

awk脚本 描述
awk ‘$0 !~ /^$/’ price.txt 删除所有空行
awk ‘NF > 0′ price.txt awk中一个更好的删除所有行的办法
awk ‘$2 ~ /^[JT]/ {print $3}’ price.txt 打印所有第二个字段是’J'或者’T'打头的行中的第三个字段
awk ‘$2 !~ /[Mm]isc/ {print $3 + $4}’ price.txt 针对所有第二个字段不包含’Misc’或者’misc’的行,打印第3和第4列的和(假定为数字)
awk ‘$3 !~ /^[0-9]+.[0-9]*$/ {print $0}’ price.txt 打印所有第三个字段不是数字的行,这里数字是指d.d或者d这样的形式,其中d是0到9的任何数字
awk ‘$2 ~ /John|Fred/ {print $0}’ price.txt 如果第二个字段包含’John’或者’Fred’则打印整行

grep

下面的例子中我们假定在文件phone.txt中包含以下的文本,——其格式是姓加一个逗号,然后是名,然后是一个制表符,然后是电话号码:

Francis, John           5-3871
Wong, Fred              4-4123
Jones, Thomas           1-4122
Salazar, Richard        5-2522

grep命令 描述
grep ‘t5-…1′ phone.txt 把所有电话号码以5开头以1结束的行打印出来,注意制表符是用t表示的
grep ‘^S[^ ]* R’ phone.txt 打印所有姓以S打头和名以R打头的行
grep ‘^[JW]‘ phone.txt 打印所有姓开头是J或者W的行
grep ‘, ….t’ phone.txt 打印所有姓是4个字符的行,注意制表符是用t表示的
grep -v ‘^[JW]‘ phone.txt 打印所有不以J或者W开头的行
grep ‘^[M-Z]‘ phone.txt 打印所有姓的开头是M到Z之间任一字符的行
grep ‘^[M-Z].*[12]‘ phone.txt 打印所有姓的开头是M到Z之间任一字符,并且点号号码结尾是1或者2的行

egrep

egrep是grep的一个扩展版本,它在它的正则表达式中支持更多的元字符。下面的例子中我们假定在文件phone.txt中包含以下的文本,——其格式是姓加一个逗号,然后是名,然后是一个制表符,然后是电话号码:

Francis, John           5-3871

Wong, Fred              4-4123

Jones, Thomas           1-4122

Salazar, Richard        5-2522

egrep command Description
egrep ‘(John|Fred)’ phone.txt 打印所有包含名字John或者Fred的行
egrep ‘John|22$|^W’ phone.txt 打印所有包含John 或者以22结束或者以W的行
egrep ‘net(work)?s’ report.txt 从report.txt中找到所有包含networks或者nets的行

 


正则表达式快速入门来自于OenHan,链接为:http://oenhan.com/regex-quick-start
更多阅读