Linux进阶命令和Shell编程

发表于 | 分类于 |
字数统计: 3,631 字 | 阅读时长 ≈ 15 分钟

1.高级文本命令——sed

1.1sed简介

sed全称是：Stream EDitor，即流编辑器，是一个很好的文本处理工具，本身是一个管道命令，处理时，把当前处理的行存储在临时缓冲区中，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行。它是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作。

1.2sed选项

-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；
-i ：直接修改读取的文件内容，而不是输出到终端。

1.3sed函数

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
d ：删除，因为是删除啊，所以 d 后面通常不接任何内容
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)
p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s ：取代，可以直接进行取代的工作！通常这个 s 的动作可以搭配正规表示法！例如 20s/old/new/g
练习：

1
2
3
4
5
6
7
删除之后写入
sed '2d' testfile   只在展示的时候删除第二行，实际testfile文件并没有改变
sed -i '2d' testfile   将第二行删除并写入testfile文件，那么实际上testfile的第二行就被物理删除了。

替换
sed 's/hell/8888/g' testfile   以s开头代表替换，将hell替换成8888，/g代表全局替换，整个文件中的hell都被替换，如果不写则只替换第一个。
sed -i 's/hell/88888/g' testfile  替换完之后并写入到testfile文件，即物理替换。

2.高级文本命令——awk

2.1简介

awk是一种优良的文本处理工具。其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母，awk 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上 awk 的确拥有自己的语言：awk 程序设计语言， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许你创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有其他的许多功能。
练习：

1
2
3
4
last查最近登录的用户 
last -n 5 查最近登录的五个用户
last -n 5 | awk  '{print $1}'  查最近登录的五个用户并把结果作为后面的输入，输出第一列的值，即输出最近登录的五个用户的用户名。
awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推（说白了，其实就是以空格或tab作为分隔符划分为几列，$1就是取第一列的值）。

3.高级文本命令——cut、wc、sort

3.1cut命令

cut命令可以从一个文本文件或者文本流中提取文本列，有点类似于java中的split（分割）。
cut语法：

1
2
cut -d'分隔字符' -f fields <==用于有特定分隔字符
cut -c 字符区间            <==用于排列整齐的信息

选项与参数：
-d ：后面接分隔字符。与 -f 一起使用；
-f ：依据 -d 的分隔字符将一段信息分割成为数段，用 -f 取出第几段的意思；
-c ：以字符 (characters) 的单位取出固定字符区间；
示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@www ~]# echo $PATH
/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games
1 | 2       | 3   | 4       | 5            | 6            | 7
 
将 PATH 变量取出，要找出第五个路径。
echo $PATH | cut -d ':' -f 5
/usr/local/bin
 
将 PATH 变量取出，要找出第三和第五个路径。
echo $PATH | cut -d ':' -f 3,5
/sbin:/usr/local/bin

将 PATH 变量取出，要找出第三到最后一个路径。
echo $PATH | cut -d ':' -f 3-
/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games

将 PATH 变量取出，要找出第一到第三个路径。
echo $PATH | cut -d ':' -f 1-3
/bin:/usr/bin:/sbin:

将 PATH 变量取出，我要找出第一到第三，还有第五个路径。
echo $PATH | cut -d ':' -f 1-3,5
/bin:/usr/bin:/sbin:/usr/local/bin

3.2wc命令

wc命令用来统计文件里面有多少单词，多少行，多少字符。
wc语法：

1
2
3
4
5
wc [-lwm]
选项与参数：
-l  ：仅列出行；
-w  ：仅列出多少字(英文单字)；
-m  ：多少字符；

示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
使用wc统计/etc/passwd
wc /etc/passwd
40   45 1719 /etc/passwd
40是行数，45是单词数，1719是字节数

wc -l /etc/passwd   #统计行数，在对记录数时，很常用
40 /etc/passwd       #表示系统有40个账户

wc -w /etc/passwd  #统计单词出现次数
45 /etc/passwd

wc -m /etc/passwd  #统计文件的字符数
1719

3.3sort 命令

sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。
sort语法：

1
2
3
4
5
6
7
8
9
10
sort [-fbMnrtuk] [file or stdin]
选项与参数：
-f  ：忽略大小写的差异，例如 A 与 a 视为编码相同；
-b  ：忽略最前面的空格符部分；
-M  ：以月份的名字来排序，例如 JAN, DEC 等等的排序方法；
-n  ：使用『纯数字』进行排序(默认是以文字型态来排序的)；
-r  ：反向排序；
-u  ：就是 uniq ，相同的数据中，仅出现一行代表；
-t  ：分隔符，默认是用 [tab] 键来分隔；
-k  ：以那个区间 (field) 来进行排序的意思

例如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
对/etc/passwd 的账号进行排序
cat /etc/passwd | sort
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
sort 默认以第一个数据来排序，而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。

/etc/passwd 内容是以 : 来分隔的，如果想以第三栏来排序，该如何
cat /etc/passwd | sort -t ':' -k 3
root:x:0:0:root:/root:/bin/bash
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin

4.Shell编程

4.0Shell介绍

Shell是用户与内核进行交互的一种接口，目前最流行的Shell是bash Shell；Shell也是一门编程语言（解释型的编程语言），即shell脚本。一个系统可以存在多个shell，可以通过：cat /etc/shells 命令查看系统中安装的shell，不同的shell可能支持的命令语法是不相同的。

4.1 Shell的执行方式

首先需要赋予+x的权限，即执行的权限

  • bash或sh +脚本，就是sh加空格加脚本名称

    1
    2
    3
    sh /root/helloWorld.sh
    或
    sh helloWorld.sh

  • 在脚本的路径前加”. “

    1
    ./startup.sh

4.2变量和运算符

  • 变量：Shell中的变量分为“系统变量”和“用户自定义变量”，可以通过set命令查看当前所有的变量
    系统变量：$HOME、$PWD、$SHELL、$USER等等。
    自定义变量：需要注意以下几点。
    定义规则：变量＝值；
    等号两侧不能有空格；
    变量名称一般习惯为大写；
    双引号和单引号有区别，双引号仅将空格脱意，单引号会将所有特殊字符脱意；
    使用unset 变量名 来撤销变量；
    使用readonly 声明静态变量；
    使用export可将自定义变量提升为全局变量，例如我们在配置jdk时，就会把JAVA_HOME提升为系统变量。

    1
    2
    3
    4
    5
    6
    7
    8
    STR=abc
    就是定义了一个变量STR，它的值是abc.
    STR="hello world"
    就是定义了一个变量STR，它的值是hello world
    A=9
    unset A   就是撤销变量 A
    readonly B=2 声明静态的变量 B=2 ，不能 unset
    export 变量名 可把变量提升为全局环境变量，可供其他shell程序使用

  • 将命令的返回值赋给变量
    可以使用以下两种方式将返回值赋给变量

    1
    2
    1.A=`ls -la` 反引号，运行里面的命令(列举出所有的文件)，并把结果返回给变量A，注意这个点号是tab键上面的那个符号，而不是引号。
    2.A=$(ls -la) 等价于反引号

  • 特殊变量

    1
    2
    3
    4
    5
    6
    $? 表示上一个命令退出的状态,0表示执行正常，不等于0表示执行不正常。
    $$ 表示当前进程编号
    $0 表示当前脚本名称
    $n 表示n位置的输入参数（n代表数字，n>=1）
    $# 	表示参数的个数，常用于循环
    $*和$@ 都表示参数列表

  • 运算符：
    格式 :expr m + n 或$((m+n)) ，注意expr运算符间要有空格，m,n与+之间也要有空格。
    计算（5+4）*6

    1
    2
    3
    4
    5
    #!/bin/bash
    S=`expr 5 + 4`
    expr $S \* 6

    echo $(((2+3)*4))

输出结果是54和20，值得注意的是上面的表达式expr与5，+与5,4之间都要有空格，输出结果不能带echo，下面的表达式输出结果必须带echo，而且2与3，+之间无空格。
写完脚本之后记得chmod +x expr.sh给脚本添加权限。

4.3循环

  • for循环
    第一种形式
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    下面这三种等价，记住一种即可，我一般用第一种
    #!/bin/bash
    for N in 1 2 3
    do echo $N 
    done

    for N in 1 2 3;
    do echo $N;
    done

    for N in {1..3};
    do echo $N;
    done

第二种形式

1
2
3
4
for((i=1;i<=5;i++))
do
  echo "weclome $i"
done

注意括号必须是两对，就是这种语法，而且不能是int i=1,而是直接写i=1。

  • while循环
    1
    2
    3
    4
    5
    6
    7
    #!/bin/bash
    i=1
    while((i<=5))
    do
      echo "welcome $i"
      let i++
    done

do开始执行语句，done代表执行结束，let i++代表让i++,改变i的值

4.4条件语句

1
2
3
4
5
6
7
8
9
10
11
#!/bin/bash
case $1 in
start)
   echo "starting"
   ;;
stop)
   echo "stoping"
   ;;
*)
  echo "没有匹配的"
esac

这里需要传一个参数进来，用$1接住，然后判断这个参数如果等于start就输出starting，注意;;不能省略，不然会报错，如果输入stop，那这里就输出stoping，如果参数都不匹配，就输出没有匹配的，结尾的esac就是case的倒过来，这些计算机上古大神设计的东西确实很奇妙，不同于现在大部分这样结尾的，而是把单词倒过来，666。
测试的时候就需要传入参数,我这个脚本的名称是case.sh，测试命令如下，start，star是传入的参数。

1
2
3
4
[root@server1 test]# sh case.sh start
starting
[root@server1 test]# sh case.sh star
没有匹配的

4.5read命令

命令规则：read -p “提示语句” 参数，这个类似于java中的Scanner，就是获取用户在控制台输入的内容。

1
2
3
4
[root@server1 test]# read -p "请输入你的名称:" name
请输入你的名称:Java开发日记
[root@server1 test]# echo $name
Java开发日记

也可以把这个命令编写在shell脚本中，我这里用read.sh来写

1
2
3
#!/bin/bash
read -p "请输入你的名字:" name
echo $name

测试时：

1
2
3
[root@server1 test]# sh read.sh 
请输入你的名字:Java开发日记
Java开发日记

4.6 if语句

1
2
3
4
5
6
7
8
9
10
11
12
#!/bin/bash
read -p "请输入用户名" NAME
printf '%s\n' $NAME
if [ $NAME = root ]
   then
        echo "欢迎你 ${NAME}"
elif [ $NAME = magic ]
   then
        echo "欢迎你，${NAME}"          
else
        echo "你是谁，滚犊子"
fi

首先从控制台输入一个用户名，如果谁的等于root，或者等于magic，欢迎，如果都不是，提示出错信息。这里有几点注意，条件表达式里面的[与字符串，字符串与=中间都需要有空格，不然报错，条件表达式用中括号而不是小括号，是elif而不是elseif，结束时是fi（if反过来写）。
测试时：

1
2
3
4
5
6
7
8
9
10
11
12
[root@server1 test]# sh if.sh 
请输入用户名root
root
欢迎你 root
[root@server1 test]# sh if.sh 
请输入用户名magic
magic
欢迎你，magic
[root@server1 test]# sh if.sh 
请输入用户名haha
haha
你是谁，滚犊子

补充1：条件表达式里面如果是非空则是true，空则是false，例如[ magic ]则是true,[ ]则是false，可以$?进行验证。
补充2：[ condition ] && echo OK || echo notok，条件满足，执行输出OK，否则输出notok，类似于java中的三目运算。测试示例如下：

1
[ $NAME = magic ] && echo  magic || echo root

如果输入的$NAME等于magic，则输出magic，否则输出root。

4.7常用判断条件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
= 字符串比较
-lt 小于
-le 小于等于
-eq 等于
-gt 大于
-ge 大于等于
-ne 不等于
-r 有读的权限
-w 有写的权限
-x 有执行的权限
-f 文件存在并且是一个常规的文件
-s 文件存在且不为空
-d 文件存在并是一个目录
-b文件存在并且是一个块设备
-L 文件存在并且是一个链接
刘俊重 wechat
欢迎关注我的微信公众号
坚持原创技术分享
分享到： 收藏夹 复制网址 邮件 微信 QQ空间 腾讯微博 豆瓣 一键分享 更多