常用的Linux命令用来统计服务器日志中的某些信息。

$cat ****.txt  | awk '{print $1}'  |  sort | uniq -c | wc -l
$cat ****.txt  | awk '{print $1}'  |  sort | uniq -c | sort -k 1 -n -r | wc -l

说明：

• awk ‘{print $1}’

日志记录中的第一个字段。

• uniq –c

表示合并相邻的重复记录，并统计重复数。因为uniq -c 只会合并相邻的记录，所以在使用该命令之前需要先排序。

• sort

表示前面输入的结果文件中的内容进行排序。sort命令是对于每一行的内容根据字典序（ASCII码）进行排序，这样可以保证重复的记录时相邻的。

• sort –k 1 -n -r

经过uniq -c 处理之后的数据格式形如”2 data”，第一个字段是数字，表示重复的记录数；第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序，这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII，这就会导致按从大到小进行排序时，数值2会排在数值11的前面，所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序，即按照从大到小的顺序进行排序。

• wc -l

为统计指定文件中的字节数、字数、行数, 并将统计结果显示输出。

• paste

paste可以将每个文件相应列的进行拼接，如：

$paste 1.txt a.txt I.txt
1    a    I
2    b    II
3    c    III

默认的拼接符号是\t，可以使用-d ‘符号’ 设定间隔符；使用-s参数可以改变拼接的方式：

$paste -s -d "*" I.txt a.txt 1.txt
I*II*III
a*b*c
1*2*3

典型用法：

cat 20151013_* | paste -sd+ | bc

参考：

http://wuzhangshu927.blog.163.com/blog/static/114224687201171941937445/