1. shell脚本读文件如何忽略空行和注释行
可以通过sed命令，将空行和注释行删除掉。
1、以下面的文档内容为例，#号开头的是注释，然后有很多空行，文档名为1.tt。
2. shell脚本如何删除指定字符串，文档如下：
用正则匹配就可以了。
shell脚本regex正则表达式 和 字符串替换
任意字符
^行首匹配
$行尾匹配
^$表示空行,不含字符的行
^
$匹配只有单个空格的行
[0-9]
[a-zA-Z]
^[A-
Z]搜索以大写字母开头的行
[^A-Z]匹配大写字母意外的任意字符
*表示匹配0个或若干个字符，如:a*,表示匹配0个或若干个a;
aa*表示匹配至少1个a
.*来表示0或若干个任意字符
e.e*表示匹配第一个e和最后一个e之间的任意字符
[-0-9]匹配一
个连字符或数字
[]a-z]匹配一个]或者字母
\{min,max\}匹配任意数目的字符串
[a-z]\{10\}只匹配10个
a-z字符的字符串
s/.\{5\}$// 删除每行的最后5个字符
\(...\),n是1到9的数字,表示存储用的寄存器,用\n来引
用存在寄存器中的内容
^\(.\)\1匹配行首的第一个字符,并将该字符存到1号寄存器中,然后匹配1号寄存器中的内容,这由\1的描述。该正则
表达式的最终效果是,如果一行的头两个字符相同,就匹配他们。
^\(.\).*\1$匹配一行中的头一个字符(^.)跟最后一个字符(\1$)相
同的行。.*匹配中间的所有内容
^\(...\)\(...\)行中头三个字符存在1号寄存器,接着的三个字符存在2号寄存器.
s/\(.*\)
\(.*\)/\2 \1/g 交换两个字段
.任何字符
^行首
$行尾
*前导的正则表达式重复0或若干次
[字
符表]字符中的任一字符
a..表示a后的2个字符
^wood表示行首的wood
x$表示行为的x
^INSERT$只包含
字符串INSERT的行
^$不包含任何字符的行
x*表示0或若干个连续的x
xx*表示1或多个连续的x
.*表示0活若干
个字符
w.*s表示以w开始,s结尾的任何字符串
[tT]小写或大写的t
[^字符表]表示任一不在字符表中的字符 [^0-9]
[^a-zA-Z]
\{min,max\}表示前导的正则表达式重复只烧min次,至多max次[0-9]\{3,9\}表示3到
9个数字
\(...\)表示将小括号中匹配的字符串存储到下一个寄存器中(1-9),
^\(.\)表示行中第1个字符存到1号寄存器
^\
(.\)\1表示行首恋歌字符,且他们相同
cut -c5 file把file文件中没行的第5个字符析取出来;
用逗号分割的数
值列表,如-c1,13,50把第1,13,50个字符析取出来
cut -c20-50把第20到50之间的字符析取出来
如
who | cut
-c1-8
who | cut -c1-8,18- 析取行中的第1到8个字符(用户名)和第18到行尾的字符(登录时间)
cut -ddchar
-ffields file其中,dchar是数据中分割各字段的分割符,fields表示要从文件file中析取出来的字段.
字
段编号从1开始,而且格式跟以前将的用来指定字符位置的数字一样(如-f1、2、8、-f1-3、-f4-)。
cut -d: -f1
/etc/passwd
如果已知字段之间使用制表符分隔的,就可以给cut命令用-f选项而不用-c选项,好多了！还记得吧,这里用不着用-d选
项来指定分割符,因为
cut把制表符默认为分割符。
paste和cut正好相反,它不是把行分离开,而是把多行合并在一起。
paste
names numbrs文件names中的每一行都和numbers中的对应行显示在一起,中间用制表符分割。
如果不想用制表符作默认分割,
可以使用-dchars指定分割符
paste -d'+' names addresses numbers
-s选项告诉paste把同
一文件中的行粘贴在一起,而不是从其他文件。如果只指定一个文件名,其效果是把文件中的所有行合并成一行,原来隔行之间用制表符或者有-d选项指定的分割
符分割。
sed是用来编辑数据的程序,意指流编辑器(stream editor)。与ed不同,sed不能用于交互,
-n选
项,然后使用p命令显式指定
sed -n '1,2p' file只显示前2行
sed -n '/Unix/p'
file只打印包含Unix的行
删除行
d删除整行文件
sed '1,2d' file删除1和2行
记住sed默认把输入
的所有行写入标准输出,所以生于行的文字,也就是从第3行到结尾,都被写入标准输出。
sed '5d'删除第5行
sed
'/[Tt]est/d'删除包含test或Test的行
sed -n '20,25p' test只显示文件test的第20行到第25行
sed
'1,10s/unix/UNIX/g' intro报intro前10行中的unix改为UNIX
sed
'/jan/s/-1/-5/'将所有包含jan的行中第1个-1改为-5
sed 's/...//'
data删除data文件每一行的前3个字符
sed 's/...$//' data删除data文件每一行的最后3个字符
sed -n 'I'
text显示文件text的所有行,把所有不可打印字符显示为\nn,制表符显示为\t
过滤器tr用来转换来自标准输入的字
符,tr命令的一般格式为
tr from-chars to-chars
tr e x <
intro把所有字母e转换成x
tr命令的输入必须重定向到文件intro,因为tr总是从标准输入获得输入;转换的结果写入标准输出,而原始文
件保持不变。
cut -d: -f1,6 /etc/passwd | tr : ' '
通过在管道线的最后加上适当的tr命令,就可以把冒号转换成制表符,这样产生的输出更容易看
单引号中括的是制表符(尽管你看不到)。必须将它括在
引号中,以便穿过shell,使tr有机会看到它。
使用\nnn来给tr提供8进制表示的字符
一些ascii字符的八进制值
响 铃
7
退格 10
制表符 11
新行 12
换行 12
换页 14
回 车
15
转义 33
date | tr ' ' '\12'此例中,tr接受date命令的输出,并把所有的空格转换成换行
tr
'[a-z]' '[A-Z]'
<intro将所有小写转换为大写
-s选项,tr命令中的-s选项用来压缩to-chars中重复的字符,换句话说,如果转换完成后,有
to-chars中的某个字符连续出现多次,则这些连续相同的字符被替换为一个字符。
如下面的命令将冒号转换为制表符,并将多个连续制表符替换为
单个制表符：
tr -s ':' '\11\'
tr -s ' ' ' '
<lotspaces通过-s将多个空格全部压缩为单个空格
-d选项用来删除掉输入流中的字符,其一般格式为
tr -d
from-chars任何列在from-chars中的字符都会被从标准输入中删除。下例用tr来删除文件intro中的所有空格:
tr -d ' '
<intro
当然sed 's/ //g' intro也可以得到同样的效果
tr 'X' 'x' 把大X专成小x
tr '()'
'{}' 把所有左小括号转换成左大括号,右小括号专成右大括号
tr '[a-z]' '[A-Z]' 把小写转大写
tr '[A-Z]'
'[N-ZA-M]' 把A-M字母分别专成N-Z把N-Z转成A-M
tr ' ' ''把所有制表符转换成空格
tr -s ' '
''把多个空格转换成单个空格
tr -d '\14' 删除所有换页字符(八进制14)
tr -d '[0-9]'删除所有数字
grep
'[A-Z]' list list中包含一个大写字母的行
grep '[0-9]' data中包含数字的行
grep '[A-Z]...[0-9]'
list list中包含以大写字母开始、数字结尾的5个字符组合的行
grep '\.pic$' filelist
filelist中以.pic结尾的行
uniq in_file
out_file该格式中,uniq把in_file复制到out_file,处理过程中,去掉其中的重复行。如果不指定第2个参数out_file,结
果就写入标准输出；如果in_file没有指定,那么uniq就成了一个过滤器,从标准输入读取输入。
>或<
重定向,覆盖原有的内容
>>或<< 重定向,想文件末尾追加内容
tee 显示在终端上的内容存储到文件 ls |
tee >glx
-d 目录
-e 存在
-f 普通文件
-r 进程可读文件
-s 长度不为0
-w
进程可写文件
-x 可执行
-L 链接文件
$# 传给程序的参数个数,或者执行set命令设置的参数个数
$*
对位置参数等的集中引用
$@ 跟$*相似,区别在于当加入双引号后("$@"),集中引用位置参数"$1","$2"...等
$0
正执行的程序名
$$ 正执行程序的进程id
$! 最后一个发生后台运行的程序的进程id
$? 最后一个在前台执行的程序的退出状态
$-
当前有效选项标志
`command`符号之间的内容为需要执行的命令
make -C /lib/moles/`uname -r`/build
M=`pwd`
使用echo可以显示字符串,但是不能格式化字符串,可以使用printf实现
printf "format" arg1 arg2
...
ln -s from to 把from链接到to上,所以to是from的符号链接
tree -d只显示目录
tree -L
2显示2级目录
字符串比较
s1 = s2 s1等于s2
s1 != s2 s1不等于s2
s1
s1不为空
-n s1 s1不为空
-z s1 s1为空
整数比较操作
-eq 等于
-ge
大于或等于
-gt 大于
-le 小于或等于
-lt 小于
-ne 不等于
[ "$x1" = 5 ]字符串比较
[
"$x1" -eq 5 ]整数比较
-a 逻辑与操作
-o 逻辑或操作
command1 &&
command2
则先执行command1,如果返回的退出状态
为0,则执行command2;如果command1返回的退出状态非0,则跳过command2
command1 ||
command2
和上边的&&差不多,只是,仅仅当command1返回非0时,才执行command2
#!/bin/sh
append2=0
include_lib=1
if
[ -f cscope_i ];then
rm cscope_i
fi
for cscope_file in $*; do
if [ -f "$cscope_file" ] || [ -d "$cscope_file" ];then
# if [
$cscope_file = '-a' ];then
# append2=1
# continue
#
fi
#
# if [ $cscope_file = '-n' ];then
#
include_lib=0<F11>
# continue
# fi
if [ "$append2" = "1"
];then
find $cscope_file -maxdepth 1 -name '*.[cChH]' -o -name
'*.[cC][pP][pP]'>>cscope_i
else
find $cscope_file -name
'*.[cChH]' -o -name '*.[cC][pP][pP]'>>cscope_i
fi
else
if [
$cscope_file = '-a' ];then
append2=1
elif [ $cscope_file = '-n'
];then
include_lib=0
else
echo "Error: cannot read file
$cscope_file"
fi
fi
done
if [ -f cscope_i ];then
if [
"$include_lib" = "1" ];then
cscope -bi cscope_i
else
cscope -bki cscope_i
fi
rm cscope_i
fi
#linux(ubuntu)
3. shell中怎么删除文件中指定行的
1、删除包含指定关键字的行：
sed -i '/hello/d' test_temp
[root@host]$ cat test_temp
world
123
4566
889
2、删除指定行号的行
sed -i '2d' test_temp
[root@host]$ cat test_temp
world
4566
889
3、sed -i '1d' a.txt删首行
4、sed -i '$d' b.txt删尾行
5、sed -i 's/[ ]*//g' c.txt删空格
6、sed -i '/^$/d' d.txt删空行
7、sed -i ‘/love/d’ a.txt删包含string的行。
(3)shell脚本如何删除带有空格的行扩展阅读：
shell 命令
常用命令：
cat 文件名 输出文件内容到基本输出（屏幕 or 加>fileName 到另一个文件）
cb 格式化源代码
chmod //change mode，改变文件的权限
cp
date 当前的时间和日期
echo $abc 在变量赋值之后，只需在变量前面加一个$去引用.
lint语法检查程序
ls dir
man help
more type
查看磁盘空间状况
ps 查看当前进程状况
who 你的用户名和终端类型
定义变量 name=abc? (bash/pdksh) || set name = abc (tcsh)
mkdir 创建目录
rmdir 删除目录
cd 进入目录
rm 删除文件
more 显示文件
echo 显示指定文本
mv 改文件名 /移动文件
pwd 显示目录路径命令
4. shell脚本怎么删除含有空字符的行
sed'/x00/d'file
xnn 表示匹配 ASCII 值为16进制的 0xnn 的字符。所以上面的 x00 表示匹配值为 0x00 的字符，即你要的空字符。
5. shell sed 如何删除多余的空行
恩，楼上的可以删除由回车形成的空行，但是如果由空格形成的空行就没法删除了。
#sed
-i
'/^
*$/d'
file
这个可以删除由空格组成的空行，也包括由回车组成的空行。
6. 编写一个shell脚本,删除当前目录下空文件
#!/bin/bash
#当前路径
MYDIR=`dirname"$0"`
#切换到当前路径
cd"$MYDIR"
#删除当前文件夹下所有空文件夹
find"$MYDIR"-typed-execrmdir-p{};
#对于文件夹大小大于0的文件夹无效。
#$MYDIR加双引号可以删除带空格的文件夹。
试试看这个代码。
7. linux shell 问题，清除文件中的空格
先建脚本：clearspace.sh
给脚本添加执行权限chmod+xclearspace.sh
编辑脚本内容：
touchtmpFile #建临时文件
sed's///g'$1>temFile #seds命令将空格替换重定向到临时文件
cattemFile>$1 #覆盖原文件
rm-ftemFile #删除临时文件
echo'OK,DONE!'
执行脚本./clearspace.shsouceFile
实例：
执行前：
查看原文件：catsource.txt
sfdasasdala;aslasj8
890asfdf22
223rfa23rfa
asdf929322sdf
23423r4sdk;
,.';ds
sadfwow
sas sd
执行
./clearspace.shsource.txt
OK,DONE!
执行之后查看结果：catsource.txt
sfdasasdala;aslasj8
890asfdf22
223rfa23rfa
asdf929322sdf
23423r4sdk;
,.';ds
sadfwow
sassd
8. UNIX shell中如何去掉字符串中的空格
使用String对象的方法replaceAll就可以了！ replaceAll(String regex, String replacement) 使用给定的 replacement 字符串替换此字符串匹配给定的正则表达式的每个子字符串。 示例代码： public class T3 { public static void main(String arg
9. SHELL脚本中怎么删除连续多个空行却保留一个。
试试这样：
sed'/^$/d'input|awk'{print$0"
"}'>output处理input文件。
首先用sed去掉所有空行，然后通过awk在逐行打印时再加上一个空行。
结果保存到output文件中。
10. shell trim 去掉字符串两边的空格，不去掉中间的 怎么做
先建脚本：clearspace.sh给脚本添加执行权限chmod+xclearspace.sh编辑脚本内容：touchtmpFile#建临时文件sed's/\//g'$1>temFile#seds命令将空格替换重定向到临时文件cattemFile>$1#覆盖原文件rm-ftemFile#删除临时文