分享平时工作中那些给力的shell命令

1.显示消耗内存/CPU最多的10个进程
ps aux | sort -nk +4 | tail
ps aux | sort -nk +3 | tail
——————————————————————————————————————————
2.查看Apache的并发请求数及其TCP连接状态
netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
 
——————————————————————————————————————————
3.找出自己最常用的10条命令及使用次数（或求访问最多的ip数）
sed -e ‘s/| /\n/g’ ~/.bash_history |cut -d ‘ ‘ -f 1 | sort | uniq -c | sort -nr | head
——————————————————————————————————————————
4.日志中第10个字段表示连接时间，求平均连接时间
cat access_log |grep “connect cbp” |awk ‘BEGIN{sum=0;count=0;}{sum+=$10;count++;}END{printf(“sum=%d,count=%d,avg=%f\n”,sum,count,
sum/count)}’
——————————————————————————————————————————
5.lsof命令
lsof abc.txt 显示开启文件abc.txt的进程
lsof -i :22 知道22端口现在运行什么程序
lsof -c abc 显示abc进程现在打开的文件
lsof -p 12 看进程号为12的进程打开了哪些文件
——————————————————————————————————————————
6.杀掉一个程序的所有进程
pkill -9 httpd
killall -9 httpd
注意尽量不用-9，数据库服务器上更不能轻易用kill，否则造成重要数据丢失后果将不堪设想。
——————————————————————————————————————————
7.rsync命令（要求只同步某天的压缩文件，而且远程目录保持与本地目录一致）
/usr/bin/rsync -azvR –password-file=/etc/rsync.secrets `find . -name “*$yesterday.gz” -type f ` [email protected]::logbackup/13.21/
——————————————————————————————————————————
8.把目录下*.sh文件改名为*.SH
find . -name “*.sh” | sed ’s/\(.*\)\.sh/mv \0 \1.SH/’ |sh
find . -name “*.sh” | sed ’s/\(.*\)\.sh/mv & \1.SH/’|sh （跟上面那个效果一样）
——————————————————————————————————————————
9.ssh执行远程的程序，并在本地显示
ssh -n -l zouyunhao 192.168.2.14 “ls -al /home/zouyunhao”
——————————————————————————————————————————
10. 直接用命令行修改密码
echo “zouyunhaoPassword” |passwd –stdin zouyunhao
——————————————————————————————————————————
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub user@remoteServer
——————————————————————————————————————————
12.以http方式共享当前文件夹的文件
$ python -m SimpleHTTPServer
在浏览器访问http://IP:8000/即可下载当前目录的文件。
——————————————————————————————————————————
13.shell段注释
:<<’echo hello,world!’
——————————————————————————————————————————
14.查看服务器序列号
dmidecode |grep “Serial Number” （查看机器其他硬件信息也可用这个命令）
——————————————————————————————————————————
15.查看网卡是否有网线物理连接
/sbin/mii-tool
——————————————————————————————————————————
16.查看linux系统或者mysql错误码表示的意思，如查看13错误码表示的意思：
perror 13
——————————————————————————————————————————
17.关于cpu个数
查看逻辑cpu个数：cat /proc/cpuinfo | grep “processor” | wc -l
查看物理cpu个数：cat /proc/cpuinfo | grep “physical id” | sort | uniq | wc -l
查看每个物理cpu的核数cores：cat /proc/cpuinfo | grep “cpu cores”
如果所有物理cpu的cores个数加起来小于逻辑cpu的个数，则该cpu使用了超线程技术。查看每个物理cpu中逻辑cpu的个数：cat /proc/cpuinfo | grep “siblings”
 
——————————————————————————————————————————
18.从格式不规范的日志中截取字符串
perl -ne ’print “$1\n” if /servletPath=(\S+)/g’ test.log
——————————————————————————————————————————
19. 把所有的文件名含有空格的，把空格去掉
find ./ -type f | while read line;do echo $line|grep -q " " && \mv "$line" $(echo $line|sed 's/ //g');done
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
20.把所有的文件夹的文件名含有空格的，把空格去掉 
find ./ -type d -name '*'|while read file; do echo $file|grep -q " " && mv "$file" $(echo $file|tr -d ' '); done
 
当文件名的末尾以空格结束时，就不能用命令行来实现，需要使用脚本：
 
#!/bin/bash
IFS=$'\n'
find ./ -type f | while read line;do echo $line|grep -q " " && \mv "$line" $(echo $line|sed 's/ //g');done
 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
 
21.生成随机字符串：
 
# tr -dc _A-Z-a-z#$%^*-0-9 </dev/urandom |head -c8
chgSh^eJ
或者
# mkpasswd -l 8 -d 1 -c 3 -C 2 -s 2
G_ze3Hto
 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
 
22.linux统计PCI插槽数量：
 
[root@vcdog ~]# dmidecode |grep -1 PCI
ISA is supported
PCI is supported
PC Card (PCMCIA) is supported
--
System Slot Information
Designation: PCI Slot J11
Type: 32-bit PCI
Current Usage: In Use
--
System Slot Information
Designation: PCI Slot J12
Type: 32-bit PCI
Current Usage: In Use
--
System Slot Information
Designation: PCI Slot J13
Type: 32-bit PCI
Current Usage: In Use
--
System Slot Information
Designation: PCI Slot J14
Type: 32-bit PCI
Current Usage: Available
 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
 
 
23. nmap探测远程主机的开放端口及操作系统:
# nmap -A -T4 192.168.1.28 //此处可以为主机名，域名，或主机IP地址
Starting Nmap 4.11 ( http://www.insecure.org/nmap/ ) at 2010-12-28 09:46 CST
Interesting ports on bogon (192.168.1.29):
Not shown: 1677 closed ports
PORT STATE SERVICE VERSION
135/tcp open msrpc Microsoft Windows RPC
139/tcp open netbios-ssn
445/tcp open microsoft-ds Microsoft Windows XP microsoft-ds
MAC Address: 70:5A:B6:09:45:FA (Unknown)
Device type: general purpose
Running: Microsoft Windows NT/2K/XP
OS details: Microsoft Widows XP SP2
Service Info: OS: Windows
 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
24.　linux下的文件去掉^M硬回车的方法：

（1）# cat test.txt |tr -d '^M' >test.new
（2）.# sed -i 's/^M//g' test.txt 
（3）# dos2unix test.txt 
（4）在vi中用:%s/^M//g
注意：这里的“^M”要使用“CTRL-V CTRL-M”生成，而不是直接键入“^M”。
 
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
25.删除文件中的所有空行：
1.使用awk方法如下：
[root@dg ~]# cat t.txt | awk -F '' '{if($1!=null) print $0}'
203.208.46.146 www.google.com
223.208.46.146 www.google.com
203.208.46.147 www.google.com.hk
203.208.46.132 clients1.google.com
203.208.46.149 mail.google.com
 
2.sed方法如下：
[root@dg ~]# sed '/^$/d' t.txt 
203.208.46.146 www.google.com
223.208.46.146 www.google.com
203.208.46.147 www.google.com.hk
203.208.46.132 clients1.google.com
203.208.46.149 mail.google.com
203.208.46.161 chatenabled.mail.google.com
 
3.awk方法如下：
[root@dg ~]# awk 'NF' t.txt 
203.208.46.146 www.google.com
223.208.46.146 www.google.com
203.208.46.147 www.google.com.hk
203.208.46.132 clients1.google.com
203.208.46.149 mail.google.com
203.208.46.161 chatenabled.mail.google.com
 
4.vim中删除空行如下：
:g/^$/d
203.208.46.146 www.google.com
223.208.46.146 www.google.com
203.208.46.147 www.google.com.hk
203.208.46.132 clients1.google.com
203.208.46.149 mail.google.com
203.208.46.161 chatenabled.mail.google.com
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
26.获取内存条TYPE和SPEED的信息：
 
#  dmidecode |grep -A 16 "Memory Device"|grep -E "Speed|Type"
        Type: DDR2 FB-DIMM
        Speed: 667 MHz (1.5 ns)
        Type: DDR2 FB-DIMM
        Speed: 667 MHz (1.5 ns)
        Type: DDR2 FB-DIMM
        Speed: 667 MHz (1.5 ns)
        Type: DDR2 FB-DIMM
        Speed: 667 MHz (1.5 ns)
        Type: DDR2 FB-DIMM
        Type: DDR2 FB-DIMM
        Type: DDR2 FB-DIMM
        Type: DDR2 FB-DIMM
=================================================================
（不断更新中...）