21 KiB

Raw Blame History Unescape Escape

命令行的艺术

必读
基础
日常使用
文件及数据处理
系统调试
一行代码
冷门但有用
更多资源
免责声明
授权条款

$curl -s 'https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md' | egrep -o '\w+' | tr -d '`' | cowsay -W50$

熟练使用命令行是一种常常被忽视或被认为晦涩难懂,但实际上,它可以提高你作为工程师的灵活性以及生产力。本文是一份我在Linux上工作时发现的一些关于命令行的使用的小技巧的摘要。这些小技巧有基础的、相当复杂的甚至晦涩难懂的。这篇文章并不长,但当你能够熟练掌握这里列出的所有技巧时,你就学会了很多关于命令行的东西了。

这里的大部分内容首次出现于 Quora, 但考虑到这里的人们都具有学习的天赋且乐于接受别人的建议,使用Github来做这件事是更佳的选择。如果你在本文中发现了错误或者存在可以改善的地方,请果断提交Issue或Pull Request！(当然在提交前请看一下必读节和已有的issue/PR)。

必读

涵盖范围:

这篇文章对刚接触命令行的新手以及具有命令行使用经验的人都有用处。本文致力于做到覆盖面广(尽量包括一切重要的内容), 具体(给出最常见的具体的例子)以及简洁(避免一些不必要的东西以及一些偏题的可以在其他地方翻阅到文献的东西)。每个小技巧在某个特定情境下都是基本的或能够显著地节约时间。
本文为Linux所写,但很多内容(并非所有的)同样适用于MacOS甚至Cygwin。
本文关注于交互式Bash,尽管很多技巧适用于其他shell或Bash脚本。
本文包括了"标准的"Unix命令和需要安装特定包的命令,只要它们足够重要。

注意事项:

为了能在一页内展示尽量多的东西, 一些具体的信息会被间接的包含在引用页里。聪明机智的你如果掌握了使用 Google 搜索引擎的基本思路与命令, 那么你将可以查阅到更多的详细信息。使用 apt-get/yum/dnf/pip/brew 来安装新程序。
使用 Explainshell 去获取相关命令、参数、管道等内容的解释。

基础

学习Bash的基础知识。具体来说, 输入 man bash 并至少全文浏览一遍; 它很简单并且不长。其他的shell可能很好用,但Bash功能强大且几乎所有情况下都是可用的 ( 只学习 zsh, fish或其他的shell的话, 在你自己的电脑上会显得很方便, 但在很多情况下会限制你, 比如当你需要在服务器上工作时)。
学习并掌握至少一个基于文本的编辑器。通常 Vim (vi) 会是你最好的选择。
学会如何使用man命令去阅读文档。学会使用apropos去查找文档。了解有些命令并不对应可执行文件,而是Bash内置的,可以使用help和help -d命令获取帮助信息。
学会使用>和<来重定向输出和输入,学会使用|来重定向管道。了解标准输出stdout和标准错误stderr。
学会使用通配符* ( 若能?和{...}更好) 和引用以及引用中'和"的区别。
熟悉Bash任务管理工具: &, ctrl-z, ctrl-c, jobs, fg, bg, kill 等。
了解ssh, 以及基本的无密码认证, ssh-agent, ssh-add等。
学会基本的文件管理: ls 和 ls -l (了解ls -l中每一列代表的意义), less, head, tail和tail -f (甚至 less +F), ln and ln -s (了解软连接和硬连接的区别), chown, chmod, du (硬盘使用情况概述: du -sk *)。关于文件系统的管理,学习 df, mount, fdisk, mkfs。
学习基本的网络管理: ip 或 ifconfig, dig。
熟悉正则表达式,以及grep/egrep里不同参数的作用,例如-i, -o, -A,和 -B。
学会使用apt-get, yum, 或dnf (取决于你使用的Linux发行版)来查找或安装包。确保你的环境中有 pip 来安装基于Python的命令韩工具 (部分程序使用pip来安装会很简单)。

日常使用

在Bash中,可以使用Tab自动补全参数,使用ctrl-r搜索命令行历史。
在Bash中,使用ctrl-w删除你键入的最后一个单词,使用ctrl-u删除整行,使用alt-b和alt-f按单词移动, 使用ctrl-k从光标处删除到行尾,使用ctrl-l清屏。键入man readline查看Bash中的默认快捷键,内容很多。例如alt-. 循环地移向前一个参数, 以及**alt-***展开通配符。
你喜欢的话,可以键入set -o vi来使用vi风格的快捷键。
键入history查看命令行历史记录。其中有许多缩写, 例如!$ (最后键入的参数)和!!(最后键入的命令),尽管通常被 ctrl-r和**alt-.**取代。
回到上一个工作路径: cd -
如果你输入命令的时候改变了注意,按下**alt-#**在行首添加#(将你输入的命令视为注释),并回车。这样做的话,之后你可以很方便的利用命令行历史回到你刚才输入到一半的命令。
使用xargs ( 或parallel)。他们非常给力。注意到你可以控制每行参数个数(-L)和最大并行数 (-P)。如果你不确定它们是否会按你想的那样工作,先使用xargs echo查看一下。此外, 使用-I{}会很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

pstree -p有助于展示进程树。
使用pgrep和pkill根据名字查找进程或发送信号。
了解你可以发往进程的信号的种类。比如,使用kill -STOP [pid]停止一个进程。使用man 7 signal查看详细列表。
使用nohup或disown使一个后台进程持续运行。
使用netstat -lntp或ss -plat检查哪些进程在监听端口(默认是检查TCP端口; 使用参数-u检查UDP端口)。
有关打开套接字和文件,请参阅lsof。
在Bash脚本中,使用set -x去调试输出,尽可能的使用严格模式,使用set -e令脚本在发生错误时退出而不是继续运行,使用set -o pipefail严谨地对待错误(尽管问题可能很微妙)。当牵扯到很多脚本时, 使用trap。
在Bash脚本中,子shell(使用括号(...))是一种便捷的方式去组织参数。一个常见的例子是临时地移动工作路径,代码如下：

      # do something in current dir
      (cd /some/other/dir && other-command)
      # continue in original dir

在Bash中, 注意到其中有许多形式的扩展。检查变量是否存在: ${name:?error message}。例如, 当Bash脚本需要一个参数时, 可以使用这样的代码input_file=${1:?usage: $0 input_file}。数学表达式: i=$(( (i + 1) % 5 ))。序列: {1..10}。截断字符串: ${var%suffix}和${var#prefix}。例如,假设var=foo.pdf, 那么echo ${var%.pdf}.txt将输出foo.txt。
通过使用<(some command)可以将输出视为文件。例如, 对比本地文件/etc/hosts和一个远程文件:

      diff /etc/hosts <(ssh somehost cat /etc/hosts)

了解Bash中的"here documents", 例如cat <<EOF ...。
在Bash中,同时重定向标准输出和标准错误,some-command >logfile 2>&1。通常,为了保证命令不会在标准输入里残留一个打开了的文件句柄导致你当前所在的终端无法操作,添加</dev/null是一个好习惯。
使用man ascii查看具有十六进制和十进制值的ASCII表。man unicode, man utf-8,以及 man latin1 有助于你去了解通用的编码信息。
使用screen或tmux来使用多个屏幕, 当你在使用ssh时(保存session信息)将尤为有用。另一个轻量级的解决方案是dtach。
ssh中, 了解如何使用-L或-D(偶尔需要用-R)去开启隧道是非常有用的,例如当你需要从一台远程服务器上访问web。
对ssh设置做一些小优化可能是很有用的,例如这个~/.ssh/config文件包含了防止特定环境下断开连接、压缩数据、多通道等选项：

      TCPKeepAlive=yes
      ServerAliveInterval=15
      ServerAliveCountMax=6
      Compression=yes
      ControlMaster auto
      ControlPath /tmp/%r@%h:%p
      ControlPersist yes

部分其他的关于ssh的选项是安全敏感且应当小心启用的。例如在可信任的网络中: StrictHostKeyChecking=no, ForwardAgent=yes
获取文件的八进制格式权限,使用类似如下的代码：

      stat -c '%A %a %n' /etc/timezone

使用percol可以交互式地从另一个命令输出中选取值。
使用fpp(PathPicker)可以与基于另一个命令(例如git)输出的文件交互。
将web服务器上当前目录下所有的文件(以及子目录)暴露给你所处网络的所有用户,使用： python -m SimpleHTTPServer 7777 (使用端口7777和Python 2)或python -m http.server 7777 (使用端口7777和Python 3)。

文件及数据处理

在当前路径下通过文件名定位一个文件,find . -iname '*something*'(或类似的)。在所有路径下通过文件名查找文件,使用 locate something (但请记住updatedb可能没有对最近新建的文件建立索引)。
使用ag在源或文件里检索(比grep -r更好)。
将HTML转为文本: lynx -dump -stdin
Markdown, HTML, 以及所有文档格式之间的转换, 试试 pandoc。
如果你不得不处理XML, xmlstarlet宝刀未老。
使用jq处理json。
Excel或CSV文件的处理, csvkit提供了in2csv, csvcut, csvjoin, csvgrep等工具。
关于Amazon S3, s3cmd很方便而s4cmd更快。Amazon官方的aws是其他AWS相关工作的基础。
了解如何使用sort和uniq,包括uniq的-u参数和-d参数,详见后文one-liners。
了解如何使用cut,paste和join来更改文件。大部分人都会使用cut但忘了join。
了解如何运用wc去计算新行数(-l), 字符数(-m),单词数(-w)以及字节数(-c)。
了解如何使用tee将标准输入复制到文件甚至标准输出,例如ls -al | tee file.txt。
了解语言环境对许多命令行工具的微妙影响,包括排序的顺序和性能。大多数Linux的安装过程会将LANG或其他有关的变量设置为符合本地的设置。意识到当你改变语言环境时,排序的结果可能会改变。明白国际化可能会时sort或其他命令运行效率下降许多倍。某些情况下(例如集合运算)你可以放心的使用export LC_ALL=C来忽略掉国际化并使用基于字节的顺序。
了解awk和sed关于数据的简单处理的用法。例如, 将文本文件中第三列的所有数字求和: awk '{ x += $3 } END { print x }'. 这可能比同等作用的Python代码块三倍且代码量少三倍。
替换一个或多个文件中出现的字符串:

      perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt

依据某种模式批量重命名多个文件,使用rename。对于复杂的重命名规则,repren或许有帮助。

      # Recover backup files foo.bak -> foo:
      rename 's/\.bak$//' *.bak
      # Full rename of filenames, directories, and contents foo -> bar:
      repren --full --preserve-case --from foo --to bar .

使用shuf从一个文件中随机选取行。
了解sort的参数。明白键的工作原理(-t和-k)。例如,注意到你需要-k1,1来仅按第一个域来排序,而-k1意味着按整行排序。
稳定排序(sort -s)在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用sort -k1,1 | sort -s -k2,2
如果你想在Bash命令行中写tab制表符,按下ctrl-v [Tab] 或键入$'\t'(后者可能更好,因为你可以复制粘贴它)。
标准的源代码对比及合并工具是diff和patch。使用diffstat查看变更总览数据。注意到diff -r对整个文件夹有效。使用diff -r tree1 tree2 | diffstat查看变更总览数据。
对于二进制文件,使用hd使其以十六进制显示以及使用bvi来编辑二进制。
同样对于二进制文件,使用strings(包括grep等等)允许你查找一些文本。
二进制文件对比(Delta压缩),使用xdelta3。
使用iconv更改文本编码。而更高级的用法,可以使用uconv,它支持一些高级的Unicode功能。例如,这条命令将所有元音字母转为小写并移除了:

      uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt

拆分文件,查看split(按大小拆分)和csplit(按模式拆分)。
使用zless, zmore, zcat和zgrep对压缩过的文件进行操作。

系统调试

curl和curl -I可以便捷地被应用于web调试中,它们的好兄弟wget也可以,或者是更潮流的httpie。
使用iostat、netstat、top (htop更佳) 和dstat去获取硬盘、cpu和网络的状态。熟练掌握这些工具可以使你快速的对系统的当前状态有一个大概的认识。
若要对系统有一个深度的总体认识, 使用glances。它在一个终端窗口中向你提供一些系统级的数据。这对于快速的检查各个子系统非常有帮助。
若要了解内存状态,运行并理解free和vmstat的输出。尤其注意"cached"的值,它指的是Linux内核用来作为文件缓存的内存大小,因此它与空闲内存无关。
Java系统调试则是一件截然不同的事,一个可以用于Oracle的JVM或其他JVM上的调试的小技巧是你可以运行kill -3 <pid>同时一个完整的栈轨迹和堆概述(包括GC的细节)会被保存到标准输出/日志文件。
使用mtr去跟踪路由,用于确定网络问题。
用ncdu来查看磁盘使用情况,它比常用的命令,如du -sh *,更节省时间。
查找正在使用带宽的套接字连接或进程,使用iftop或nethogs。
ab工具(捆绑于Apache)可以简单粗暴地检查web服务器的性能。对于更复杂的负载测试,使用siege。
wireshark,tshark和ngrep可用于复杂的网络调试。
了解strace和ltrace。这俩工具在你的程序运行失败、挂起甚至崩溃,而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意profile参数(-c)和附加到一个运行的进程参数 (-p)。
了解使用ldd来检查共享库。
了解如何运用gdb连接到一个运行着的进程并获取它的堆栈轨迹。
学会使用/proc。它在调试正在出现的问题的时候有时会效果惊人。比如: /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/xxx/smaps。
当调试一些之前出现的问题的时候,sar非常有用。它展示了cpu、内存以及网络等的历史数据。
关于更深层次的系统分析以及性能分析,看看stap (SystemTap), perf, 以及sysdig。
查看你当前使用的Linux发型版(大部分发行版有效): lsb_release -a
无论什么东西工作得很欢乐时试试dmesg(可能是硬件或驱动问题)。

一行代码

一些命令组合的例子:

当你需要对文本文件做集合交、并、差运算时,结合使用sort/uniq很有帮助。假设a与b是两内容不同的文件。这种方式效率很高, 并且在小文件和上G的文件上都能运用 (sort不被内存大小约束,尽管在/tmp在一个小的根分区上时你可能需要-T参数),参阅前文中关于LC_ALL和sort的-u参数的部分。

      cat a b | sort | uniq > c   # c is a union b
      cat a b | sort | uniq -d > c   # c is a intersect b
      cat a b b | sort | uniq -u > c   # c is set difference a - b

使用grep . *来阅读检查目录下所有文件的内容,例如检查一个充满配置文件的目录比如/sys、/proc、/etc。
计算文本文件第三列中所有数的和(可能比同等作用的Python代码块三倍且代码量少三倍):

      awk '{ x += $3 } END { print x }' myfile

如果你想在文件树上查看大小\日期,这可能看起来像递归版的ls -l但比ls -lR更易于理解:

      find . -type f -ls

尽可能的使用xargs或parallel。。注意到你可以控制每行参数个数(-L)和最大并行数 (-P)。如果你不确定它们是否会按你想的那样工作,先使用xargs echo查看一下。此外, 使用-I{}会很方便。例如:

      find . -name '*.py' | xargs grep some_function
      cat hosts | xargs -I{} ssh root@{} hostname

假设你有一个类似于web服务器日志文件的文本文件,并且一个确定的值只会出现在某些行上,假设一个acct_id参数在URI中。如果你想计算出每个acct_id值有多少次请求,使用如下代码:

      cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn

运行这个函数从这篇文档中随机获取一条小技巧(解析Markdown文件并抽取项目):

      function taocl() {
        curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
          pandoc -f markdown -t html |
          xmlstarlet fo --html --dropdtd |
          xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
          xmlstarlet unesc | fmt -80
      }

冷门但有用

expr: 计算表达式或正则匹配
m4: 简单地宏处理器
yes: 多次打印字符串
cal: 漂亮的日历
env: 执行一个命令(脚本文件中很有用)
look: 查找以特定字符串开头的单词
cut、paste和join: 数据修改
fmt: 格式化文本段落
pr: 将文本格式化成页/列形式
fold: 包裹文本中的几行
column: 将文本格式化成多列或表格
expand和unexpand: 制表符与空格之间转换
nl: 添加行号
seq: 打印数字
bc: 计算器
factor: 分解因数
gpg: 加密并签名文件
toe: terminfo entries列表
nc: 网络调试及数据传输
socat: 套接字代理,与netcat类似
slurm: 网络可视化
dd: 文件或设备间传输数据
file: 确定文件类型
tree: 以树的形式显示路径和文件,类似于递归的ls
stat: 文件信息
tac: 反向输出文件
shuf: 文件中随机选取几行
comm: 一行一行的比较排序过的文件
hd和bvi: 保存或编辑二进制文件
strings: 从二进制文件中抽取文本
tr: 转换字母
iconv或uconv: 简易的文件编码
split 和csplit: 分割文件
units: 将一种计量单位转换为另一种等效的计量单位(参阅/usr/share/units/definitions.units)
7z: 高比例的文件压缩
ldd: 动态库信息
nm: 提取obj文件中的符号
ab: 性能分析web服务器
strace: 系统调用调试
mtr: 更好的网络调试跟踪工具
cssh: 可视化的并发shell
rsync: 通过ssh同步文件和文件夹
wireshark和tshark:抓包和网络调试工具
ngrep: 网络层的grep
host和dig: DNS查找
lsof: 列出当前系统打开文件的工具以及查看端口信息
dstat: 系统状态查看
glances: 高层次的多子系统总览
iostat: CPU和硬盘状态
htop: top的加强版
last: 登入记录
w: 查看处于登录状态的用户
id: 用户/组ID信息
sar: 系统历史数据
iftop或nethogs: 套接字及进程的网络利用
ss: 套接字数据
dmesg: 引导及系统错误信息
hdparm: SATA/ATA磁盘更改及性能分析
lsb_release: Linux发行版信息
lshw: 硬件信息
fortune,ddate和sl: 额,这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否"有用"

免责声明

除去特别微小的任务,记录下这些代码以便他人查看。责任往往伴随着能力,可以做并不意味着应该做。

授权条款

本文使用授权协议 Creative Commons Attribution-ShareAlike 4.0 International Licene。

21 KiB Raw Blame History Unescape Escape