189 8069 5689
在Linux系统中，curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载操作，是综合传输工具，习惯上称url为下载工具。下面就日常运维中基于curl命令使用做下总结
成都创新互联长期为数千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为城东企业提供专业的成都网站制作、成都网站建设，城东网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。
一、Curl命令用法
1. curl语法和参数选项
# curl [option] [url]
curl常见参数
2. curl使用说明
curl是一种命令行工具，作用是发出网络请求，然后得到和提取数据，显示在"标准输出"（stdout）上面。它支持多种协议，下面说下curl命令的日常使用示例：
3. curl上传文件的用法（POST请求方式）
一般来说，我们都会用curl下载网页，但是curl上传文件则不常用。下面说下curl模拟"multipart/form-data"形式的form上传文件, 命令稍稍复杂些。
4. curl常用示例
5. curl命令的超时时间
二、Curl的GET、POST、PUT、DELETE请求
1. GET、POST、PUT、DELETE含义与区别
2. GET、POST、PUT、DELETE四种请求方式的curl访问
就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)看目录信息等等
常用参数搭配：
实例：
(changeDirectory),命令语法：cd [目录名]。说明：切换当前目录至dirName
实例：
查看当前工作目录路径
实例：
创建文件夹
实例：
删除一个目录中的一个或多个文件或目录，如果没有使用- r选项，则rm不会删除目录。如果使用rm 来删除文件，通常仍可以将该文件恢复原状
rm [选项] 文件…
常用参数搭配：
实例：
删除空目录，一个目录被删除之前必须是空的。（注意，rm -r dir 命令可以代替rmdir,但是很危险，万一它突然就不是空的咧？），另外删除某目录时必须具有对父目录的写权限。
实例：
rmdir -p watch/avi删掉avi目录，watch目录就空掉了，那还看什么？所以干脆把watch目录一起删掉，眼不见为不净嘛。
mv命令是move的缩写，可以用来移动文件或者将文件改名，是Linux系统下常用的命令，经常用来备份文件或者目录。
命令功能：
视mv命令中第二个参数类型的不同（是目标文件还是目标目录），mv命令将文件重命名或将其移至一个新的目录中。当第二个参数类型是文件时，mv命令完成文件重命名，此时，源文件只能有一个（也可以是源目录名），它将所给的源文件或目录重命名为给定的目标文件名。当第二个参数是已存在的目录名称时，源文件或目录参数可以有多个，mv命令将各参数指定的源文件均移至目标目录中。在跨文件系统移动文件时，mv先拷贝，再将原有文件删除，而链至该文件的链接也将丢失。
命令参数：
实例：
将源文件复制至目标文件，或将多个源文件复制至目标目录。
注意：命令行复制，如果目标文件已经存在会提示是否覆盖，而在shell脚本中，如果不加-i参数，则不会提示，而是直接覆盖！
命令参数：
实例：
cat主要有三大功能：
命令参数：
实例：
功能类似于cat, more会以一页一页的显示方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示
命令参数：
常用操作命令：
实例：
less 与 more 类似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动，而且 less 在查看之前不会加载整个文件。
命令参数:
实例：
head 用来显示档案的开头至标准输出中，默认head命令打印其相应文件的开头10行。
常用参数：
实例：
从指定点开始将文件写到标准输出。使用tail命令的-f选项可以方便的查阅正在改变的日志文件，tail -f filename会把filename里最尾部的内容显示在屏幕上，并且不断刷新，使你看到最新的文件内容。
常用参数：
实例：
用于改变linux系统文件或目录的访问权限。该命令有两种用法。一种是包含字母和操作符表达式的文字设定法；另一种是包含数字的数字设定法。
每一文件或目录的访问权限都有三组，每组用三位表示，分别为文件属主的读、写和执行权限；与属主同组的用户的读、写和执行权限；系统中其他用户的读、写和执行权限。可使用ls -l test.txt查找。
以文件log2012.log为例：
-rw-r--r-- 1 root root 296K 11-13 06:03 log2012.log
第一列共有10个位置，第一个字符指定了文件类型。在通常意义上，一个目录也是一个文件。如果第一个字符是横线，表示是一个非目录的文件。如果是d，表示是一个目录。从第二个字符开始到第十个共9个字符，3个字符一组，分别表示了3组用户对文件或者目录的权限。权限字符用横线代表空许可，r代表只读，w代表写，x代表可执行。
常用参数：
权限范围：
权限代号：
实例：
tar命令是类Linux中比价常用的解压与压缩命令。
常用参数：
-c: 建立压缩档案
-x：解压
-t：查看内容
-r：向压缩归档文件末尾追加文件
-u：更新原压缩包中的文件
这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。
下面的参数-f是必须的
常见解压/压缩命令
chown将指定文件的拥有者改为指定的用户或组，用户可以是用户名或者用户ID；组可以是组名或者组ID；文件是以空格分开的要改变权限的文件列表，支持通配符。
常用参数：
实例：
显示磁盘空间使用情况。获取硬盘被占用了多少空间，目前还剩下多少空间等信息，如果没有文件名被指定，则所有当前被挂载的文件系统的可用空间将被显示。默认情况下，磁盘空间将以 1KB 为单位进行显示，除非环境变量 POSIXLY_CORRECT 被指定，那样将以512字节为单位进行显示。
常用参数：
实例：
du命令也是查看使用空间的，但是与df命令不同的是，du能看到的文件只是一些当前存在的，没有被删除的，他计算的大小就是当前他认为存在的所有文件大小的累加和。du命令是对文件和目录磁盘使用的空间的查看。
常用参数：
实例：
ln命令用于将一个文件创建链接,链接分为软链接和硬链接，命令默认使用硬链接。当在不同目录需要该文件时，就不需要为每一个目录创建同样的文件，通过ln创建的链接（link）减少磁盘占用量。
软链接：
硬链接:
需要注意：
常用参数：
实例：
显示或设定系统的日期与时间
命令参数：
实例：
可以用户显示公历（阳历）日历，如只有一个参数，则表示年份(1-9999)，如有两个参数，则表示月份和年份。
常用参数：
实例：
强大的文本搜索命令，grep(Global Regular Expression Print)全局正则表达式搜索。
grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响原文件内容。
命令格式：
grep [option] pattern file|dir
常用参数：
实例：
wc(word count)功能为统计指定的文件中字节数、字数、行数，并将统计结果输出。
命令格式：
wc [option] file..
命令参数：
实例：
ps(process status)，用来查看当前运行的进程状态，一次性查看，如果需要动态连续结果使用top。
linux上进程有5种状态:
ps工具标识进程的5种状态码：
命令参数：
实例：
显示当前系统正在执行的进程的相关信息，包括进程ID、内存占用率、CPU占用率等。
常用参数：
发送指定的信号到相应进程。不指定型号将发送SIGTERM（15）终止指定进程。如果无法终止该程序可用“-KILL” 参数，其发送的信号为SIGKILL(9) ，将强制结束进程，使用ps命令或者jobs 命令可以查看进程号。root用户将影响用户的进程，非root用户只能影响自己的进程。
常用参数：
实例：
显示系统内存使用情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。
命令参数：
实例：
Netstat 是一款命令行工具，可用于列出系统上所有的网络套接字连接情况，包括 tcp, udp 以及 unix 套接字，另外它还能列出处于监听状态（即等待接入请求）的套接字。如果你想确认系统上的 Web 服务有没有起来，你可以查看80端口有没有打开。以上功能使 netstat 成为网管和系统管理员的必备利器。
命令参数：
实例
快照功能：记录当前的硬盘的状态。刚建快照时快照占用内存为0，标记了当前硬盘的存储状态。当虚拟机对快照标记的内容改写时，会将改写的内容存储进快照，与未改写的部分整合得到完整的快照。当快照标记的部分被完全改写，那么快照存储空间完整记录了当时拍摄时的内存状态。
参数形式
第一种：参数用一横的说明后面的参数是字符形式。
第二种：参数用两横的说明后面的参数是单词形式。
第三种：参数前有横的是 System V风格。
第四种：参数前没有横的是 BSD风格。
cat、more、less、head、tail命令的比较：
cat命令可以一次显示整个文件，如果文件比较大，使用不是很方便；
more命令可以让屏幕在显示满一屏幕时暂停，按空格往前翻页，按b往后翻页。
less命令也可以分页显示文件，和more命令的区别就在于： 支持上下键卷动屏幕、查找；不需要在一开始就读取整个文件，打开大文件时比more、vim更快。
head命令用于查看文件的前n行。
tail命令用于查看文件的后n行，加上-f命令，查看在线日志非常方便，可以打印最新增加的日志。
一般模式：
编辑模式：
命令模式：
编码
多行操作(列编辑模式)
插入：ctrl+v进入列编辑模式，上下移动光标选择需要插入的位置，然后输入大写I，输入需要文本，最后按esc键退出，就会发现文本会在选择的多行中插入。
删除：ctrl+v进入列编辑模式，上下移动光标选中需要删除的部分，然后按d，就会删除选中的内容。
①head：显示文件头部内容
②tail：输出文件尾部内容
注意：用vim和vi修改内容会删除源文件并生成新文件，所以tail -f会失效。需要用到
追加和覆盖语句（或），才能被tail -f监视到。
一般用于查看小文件
查看压缩文件中的文本内容
例：
①more：文件内容分屏查看器
②less：分屏显示文件内容，效率比more高
1、简单读取
运行脚本如下
测试结果为：
2、-p 参数，允许在 read 命令行中直接指定一个提示。
运行脚本如下
测试结果为：
echo [选项] [输出内容] （输出内容到控制台）
输出给定文本的sha256加密后的内容
①显示当前时间信息
②显示当前时间年月日
③显示当前时间年月日时分秒
④显示昨天
⑤显示明天时间
⑥显示上个月时间
需要注意的是取下个月的命令存在bug，执行如下命令会得到21-10，但是正常应该得到21-09，需要注意
date -d "2021-08-31 +1 month" +%y-%m
⑦修改系统时间
⑧获取当前时间戳
获取秒时间戳： date +%s
获取毫秒时间戳：$[ (date +%s%N) /1000000]
查看日历
（1）查看当前月的日历
（2）查看2017年的日历
例：
对比gzip/gunzip，zip/unzip可以压缩文件和目录且保留源文件。
①zip：压缩
②unzip：解压缩
只能压缩文件不能压缩目录，不保留原来的文件。
gzip 文件 （只能将文件压缩为*.gz文件）
gunzip 文件.gz （解压缩文件命令）
例： crontab -e
（1）进入crontab编辑界面。会打开vim编辑你的工作。
（2）每隔1分钟，向/root/bailongma.txt文件中添加一个11的数字
*/1 * * * * /bin/echo ”11” /root/bailongma.txt
（3）可以用tail -f 目标文件来实施监控追加的内容
查看日志
可以用tail -f /var/log/cron.log观察
Cron表达式见文章：
ls [选项] [目录或是文件]
cd [参数]
例： cd -P $(dirname $p1) ； pwd 先跳转到文件的所在目录，再打印$p1文件的实际路径
概述
①cp（copy）：只能在本机中复制
②scp（secure copy）：可以复制文件给远程主机
scp -r test.sh hxr@hadoop102:/root
③rsync（remote sync）：功能与scp相同，但是不会改文件属性
rsync -av test.sh test.sh hxr@hadoop102:/root
④nc（netcat）：监听端口，可以实现机器之间传输文件。
nc -lk 7777 (-l表示listen，-k表示keep)
强制覆盖不提示的方法：\cp
例：scp -r test.sh hxr@bigdata1:/root
例：rsync -av test.sh hxr@bigdata1:/root
例：
nc -lp 10000 nc_test.txt
nc -w 1 hadoop102 nc_test.txt
远程登录时默认使用的私钥为~/.ssh/id_rsa
生成密钥对
将公钥发送到本机
将密钥发送到需要登录到本机的服务器上
修改密钥的权限
远程登陆
如果有多个节点需要远程登陆，可以在.ssh下创建config并输入
再次登陆
①正向代理：
②反向代理：
所谓“反向代理”就是让远端启动端口，把远端端口数据转发到本地。
HostA 将自己可以访问的 HostB:PortB 暴露给外网服务器 HostC:PortC，在 HostA 上运行：
那么链接 HostC:PortC 就相当于链接 HostB:PortB。
使用时需修改 HostC 的 /etc/ssh/sshd_config 的一条配置如下，不然启动的进程监听的ip地址为127.0.0.1，即只有本机可以访问该端口。
相当于内网穿透，比如 HostA 和 HostB 是同一个内网下的两台可以互相访问的机器，HostC是外网跳板机，HostC不能访问 HostA，但是 HostA 可以访问 HostC。
那么通过在内网 HostA 上运行 ssh -R 告诉 HostC，创建 PortC 端口监听，把该端口所有数据转发给我（HostA），我会再转发给同一个内网下的 HostB:PortB。
同内网下的 HostA/HostB 也可以是同一台机器，换句话说就是 内网 HostA 把自己可以访问的端口暴露给了外网 HostC。
例： 比如在我的内网机192.168.32.244上有一个RabbitMQ的客户端，端口号为15672。现在我希望在外网上访问固定ip的云服务器chenjie.asia的6009端口，通过跳板机192.168.32.243来转发请求到192.168.32.244:15672，从而实现在外网访问内网服务的功能，即内网穿透。
①在192.168.32.244上启动RabbitMQ服务
②将chenjie.asia云服务器的私钥复制到跳板机192.168.32.243的~/.ssh下，并重命名为id_rsa。通过如下命令看是否可以远程登陆到云服务，可以登陆则进行下一步。
③修改chenjie.asia服务器的ssh配置文件 /etc/ssh/sshd_config ，允许其他节点访问
然后重启sshd服务
④在跳板机192.168.32.243启动ssh反向代理
这个进程在关闭session时会停止，可以添加启动参数 -CPfN
例：
以 root 身份执行的程序有了所有特权，这会带来安全风险。Kernel 从 2.2 版本开始，提供了 Capabilities 功能，它把特权划分成不同单元，可以只授权程序所需的权限，而非所有特权。
例如：linux不允许非root账号只用1024以下的端口，使用root启动命令nginx，会导致nginx权限过高太危险。所以用setcap命令
sudo setcap cap_net_bind_service=+eip /bigdata/nginx/sbin/nginx
正确的关机流程为 ：sync shutdown reboot halt
（1）sync （功能描述：将数据由内存同步到硬盘中）
（2）halt （功能描述：关闭系统，等同于shutdown -h now 和 poweroff）
（3）reboot （功能描述：就是重启，等同于 shutdown -r now）
（4）shutdown [选项] [时间]
安装
yum install -y telnet-server telnet
ls -i 显示文件的节点号
find -inum 节点号 -delete 删除指定的节点即可删除对应的文件
启动一个服务： systemctl start postfix.service
关闭一个服务： systemctl stop postfix.service
重启一个服务： systemctl restart postfix.service
显示一个服务的状态： systemctl status postfix.service
在开机时启用一个服务： systemctl enable postfix.service
在开机时禁用一个服务： systemctl disable postfix.service
注：在enable的时候会打印出来该启动文件的位置
列出所有已经安装的服务及状态：
systemctl list-units
systemctl list-unit-files
查看服务列表状态:
systemctl list-units --type=service
查看服务是否开机启动： systemctl is-enabled postfix.service
查看已启动的服务列表： systemctl list-unit-files | grep enabled
查看启动失败的服务列表： systemctl --failed
查看服务日志： journalctl -u postfix -n 10 -f
命令类似systemctl，用于操作native service。
添加脚本为服务(需要指定启动级别和优先级)： chkconfig --add [脚本]
删除服务： chkconfig --del [脚本]
单独查看某一服务是否开机启动的命令 ： chkconfig --list [服务名]
单独开启某一服务的命令 ： chkconfig [服务名] on
单独关闭某一服务的命令： chkconfig [服务名] off
查看某一服务的状态： /etc/intd.d/[服务名] status
启用服务就是在当前"runlevel"的配置文件目录 /etc/systemd/system/multi-user.target.wants 里，建立 /usr/lib/systemd/system 里面对应服务配置文件的软链接；禁用服务就是删除此软链接，添加服务就是添加软连接。
su 用户名称 （切换用户，只能获得用户的执行权限，不能获得环境变量）
su - 用户名称 （切换到用户并获得该用户的环境变量及执行权限）
echo $PATH 打印环境变量
设置普通用户具有root权限
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下 所示：
或者配置成采用sudo命令时，不需要输入密码
修改完毕，现在可以用hxr 帐号登录，然后用命令 sudo ，即可获得root权限进行操作。
以azkaban用户执行引号中的命令
gpasswd -d [username] [groupname] 将用户从组中删除
gpasswd -a [username] [groupname] 将用户加入到组中
用户组的管理涉及用户组的添加、删除和修改。组的增加、删除和修改实际上就是对 /etc/group文件的更新。
0首位表示类型 - 代表文件 d 代表目录 l 链接文档(link file)
三种特殊权限suid、sgid、sticky
例子:
变更文件权限方式一
例：chmod u-x,o+x houge.txt
变更文件权限方式二
例：chmod -R 777 /mnt/ 修改整个文件夹的文件权限
在linux中创建文件或者目录会有一个默认权限的，这个默认权限是由umask决定的（默认为0022）。umask设置的是权限的“补码”，而我们常用chmod设置的是文件权限码。一般在/etc/profile 、~/.bashprofile 或者 ~/.profile中设置umask值。
umask计算
如root用户的默认umask为0022(第一个0 代表特殊权限位，这里先不考虑)，创建的文件默认权限是644(即默认666掩上umask的022)，创建的目录是755(即默认777掩上umask的022)。
对于root用户的umask=022这个来说，777权限二进制码就是（111）（111）（111），022权限二进制码为（000）（010）（010）。
上面就是一个umask的正常计算过程，但是这样实在是太麻烦了。我们使用如下的简单的方法快速计算。
上面的这个方法计算是非常方便的， 为何得到奇数要+1呢？
文件的最大权限是666，都是偶数，你得到奇数，说明你的umask有奇数啊，读为4，写为2，都是偶数，说明你有执行权限的。
就按照上面的umask=023为例，在计算其他用户权限的时候6-3=3 ，6是读写，3是写和执行，其实应该是读写权限减去读权限的得到写权限的，相当于我们多减去了一个执行权限。所以结果加1。
umask修改
如果想单独修改某个文件夹的新建文件的权限，可以使用setfacl命令。
例：递归改变文件所有者和所有组 chown -R hxr:hxr /mnt
例：