分类 Linux 下的文章

linux的sed工具是十分强大的，能很容易的实现在某关键词的前一行或后一行增加内容。今天在批量修改tomcat的日志时就用到了该功能。

下文查找或替换参数中含有 ' 单引号的，可把sed的单引号改成双引号"

一、在某行的前一行或后一行添加内容
具休操作如下：

#匹配行前加
sed -i '/allow 361way.com/iallow www.361way.com' the.conf.file
#匹配行前后
sed -i '/allow 361way.com/aallow www.361way.com' the.conf.file

- 阅读剩余部分 -

把/usr/local/apache/conf下的所有conf的文件内容里含有【/usr/local/apache/htdocs】，改为【/data/wwwroot】。具体操作如下：

#sed -i “s/\/usr\/local\/apache\/htdocs/\/data\/wwwroot/g” `find . -name “*.conf” | xargs grep “/usr/local/apache/htdocs” -rl`

#或

#find . -type f -exec sed -i ‘s#/usr/local/apache/htdocs#/data/wwwroot#g’ {} \;

转载自
http://www.centoscn.com/CentosServer/www/2013/0728/705.html

刚刚收到警告通知，一台机器的宽带使用率异常。通过top和ps aux等却看不出异常用户，负载正常；且低于常规。通过iftop看到基本都是一个IP在发送数据出去，请求数据的IP（攻击IP）有十多个段，封锁了请求IP后。查了下这些IP是CloudFlare和百度云加速的，很明显是被CC但CloudFlare和百度云加速没过滤掉发送给后端了。

发送数据的IP（被攻击网站IP）是共享的，下面有很多网站，直接封这IP会导致这IP下的所有网站挂掉。所以只能找到具体被攻击的网站和用户进一步操作，一个个看明显是不可能的。

DirectAdmin 用户的每个网站都有单独的apache日记，我们可以根据这特性，把请求数据持续时间相对长、大的ip拿出来，对所有用户的网站日记进行过滤搜索。

[root@****** ~]# grep -c 141.101.98.211 /var/log/httpd/domains/*.log | grep -v :0

/var/log/httpd/domains/****1g.com.log:1
/var/log/httpd/domains/****1g.com.error.log:30
/var/log/httpd/domains/****xv.com.log:12266

[root@****** ~]# grep -c 162.158.88.52 /var/log/httpd/domains/*.log | grep -v :0
/var/log/httpd/domains/****xv.com.log:6385

只拿出2个IP就找到了，很明显的是：****xv.com，然后具体检查该网站日记，发现从凌晨1点30分开始，到50分拒绝百度加速的请求，其实封十几个段还只是部分，这之间GET请求量已经有35万多次了，请求的IP数量未统计，非常之多，尾巴也是特别随机定制为穿透百度CDN的。之后联系到该用户，要求马上把百度云加速CC防护开到最高。然后解除刚刚封锁的IP段恢复该CDN的正常请求。算是解决了。

也许会问为什么服务器本身不能做防护？这次是比较特殊的，用户使用CDN隐藏了后端真实IP，所以攻击者不能直接对我们进行攻击，而是请求CDN，最终导致宽带占用异常的是CDN的IP，同样我们也无法正确获取到攻击者的IP，也无法对真实攻击者ip进行屏蔽，当然有方案可以做到，但我们屏蔽并没有用，CDN还是会放行；除非获取到真实攻击IP后反扑。CDN很多在用，我们肯定是不能封的。即使制定规则丢弃CC请求返回301给CDN，结局也是一样的；因为请求不会因此停止和减少，会继续对301页面请求，因为量大，宽带占用率并不会下降。只能与用户共同处理该问题。

这里只列出比较常用的参数，详细的请查看man iptables

1、查看
iptables -nL --line-number

-L 查看当前表的所有规则，默认查看的是filter表，如果要查看NAT表，可以加上-t NAT参数
-n 不对ip地址进行反查，加上这个参数显示速度会快很多
-v 输出详细信息，包含通过该规则的数据包数量，总字节数及相应的网络接口
–line-number 显示规则的序列号，这个参数在删除或修改规则时会用到

2、添加
添加规则有两个参数：-A和-I。其中-A是添加到规则的末尾；-I可以插入到指定位置，没有指定位置的话默认插入到规则的首部。

当前规则：

[root@test ~]# iptables -nL --line-number
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 DROP all -- 192.168.1.1 0.0.0.0/0
2 DROP all -- 192.168.1.2 0.0.0.0/0
3 DROP all -- 192.168.1.4 0.0.0.0/0

添加一条规则到尾部：

[root@test ~]# iptables -A INPUT -s 192.168.1.5 -j DROP再插入一条规则到第三行，将行数直接写到规则链的后面：

[root@test ~]# iptables -I INPUT 3 -s 192.168.1.3 -j DROP查看：

[root@test ~]# iptables -nL --line-number
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 DROP all -- 192.168.1.1 0.0.0.0/0
2 DROP all -- 192.168.1.2 0.0.0.0/0
3 DROP all -- 192.168.1.3 0.0.0.0/0
4 DROP all -- 192.168.1.4 0.0.0.0/0
5 DROP all -- 192.168.1.5 0.0.0.0/0

可以看到192.168.1.3插入到第三行，而原来的第三行192.168.1.4变成了第四行。

3、删除

删除用-D参数

删除之前添加的规则（iptables -A INPUT -s 192.168.1.5 -j DROP）：

[root@test ~]# iptables -D INPUT -s 192.168.1.5 -j DROP有时候要删除的规则太长，删除时要写一大串，既浪费时间又容易写错，这时我们可以先使用–line-number找出该条规则的行号，再通过行号删除规则。

[root@test ~]# iptables -nv --line-number
iptables v1.4.7: no command specified
Try `iptables -h' or 'iptables --help' for more information.
[root@test ~]# iptables -nL --line-number
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 DROP all -- 192.168.1.1 0.0.0.0/0
2 DROP all -- 192.168.1.2 0.0.0.0/0
3 DROP all -- 192.168.1.3 0.0.0.0/0

删除第二行规则

[root@test ~]# iptables -D INPUT 24、修改

修改使用-R参数

先看下当前规则：

[root@test ~]# iptables -nL --line-number
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 DROP all -- 192.168.1.1 0.0.0.0/0
2 DROP all -- 192.168.1.2 0.0.0.0/0
3 DROP all -- 192.168.1.5 0.0.0.0/0

将第三条规则改为ACCEPT：

[root@test ~]# iptables -R INPUT 3 -j ACCEPT再查看下：

[root@test ~]# iptables -nL --line-number
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 DROP all -- 192.168.1.1 0.0.0.0/0
2 DROP all -- 192.168.1.2 0.0.0.0/0
3 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0

第三条规则的target已改为ACCEPT。

参考：http://yh.512876.com/diannao/462.html

MySQLTuner-perl 用Perl编写的脚本，可以检查当前MySQL的配置，并提出性能、稳定的优化设置建议。

MySQLTuner is a script written in Perl that allows you to review a MySQL installation quickly and make adjustments to increase performance and stability. The current configuration variables and status data is retrieved and presented in a brief format along with some basic performance suggestions.

mysqltuner

更多：http://mysqltuner.com/

早些时候，我们提到过有很多可以用来监视系统性能的 Linux 系统监视工具。 但我们估计，或许更多的用户会倾向与绝大多数 Linux 发行版都带的工具 （top 命令）。

top 命令是 Linux 下的一个实时任务管理器， 同时也是用于在 GNU/Linux 发行版中寻找系统性能方面的瓶颈，并帮助我们作出正确操作的常用系统监视工具。 她有着一个极为简洁的界面，并自带少量的可以帮助我们快速了解系统性能的实用选项。

但是，有些时候想要通过她寻找一个占用系统资源比较大的应用或进程可能会比较困难。 因为 top 命令本身并不会帮助我们高亮那些吃太多 CPU，内存，或者其他资源的程序。

为了达到这个目标，这里我们将介绍一款超牛逼的系统监视程序 —— Glances。 她可以自动高亮利用最高系统资源的程序，并为 Linux/Unix 服务器提供尽可能多的信息。

什么是 Glances？

Glances 是一个由 Python 编写，使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具。 通过 Glances，我们可以监视 CPU，平均负载，内存，网络流量，磁盘 I/O，其他处理器 和 文件系统 空间的利用情况。

Glances 是一个用来监视 GNU/Linux 和 FreeBSD 操作系统的 GPL 授权的自由软件。

Glances 同时也提供了很多实用的选项。 其中我们能够在配置文件见到的一项主要的功能就是设置关键值及相应的标签 （careful[小心], warning[警告] 和 critical[严重]）， 然后她会自动帮我们用不同颜色标出系统达到某个瓶颈的信息。

Glances 主要功能

CPU 信息 （用户的相关应用, 系统核心程序和空闲程序）
总内存信息，包括了物理内存，交换空间和空闲内存等等
之前的 1 分钟、5 分钟和 15 分钟平均的 CPU 负载
网络链接的下行和上行速度
处理器总数，以及其活动状态
硬盘 I/O 相关（读写）速度详情
当前挂载设备的磁盘使用情况
高 CPU 和内存使用的进程名，和相关应用的位置
在底部显示当前日期和时间
将消耗最高系统资源的进程用红色标出
下面是一个 Glances 的使用截图：

0000

在 Linux/Unix 系统中安装 Glances

虽然这个工具的发布比较晚，但你仍然可以在 Red Hat 系的系统中通过 EPEL 软件源安装。在终端用下面的命令安装：

对于 RHEL/CentOS/Fedora 发行版

# yum install -y glances
对于 Debian/Ubuntu/Linux Mint 发行版

$ sudo apt-add-repository ppa:arnaud-hartmann/glances-stable
$ sudo apt-get update
$ sudo apt-get install glances

如何使用 Glances

首先，你需要在终端中输入以下命令

# glances

b11-1024x562

按下 ‘q‘ （‘ESC‘ 和 ‘Ctrl-C‘ 也可以） 退出 Glances 终端。 这里是从 CentOS 6.5 截取的另一张截图：

b21-1024x563

Glances 的默认刷新频率是 1 （秒），但是你可以通过在终端指定参数来手动定义其刷新频率

# glances -t 2

Glances 中颜色的含义

Glances 会用一下几种颜色来代表状态：

绿色：OK（一切正常）
蓝色：CAREFUL（需要注意）
紫色：WARNING（警告）
红色：CRITICAL（严重）
阀值可以在配置文件中设置，一般阀值被默认设置为（careful=50、warning=70、critical=90）。

我们可以按照自己的需求在配置文件（默认在 /etc/glances/glances.conf）中自定义。

Glances 的选项

除了很多命令行选项之外，Glances 还提供了更多的可在其运行时开关输出信息选项的快捷键，下面是一些例子：

a – 对进程自动排序
c – 按 CPU 百分比对进程排序
m – 按内存百分比对进程排序
p – 按进程名字母顺序对进程排序
i – 按读写频率（I/O）对进程排序
d – 显示/隐藏磁盘 I/O 统计信息
f – 显示/隐藏文件系统统计信息
n – 显示/隐藏网络接口统计信息
s – 显示/隐藏传感器统计信息
y – 显示/隐藏硬盘温度统计信息
l – 显示/隐藏日志（log）
b – 切换网络 I/O 单位（Bytes/bits）
w – 删除警告日志
x – 删除警告和严重日志
1 – 切换全局 CPU 使用情况和每个 CPU 的使用情况
h – 显示/隐藏这个帮助画面
t – 以组合形式浏览网络 I/O
u – 以累计形式浏览网络 I/O
q – 退出（‘ESC‘ 和 ‘Ctrl&C‘ 也可以）

远程使用 Glances

你甚至也可以通过 Glances 来监视远程系统。 要在远程系统使用 ‘glances’，需要在服务器运行 ‘glances -s’（-s 启动服务器/客户端模式）命令。

# glances -s
Define the password for the Glances server
Password:
Password (confirm):
Glances server is running on 0.0.0.0:61209
注意：当你执行了‘glances’命令后，她会让你为 Glances 服务器设置密码。

当你设置完毕，你将看到 “Glances server is running on 0.0.0.0:61209” （Glances 服务器正在 0.0.0.0 的 61209 端口运行）的消息。

当 Glances 服务器启动后，到本地执行下面的命令来指定服务器IP地址或主机名以链接。

注：这里的 ‘172.16.27.56’ 是我 Glances 服务器的 IP 地址。

# glances -c -P 172.16.27.56
下面是一些在使用服务器/客户端模式时必须知道的事情：

* 在服务器模式，你可以通过 `-B 地址` 来设置绑定地址，也可以通过 `-p 端口` 来绑定监听的 TCP 端口
* 在客户端模式，你可以通过同样的 `-p 端口` 来指定服务器端口
* 默认的绑定地址是 0.0.0.0，但这么做会监听所有网络接口的指定端口
* 在服务器/客户端模式下，限制的阀值将由服务器的设置决定
* 你也可以在命令行下用过 `-P 密码` 的方式来为服务器端设置一个密码

总结

Glances 对于大多用户而言是个在系统资源上提供过多信息的工具。但是如果你是一个想要仅从命令行就能快速获取系统整体状况的系统管理员，那这个工具绝对是你的必备利器。

译者注

请不要将 glances（本文中的工具）和 glance（一个 OpenStack 的工具）这两个包搞混了
Ubuntu 官方 Extra 源中的 glances 因为 python 库移动的问题导致无法正常使用 但可以通过建立软链接的方式临时修复：sudo ln -s /usr/lib/python2.7/dist-packages/glances /usr/share/pyshared/glances

via: http://www.tecmint.com/glances-an-advanced-real-time-system-monitoring-tool-for-linux/

官网 http://htop.sourceforge.net/
安装：

yum install htop

# 如果以上无法安装；请登入官网下载，然后运行以下命令安装
yum install ncurses-devel
tar zxvf htop-*.tar.gz
cd htop-*
./configure
make && make install

#htop

htop

cpulimit 命令的工作原理是为进程预设一个 cpu 占用率门限，并实时监控进程是否超出此门限，若超出则让该进程暂停运行一段时间。cpulimit 使用 SIGSTOP 和 SIGCONT 这两个信号来控制进程。它不会修改进程的 nice 值，而是通过监控进程的 cpu 占用率来做出动态调整。

cpulimit 的优势是可以控制进程的cpu使用率的上限值。但与 nice 相比也有缺点，那就是即使 cpu 是空闲的，进程也不能完全使用整个 cpu 资源。

在 CentOS 上，可以用下面的方法来安装它：

wget -O cpulimit.zip https://github.com/opsengine/cpulimit/archive/master.zip
unzip cpulimit.zip
cd cpulimit-master
make
sudo cp src/cpulimit /usr/bin

上面的命令行，会先从从 GitHub 上将源码下载到本地，然后再解压、编译、并安装到 /usr/bin 目录下。

cpulimit 的使用方式和 nice 命令类似，但是需要用户使用 -l 选项显式地定义进程的 cpu 使用率上限值。举例说明：

cpulimit -l 50 matho-primes 0 9999999999 > /dev/null &

cpulimit

从上面的例子可以看出 matho-primes 只使用了50%的 cpu 资源，剩余的 cpu 时间都在 idle。

cpulimit 其他实例：

cpulimit -e httpd --limit 40 #限制httpd（进程名）的cpu使用率为40%
cpulimit -e /usr/local/bin/httpd --limit 40
cpulimit -p 2960 -l 55 #限制pid为2960的进程的CPU占用为55%

使用帮助：
Usage: cpulimit [OPTIONS...] TARGET
OPTIONS
-l, --limit=N percentage of cpu allowed from 0 to 3200 (required)
-v, --verbose show control statistics
-z, --lazy exit if there is no target process, or if it dies
-i, --include-children limit also the children processes
-h, --help display this help and exit
TARGET must be exactly one of these:
-p, --pid=N pid of the process (implies -z)
-e, --exe=FILE name of the executable program file or path name
COMMAND [ARGS] run this command and limit it (implies -z)

参考：https://linux.cn/article-4742-1.html

1) 文件内全部替换：

:%s#abc#123#g (如文件内有#，可用/替换,:%s/abc/123/g)
--注：把abc替换成123

(或者: %s/str1/str2/g 用str2替换文件中所有的str1）

2) 文件内局部替换：

:20,30s#abc#123(如文件内有#，可用/替换,:%s/abc/123/g)
--注：把20行到30行内abc替换成123

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. ...
  7. 11