金融里ddos deflatee by是什么意思

先说一下deflate算法吧. &deflate是zip压缩文件的默认算法. & 其实deflate现在不光用在zip文件中, 在7z, xz等其他的压缩文件中都用. & 实际上deflate只是一种压缩数据流的算法. 任何需要流式压缩的地方都可以用. & & & & &
deflate 还有微型改进版本deflate64. “微型改进型” 这个名词是我发明的, 为什么这么说, 因为改进实在太小了, 而性能提高也非常小. 以至于大名鼎鼎的开源zlib库到现在都不支持deflate64. & & &
开始正题, 原文地址:&&&&,
&我尽量按照原文直译,但是有些地方实在没必要就简单意译了. 有想交流的童鞋欢迎访问我的独立博客留言交流:&
Deflate 算法的介绍
作者:&Antaeus Feldspar &&
在理解deflate之前, 先理解它的两个组成算法非常重要: Huffman 编码 和 LZ77压缩
Huffman 编码
Huffman编码是一种前缀编码, 你其实知道, 但你可能不觉得. 比如打电话时, 从拨号开始, 你按下一串号码, 或许是5781112 或者别的号码. 一串号码就就能到达另一部特定的电话. &(翻译: 这个比方太罗嗦,本来不想翻译过来的.)
(这一段就不翻译了,没有实际内容.)&Now suppose you’re in an office setting with an internal switchboard, as many large companies do. All other phones within the bank only require five numbers to dial, instead of seven — that’s because it’s expected that you’ll be calling those
numbers more often. You may still need to call other numbers, though — so all of those numbers have a `9′ added to the front.
…这就是前缀编码. 每一个你想要指定的元素都有一个由数字组成的代码. 由于每个代码都不可能是另外一个代码的前缀, 所以当你输入的时候,不会有歧义.
Huffman 编码是由一个特定算法生成的前缀编码. (翻译: 后面简单介绍如何生成Huffman编码, 都是教课书上的内容, 不翻译了, 自己看图, 直接跳过:)&Here, instead of each code being a series of numbers between 0 and 9, each code is a series of bits, either 0 or 1. Instead of each code representing a phone, each code represents
an element in a specific “alphabet” (such as the set of ASCII characters, which is the primary but not the only use of Huffman coding in DEFLATE).
A Huffman algorithm starts by assembling the elements of the “alphabet,” each one being assigned a “weight” — a number that represents its relative frequency within the data to be compressed. These weights may be guessed at beforehand, or they may be measured
exactly from passes through the data, or some combination of the two. In any case, the elements are selected two at a time, the elements with the lowest weights being chosen. The two elements are made to be leaf nodes of a node with two branches (I really
hope you know nodes and trees…) Anyway, suppose we had a set of elements and weights that looked like this:
We would pick D and E first, and make them branches of a single node — one being the `0′ branch, and one the `1′ branch.
…… (翻译中间省略无数废话, &都是在介绍怎么生成huffman树, 这个上过课的人都知道, 所以就不翻译了, 细节非常繁琐. 下面直接从 课本上没有的另一个算法 Lz77开始:)
LZ77 压缩&
LZ77压缩算法靠查找重复的序列. 这里使用术语:”滑动窗口”, 它的意思是:在任何的数据点上, 都记录了在此之前的字符. 32k的滑动窗口表示压缩器(解压器)能记录前32768个字符. 当下一个需要压缩的字符序列能够在滑动窗口中找到, 这个序列会被两个数字代替: 一个是距离,表示这个序列在窗口中的起始位置离窗口的距离, 一个是长度, 字符串的长度.
我觉得 看 比 说 更容易. 我们看看一些高压缩比的数据:
Blah blah blah blah blah!
字符流开始于: `B,’ `l,’ `a,’ `h,’ ` ,’ and `b.’ , 看看接下来的5个字符:
Blah blah blah blah blah!&
接下来的5个字符正好和已经在数据流中的字符串相等, 而且刚好在当前数据点的前5个字符开始. 在这个case中,我们可以在数据流中输出特殊的字符, 一个长度数字 和一个距离数字.&
目前数据是:&
Blah blah b&
压缩后的格式是:&
Blah b[D=5,L=5]&
压缩还能继续增加, 尽管要利用其全部的优势需要压缩器方面的智慧. 对比这两个相同的字符串, 对比它们各自的下一个字符,都是’l', 所以,我们可以把长度更新为6, 而不仅仅是5. 如果我们继续比较,发现下一个, 下下一个, 下下下一个都是一样的. 尽管前面的字符换已经延伸覆盖到了后面的字符串(需要压缩的字符串).&
最终我们发现, 有18个字符相等. 当我们解压的时候, 当读到长度和距离对时, 我们并不知道这18个字符将会是什么. 但是如果我们把已有的字符放回去, 我们就知道更多. 而这有会让更多的字符放回去, 或者知道任何长度大于距离的数据对都会不断的重复数据. 所以解压器就可以这样做.&
最终我们的高压缩性的数据能压缩成如下的样子:&
Blah b[D=5, L=18]!&
联合起来(翻译: 指的是把huffman编码和 lz77压缩算法联合起来用):&
deflate 压缩器在怎样压缩数据上有非常大的灵活性. 程序员必须处理设计聪明的算法所面临的问题以做出正确的选择. 但是压缩器的确有一些选择.&
压缩器有三种压缩模型:&
1. 不压缩数据, 对于已经压缩过的数据,这是一个明智的选择. 这样的数据会会稍稍增加, 但是会小于在其上再应用一种压缩算法.&
2. 压缩, 先用Lz77, 然后用huffman编码. 在这个模型中压缩的树是Deflate 规范规定定义的, 所以不需要额外的空间来存储这个树.&
3. 压缩, 先用LZ77, 然后用huffman编码. 压缩树是由压缩器生成的, 并与数据一起存储.
数据被分割成不同的块, 每个块使用单一的压缩模式. 如过压缩器要在这三种压缩模式中相互切换, 必须先结束当前的块, 重新开始一个新的块.
关于Lz77和huffman如何一起工作的细节需要更进一步的检查. 一旦原始数据被转换成了字符和长度距离对组成的串, 这些数据必须由huffman编码表示.&
尽管这不是一个标砖术语, 把开始读数据的点叫”拨号音”, 毕竟在我们的类推中, 拨号音的确是我们指定一个电话的的拨号的开始点. 所以我们把这个起始点叫”拨号音”. 在起始点之后, 只可能有三种元素能出现:字符, 长度距离对, 或者是块的结束标志. 因为我们必须能够区分它是什么. 所有可能的字符(字面量), 表示可能长度的区域, 以及特殊的块结束标记都被合并到同一个字母表中. 这个字母表就是huffman树的基础. 距离不需要包含在字母表中, 因为它只能出现在长度的后面. 一点字面量被解压, 或者长度距离对解压出来,
我们就开始了另一个拨号音, 重新开始读取. 当然,如果遇到块结束标志的话, 就会开始另外一个块,或者到达了压缩数据的末尾.&
长度或者距离的编码实际上可以是: 一个基地址,后面跟上额外的bits(整数的形式,表示基地址后面的偏移),
可能deflate规范中最难理解的部分就是当数据时被特殊的树压缩的时候, 树与数据一起的压缩方式.&
树 通过 编码长度(codelengths)来传输, 正如前面讨论的. 代码长度被全部放在一个由0到15之间的数字组成的序列中(huffman树种,代码长度必须不大于15, 这是最复杂部分, 而不是怎样约束元素的顺序).
并不是所有的元素都必须有一个代码长度. 如果字母表的最后的那些元素代码长度都是0, 他们能并且应该被忽略. 由于每个字母表中元素的个数都会被传输, 所以这两个字母表会被链接成单一的序列.
一旦编码长度序列组合完成, &它会被一种叫做 run-length 的压缩方式压缩. 当一行中的多个元素拥有一样的代码长度(常常是0) 的时候, 特殊的符号会用来表示这个长度的元素的个数. &现在这个序列式0到18之间的数字组成的了(可能带有额外的位组成修改基地址的值).
huffman 树就是为这个0到18的字母表创建的.
huffman树需要包含在数据中, 当然. &正如其他的huffman树一样, 它会被记录代码长度的形式包含进来. & 然而, 它们的顺序不是&0, 1, 2, 3, 4 … 16, 17, 18. 而是一个特殊的顺序:16, 17, 18, 0, 8, 7, 9, 6, 10, 5, 11, 4, 12, 3, 13, 2, 14, 1, 15. &这背后的逻辑是:越靠近序列末尾的代码,越可能是长度为0. 如果它们的确是0, 就能被省略掉. 直接记录的元素的个数也会包含在数据中.
这些就是我觉得在deflate 规范中的难点. 多花时间读规范,应该能帮助了解. 有任何别的问题请联系:&- Antaeus Feldspar ( )
&&相关文章推荐
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
访问:158732次
积分:3353
积分:3353
排名:第9475名
原创:88篇
转载:508篇
译文:12篇
(24)(34)(7)(18)(42)(57)(52)(25)(12)(26)(52)(56)(108)(98)(1)防止ddos攻击软件DDoS-Deflate 的安装和使用
环境:Centos 6.5 X64
测试完成日期为 by evan.li
1.安装 DDoS deflate
[root@host ]# wget /scripts/d/install.sh
[root@host ]# chmod 0700 install.sh
[root@host ]# ./install.sh
//弹出版权信息后,在SSH下键入 q , 即可退出版权信息。
2.配置 DDoS deflate .
[root@host ]# vi /usr/local/ddos/ddos.conf
##### Paths of the script and other files
PROGDIR=&/usr/local/ddos&
PROG=&/usr/local/ddos/ddos.sh&
IGNORE_IP_LIST=&/usr/local/ddos/ignore.ip.list& //白名单
CRON=&/etc/cron.d/ddos.cron&
APF=&/etc/apf/apf&
IPT=&/sbin/iptables&
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### frequency in minutes for running the script
##### Caution: Every time this setting is changed, run the script with &cron
##### option so that the new frequency takes effect
//ddos.sh执行的频率,单位是分钟,搭配crontab来执行.
如果你更改了该设置,请执行 /usr/local/ddos/ddos.sh &cron
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### How many connections define a bad IP? Indicate that below.
NO_OF_CONNECTIONS=150
//当哪个IP的连接数达到150就加入黑名单;查看连接数你可以执行
#netstat -ntu | awk &{print $5}& | cut -d: -f1 | sort | uniq -c | sort -n
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### APF_BAN=1 (Make sure your APF version is atleast 0.96)
##### APF_BAN=0 (Uses iptables for banning ips instead of APF)
//一般情况下你是使用iptables来做防火墙,所以这里你需要将 APF_BAN的值改为0.
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### KILL=0 (Bad IPs are&nt banned, good for interactive execution of script)
##### KILL=1 (Recommended setting)
//将非法的的IP加入iptables的INPUT链中,DROP掉.
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### An email is sent to the following address when an IP is banned.
##### Blank would suppress sending of mails
EMAIL_TO=&evan&
//事件通知人的邮件地址,给evan发一封邮件,可以改成你的邮箱地址
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### Number of seconds the banned ip should remain in blacklist.
BAN_PERIOD=600
//关押黑名单中的IP的时长,阻止被定义为ddos攻击者ip与本机通信时间,默认为600秒
更改白名单配置
[root@host ]# vi /usr/local/ddos/ddos.sh
在117行,更改此段代码为:netstat -ntu | awk '{print $5}' | egrep -o &[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}& | sort | uniq -c | sort -nr & $BAD_IP_LIST
注释掉134行:echo $CURR_LINE_IP && $IGNORE_IP_LIST
[root@host ]# /usr/local/ddos/ddos.sh --cron
执行后,会生成一个排程文件,内容如下
[root@host ]# vi /etc/cron.d/ddos.cron
SHELL=/bin/sh
0-59/1 * * * * root /usr/local/ddos/ddos.sh &/dev/null 2&&1
安装WEB压力测试软件Siege
一款开源的压力测试工具,可以根据配置对一个WEB站点进行多用户的并发访问,记录每个用户所有请求过程的相应时间,并在一定数量的并发访问下重复进行。
官方:http://www.joedog.org/
参考文章: https://www.vpser.net/opt/webserver-test.html
[root@host ]# wget http://download.joedog.org/siege/siege-4.0.2.tar.gz
[root@host ]# tar zxf siege-4.0.2.tar.gz
[root@host ]# cd siege-4.0.2
[root@host siege-4.0.2]# ./configure
[root@host siege-4.0.2]# make
[root@host siege-4.0.2]# make install
[root@host siege-4.0.2]# siege -c 200 -r 10 -f example.url
-c是并发量,-r是重复次数。 url文件就是一个文本,每行都是一个url,它会从里面随机访问的。
example.url内容为:
运行5分钟后,按Ctrl+c 中断任务,显示出结果
运行结果说明
Lifting the server siege...
Transactions: 8 hits //完成8次处理
Availability: 53.33 % //53.33 % 成功率
Elapsed time: 1535.51 secs //总共用时
Data transferred: 12.43 MB //共数据传输12.43M
Response time: 63.41 secs //响应用时63.41秒:显示网络连接的速度
Transaction rate: 0.01 trans/sec //均每秒完成 0.01 次处理:表示服务器后
Throughput: 0.01 MB/sec //平均每秒传送数据
Concurrency: 0.33 //实际最高并发数
Successful transactions: 122 //成功处理次数
Failed transactions: 7 //失败处理次数
Longest transaction: 10.46 //每次传输所花最长时间
Shortest transaction: 0.00 //每次传输所花最短时间
在Siege压力测试软件运行时,可用命令查看连接数
执行后,将会显示服务器上所有的每个IP多少个连接数
[root@host ]# netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr
161 103.235.46.39
10 14.215.177.38
8 14.215.177.37
8 115.239.210.27
6 115.239.211.112
5 62.145.211.15
5 183.131.62.40
1 servers)
1 191.96.249.136
查看单个IP的连接数目可以通过如下命令查看,依次排列:
[root@host ]# netstat -ntu | awk '{print $5}' | egrep -o &[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}& | sort | uniq -c | sort -nr
161 103.235.46.39
10 14.215.177.38
8 14.215.177.37
8 115.239.210.27
6 115.239.211.112
5 62.145.211.15
5 183.131.62.40
1 121.11.81.164
1 113.107.57.41
1 106.11.68.13
如果屏蔽后,请用iptables -L -n 命令查看被屏蔽的IP
[root@host ]# iptables -L -n
Chain INPUT (policy ACCEPT)
target prot opt source destination
DROP all -- 103.235.46.39 0.0.0.0/0
DROP all -- 101.78.18.13 0.0.0.0/0
DROP all -- 101.78.18.4 0.0.0.0/0
DROP all -- 101.99.15.195 0.0.0.0/0
如上,103.235.46.39此IP有161个连接, 被防火墙给DROP掉了。
邮箱会收到如下的信息
Banned the following ip addresses on Wed Jun 14 15:19:01 CST 2017
103.235.46.39 with 161 connections
如果不想影响到web压力测试,需要停用排程服务,ddos脚本将不会被执行到
[root@host ]# /sbin/service crond stop
如何删除规则
首先我们要知道 这条规则的编号,每条规则都有一个编号
通过命令 iptables -L -n --line-number 可以显示规则和相对应的编号
num target prot opt source destination
1 DROP all -- 101.78.18.13 0.0.0.0/0
2 DROP all -- 101.78.18.4 0.0.0.0/0
3 DROP all -- 101.99.15.195 0.0.0.0/0
多了 num 这一列, 这样我们就可以 看到刚才的规则对应的是 编号2
那么我们就可以进行删除了
iptables -D INPUT 2
删除INPUT链编号为2的规则。这样就可以解除对该IP的封锁了。防止ddos攻击软件DDoS-Deflate 的安装和使用 -湖北中网科技有限公司
&&&&电话:027-
&&&&邮箱:
湖北省武汉市中北路1号楚天都市花园B座16楼
您的当前位置:&>&
防止ddos攻击软件DDoS-Deflate 的安装和使用
系统环境:Centos 6.5 X64
测试完成日期为 by evan.li
1.安装 DDoS deflate
[root@host ]# wget /scripts/ddos/install.sh
[root@host ]# chmod 0700 install.sh
[root@host ]# ./install.sh
//弹出版权信息后,在SSH下键入 q , 即可退出版权信息。
2.配置 DDoS deflate .
[root@host ]# vi /usr/local/ddos/ddos.conf
##### Paths of the script and other files
PROGDIR=&/usr/local/ddos&
PROG=&/usr/local/ddos/ddos.sh&
IGNORE_IP_LIST=&/usr/local/ddos/ignore.ip.list& //白名单
CRON=&/etc/cron.d/ddos.cron&
APF=&/etc/apf/apf&
IPT=&/sbin/iptables&
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### frequency in minutes for running the script
##### Caution: Every time this setting is changed, run the script with &cron
##### option so that the new frequency takes effect
//ddos.sh执行的频率,单位是分钟,搭配crontab来执行.
如果你更改了该设置,请执行 /usr/local/ddos/ddos.sh &cron
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### How many connections define a bad IP? Indicate that below.
NO_OF_CONNECTIONS=150
//当哪个IP的连接数达到150就加入黑名单;查看连接数你可以执行
#netstat -ntu | awk &{print $5}& | cut -d: -f1 | sort | uniq -c | sort -n
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### APF_BAN=1 (Make sure your APF version is atleast 0.96)
##### APF_BAN=0 (Uses iptables for banning ips instead of APF)
//一般情况下你是使用iptables来做防火墙,所以这里你需要将 APF_BAN的值改为0.
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### KILL=0 (Bad IPs are&nt banned, good for interactive execution of script)
##### KILL=1 (Recommended setting)
//将非法的的IP加入iptables的INPUT链中,DROP掉.
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### An email is sent to the following address when an IP is banned.
##### Blank would suppress sending of mails
EMAIL_TO=&evan&
//事件通知人的邮件地址,给evan发一封邮件,可以改成你的邮箱地址
&&&&&&&&&&&&&&&&&&&&&&&&&-
##### Number of seconds the banned ip should remain in blacklist.
BAN_PERIOD=600
//关押黑名单中的IP的时长,阻止被定义为ddos攻击者ip与本机通信时间,默认为600秒
更改白名单配置
[root@host ]# vi /usr/local/ddos/ddos.sh
在117行,更改此段代码为:netstat -ntu | awk '{print $5}' | egrep -o &[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}& | sort | uniq -c | sort -nr & $BAD_IP_LIST
注释掉134行:echo $CURR_LINE_IP && $IGNORE_IP_LIST
[root@host ]# /usr/local/ddos/ddos.sh --cron
执行后,会生成一个排程文件,内容如下
[root@host ]# vi /etc/cron.d/ddos.cron
SHELL=/bin/sh
0-59/1 * * * * root /usr/local/ddos/ddos.sh &/dev/null 2&&1
安装WEB压力测试软件Siege
一款开源的压力测试工具,可以根据配置对一个WEB站点进行多用户的并发访问,记录每个用户所有请求过程的相应时间,并在一定数量的并发访问下重复进行。
官方:http://www.joedog.org/
参考文章: https://www.vpser.net/opt/webserver-test.html
[root@host ]# wget http://download.joedog.org/siege/siege-4.0.2.tar.gz
[root@host ]# tar zxf siege-4.0.2.tar.gz
[root@host ]# cd siege-4.0.2
[root@host siege-4.0.2]# ./configure
[root@host siege-4.0.2]# make
[root@host siege-4.0.2]# make install
[root@host siege-4.0.2]# siege -c 200 -r 10 -f example.url
-c是并发量,-r是重复次数。 url文件就是一个文本,每行都是一个url,它会从里面随机访问的。
example.url内容为:
运行5分钟后,按Ctrl+c 中断任务,显示出结果
运行结果说明
Lifting the server siege...
Transactions: 8 hits //完成8次处理
Availability: 53.33 % //53.33 % 成功率
Elapsed time: 1535.51 secs //总共用时
Data transferred: 12.43 MB //共数据传输12.43M
Response time: 63.41 secs //响应用时63.41秒:显示网络连接的速度
Transaction rate: 0.01 trans/sec //均每秒完成 0.01 次处理:表示服务器后
Throughput: 0.01 MB/sec //平均每秒传送数据
Concurrency: 0.33 //实际最高并发数
Successful transactions: 122 //成功处理次数
Failed transactions: 7 //失败处理次数
Longest transaction: 10.46 //每次传输所花最长时间
Shortest transaction: 0.00 //每次传输所花最短时间
在Siege压力测试软件运行时,可用命令查看连接数
执行后,将会显示服务器上所有的每个IP多少个连接数
[root@host ]# netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr
161 103.235.46.39
10 14.215.177.38
8 14.215.177.37
8 115.239.210.27
6 115.239.211.112
5 62.145.211.15
5 183.131.62.40
1 servers)
1 191.96.249.136
查看单个IP的连接数目可以通过如下命令查看,依次排列:
[root@host ]# netstat -ntu | awk '{print $5}' | egrep -o &[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}& | sort | uniq -c | sort -nr
161 103.235.46.39
10 14.215.177.38
8 14.215.177.37
8 115.239.210.27
6 115.239.211.112
5 62.145.211.15
5 183.131.62.40
1 121.11.81.164
1 113.107.57.41
1 106.11.68.13
如果屏蔽后,请用iptables -L -n 命令查看被屏蔽的IP
[root@host ]# iptables -L -n
Chain INPUT (policy ACCEPT)
target prot opt source destination
DROP all -- 103.235.46.39 0.0.0.0/0
DROP all -- 101.78.18.13 0.0.0.0/0
DROP all -- 101.78.18.4 0.0.0.0/0
DROP all -- 101.99.15.195 0.0.0.0/0
如上,103.235.46.39此IP有161个连接, 被防火墙给DROP掉了。
邮箱会收到如下的信息
Banned the following ip addresses on Wed Jun 14 15:19:01 CST 2017
103.235.46.39 with 161 connections
如果不想影响到web压力测试,需要停用排程服务,ddos脚本将不会被执行到
[root@host ]# /sbin/service crond stop
如何删除规则
首先我们要知道 这条规则的编号,每条规则都有一个编号
通过命令 iptables -L -n --line-number 可以显示规则和相对应的编号
num target prot opt source destination
1 DROP all -- 101.78.18.13 0.0.0.0/0
2 DROP all -- 101.78.18.4 0.0.0.0/0
3 DROP all -- 101.99.15.195 0.0.0.0/0
多了 num 这一列, 这样我们就可以 看到刚才的规则对应的是 编号2
那么我们就可以进行删除了
iptables -D INPUT 2
删除INPUT链编号为2的规则。这样就可以解除对该IP的封锁了。

我要回帖

更多关于 deflate 的文章

 

随机推荐