舆情定向采集哪些系统可以做到？_百度知道
舆情定向采集哪些系统可以做到？
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
要求做数据分析报告，调研研报告多瑞科舆情数据分析站大数据分析-各类数据调研，活动数据搜集分析，产品调研。1.针对单个网站上的数据，无遗漏搜集整理归档，并且支持各种图文分析报告；2.针对微博或网站或微信，活动用户投票和活动用户评论互动信息整理归档，统计分析精准预测制造新数据；3.针对某个论坛版块数据精准采集，数据归类，出分析报告，准确定位最新市场动态4.针对某个网站监测用户的操作爱好，评定最受欢迎功能5.针对部分网站，做实时数据抽取，预警支持关注信息的最新扩散情况~6.针对全网数据支持定向采集，设置关键词搜集数据，也可以划分区域或指定网站搜集数据7.针对电商网站实时监测评论，归类成文档，支持出报告。
为你推荐：
其他类似问题
您可能关注的内容
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。昨天飒飒在使用织梦（Dedecms）采集侠时，在定向采集文章URL设置过程中遇到了不少问题，虽然有官方演示做参照，但是亦不觉得全面，导致经常会采集失败。下面飒飒来给大家例举一些官方文档没有详细明说的定向采集文章URL设置。官方文档给出的列表URL设置方法如下：例：比如我要采集站长之家优化栏目里面的文章，他们的文章URL是http://www.xxx.com/web/5508.shtmlhttp://www.xxx.com/web/5505.shtmlhttp://www.xxx.com/web/5594.shtml通配后的URL就是：http://www.xxx.com/web/(*)/(*)/(*).shtml但是大多数时候我们会设置成：http://www.xxx.com/web/5(*).shtml或http://www.xxx.com/web//(*).shtml或http://www.xxx.com/web/2013/(*)/(*).shtml或http://www.xxx.com/web/(*)/0988/(*).shtml虽然以上的通配URL也能实现采集，但是不是完整的通配。小技巧：以后在设置列表URL时，遇见数字的全部采用通配符，准没错！以下来说说官方文档未列出但又常见的URL：例1：http://news.xxx.cn/cs//.htmlhttp://news.xxx.cn/cs//.htmlhttp://news.xxx.cn/cs//.html这样的文章链接该如何写通配URL呢？想必有不少小伙伴会如下写：http://news.xxx.cn/cs/(*)/(*).html但是采集测试时，会告诉你采集失败，说明通配URL错误，那该如何设置呢？正确设置方法：http://news.xxx.cn/cs/(*)-(*)-(*)/(*).html例2：http://www.xxx.com/?p=5122http://www.xxx.com/?p=5123这是动态页面，没有生成伪静态或静态URL，也同样可以使用通配规则吗？飒飒在此将结果告诉你：可以使用通配规则正确设置方法：http://www.xxx.com/?p=(*)TIPS：当然，必须补充一点，不是所有文章URL设置正确之后就可以采集，采集器都是有限制的，比如那个网站设置了防采集功能，无论你在采集设置上面做多少努力，都是徒劳，所以，在设置采集时，先测试，很重要！一些大站或者牛逼的网站一般都有防采集设置！总结1.当设置文章通配URL时，如遇到非数字的，一律不能用通配符(*)，必须保留，方可正确采集。URL中常见的非数据有英文字母，-，_，?等。2.URL通配规则一定要写全，写完后注意检查通配URL中是否含有数字，如含有，则通配URL为完成，将数字修改成通配符之后再保存采集，在将来对方网站修改URL命名时，方能以不变应万变。屏蔽你采集IP除外。以上就是飒飒整理的织梦（Dedecms）采集侠定向采集文章URL设置大全，希望小伙伴和飒飒一起完善采集设置，让那么困难采集不再难！
各排名数据更新进度：查看: 698|回复: 4
网站HTTP改HTTPS后，做了301重定向后发布模块不能登陆
火车车厢 节
本帖最后由 wulisong00 于
15:44 编辑
网站HTTP改HTTPS
做了301重定向&&HTTP301到HTTPS&&用的根目录htaccess
WEB发布模块不能登陆了 获取不了栏目
去掉htaccess又可以。
请问怎么解决。
不知道有没有朋友遇到过。
求助啊。。
不知道是因为HTTPS的缘故还是301的缘故导致的。
火车车厢 节
火车车厢 节
求教啊求教
火车车厢 节
温馨提示：建议您联系官方定制服务，通过官方支付方式完成支付。您与其他非官方账号发生的交易，我方概不承担责任。网络有风险，交易需谨慎
Copyright &
&Template by
All Rights Reserved.
Powered byPython大法之告别脚本小子---信息资产收集类脚本编写
作者：阿甫哥哥
来源：i春秋社区
在采集到URL之后，要做的就是对目标进行信息资产收集了，收集的越好，你挖到洞也就越多了............当然这一切的前提，就是要有耐心了！！！由于要写工具较多，SO，我会分两部分写......
端口扫描脚本编写
端口扫描的原理：
端口扫描，顾名思义，就是逐个对一段端口或指定的端口进行扫描。通过扫描结果可以知道一台计算机上都提供了哪些服务，然后就可以通过所提供的这些服务的己知漏洞就可进行攻击。其原理是当一个主机向远端一个服务器的某一个端口提出建立一个连接的请求，如果对方有此项服务，就会应答，如果对方未安装此项服务时，即使你向相应的端口发出请求，对方仍无应答，利用这个原理，如果对所有熟知端口或自己选定的某个范围内的熟知端口分别建立连接，并记录下远端服务器所给予的应答，通过查看一记录就可以知道目标服务器上都安装了哪些服务，这就是端口扫描，通过端口扫描，就可以搜集到很多关于目标主机的各种很有参考价值的信息。例如，对方是否提供FPT服务、WWW服务或其它服务。
代理服务器还有很多常用的端口
比如HTTP协议常用的就是：80/81/9080，FTP协议常用的就是：21，Telnet协议常用的是23等等
来个较全的...
代理服务器常用以下端口：
⑴. HTTP协议代理服务器常用端口号：80/81/9080
⑵. SOCKS代理协议服务器常用端口号：1080
⑶. FTP（文件传输）协议代理服务器常用端口号：21
⑷. Telnet（远程登录）协议代理服务器常用端口：23
HTTP服务器，默认的端口号为80/tcp（木马Executor开放此端口）；
HTTPS（securely transferring web pages）服务器，默认的端口号为443/tcp 443/udp；
Telnet（不安全的文本传送），默认端口号为23/tcp（木马Tiny Telnet Server所开放的端口）；
FTP，默认的端口号为21/tcp（木马Doly Trojan、Fore、Invisible FTP、WebEx、WinCrash和Blade Runner所开放的端口）；
TFTP（Trivial File Transfer Protocol），默认的端口号为69/udp；
SSH（安全登录）、SCP（文件传输）、端口重定向，默认的端口号为22/tcp；
SMTP Simple Mail Transfer Protocol (E-mail），默认的端口号为25/tcp（木马Antigen、Email Password Sender、Haebu Coceda、Shtrilitz Stealth、WinPC、WinSpy都开放这个端口）；
POP3 Post Office Protocol (E-mail) ，默认的端口号为110/tcp；
WebLogic，默认的端口号为7001；
Webshpere应用程序，默认的端口号为9080；
webshpere管理工具，默认的端口号为9090；
JBOSS，默认的端口号为8080；
TOMCAT，默认的端口号为8080；
WIN2003远程登陆，默认的端口号为3389；
Symantec AV/Filter for MSE,默认端口号为 8081；
Oracle 数据库，默认的端口号为1521；
ORACLE EMCTL，默认的端口号为1158；
Oracle XDB（XML 数据库），默认的端口号为8080；
Oracle XDB FTP服务，默认的端口号为2100；
MS SQL*SERVER数据库server，默认的端口号为1433/tcp 1433/udp；
MS SQL*SERVER数据库monitor，默认的端口号为1434/tcp 1434/udp；
QQ，默认的端口号为1080/udp
等等，更具体的去百度吧，啊哈哈
端口的三种状态
OPEN --端口是开放的，可以访问，有进程
CLOSED --端口不会返回任何东西..可能有waf
FILTERED --可以访问，但是没有程序监听
这里用一个工具--nmap举下栗子吧...
C:UsersAdministrator&nmap -sV localhost
Starting Nmap 7.70 ( [url]https://nmap.org[/url] ) at
17:10 ?D1ú±ê×?ê±??
Nmap scan report for localhost (127.0.0.1)
Host is up (0.00053s latency).
Other addresses for localhost (not scanned): ::1
Not shown: 990 closed ports
PORT STATE SERVICE VERSION
80/tcp open http Apache httpd 2.4.23 ((Win32) OpenSSL/1.0.2j PHP/5.4.45)
135/tcp open msrpc Microsoft Windows RPC
443/tcp open ssl/https VMware Workstation SOAP API 14.1.1
445/tcp open microsoft-ds Microsoft Windows 7 - 10 microsoft-ds (workgroup: WorkGroup)
903/tcp open ssl/vmware-auth VMware Authentication Daemon 1.10 (Uses VNC, SOAP)
1080/tcp open http-proxy Polipo
3306/tcp open mysql MySQL 5.5.53
8088/tcp open radan-http?
10000/tcp open snet-sensor-mgmt?
65000/tcp open tcpwrapped
说的差不多了，咱们开始用Python实现它....端口扫描在Python中可以用的模块有很多，本文用socket模块演示单线程的在之前的文章有说过，具体传送门：
一个精壮的代购骗子被我彻底征服
#-*- coding: UTF-8 -*-
import socket
def Get_ip(domain):
return socket.gethostbyname(domain)
except socket.error,e:
print '%s: %s'%(domain,e)
def PortScan(ip):
result_list=list()
port_list=range(1,65535)
for port in port_list:
s=socket.socket()
s.settimeout(0.1)
s.connect((ip,port))
openstr= " PORT:"+str(port) +" OPEN "
print openstr
result_list.append(port)
print result_list
def main():
domain = raw_input("PLEASE INPUT YOUR TARGET:")
ip = Get_ip(domain)
print 'IP:'+ip
PortScan(ip)
if __name__=='__main__':
速度是不是巨慢，既然是告别脚本小子，写个单线程的。。肯定是不行的，啊哈哈
放出多线程版本
#-*- coding: UTF-8 -*-
import socket
import threading
lock = threading.Lock()
threads = []
def Get_ip(domain):
return socket.gethostbyname(domain)
except socket.error,e:
print '[-]%s: %s'%(domain,e)
def PortScan(ip,port):
s=socket.socket()
s.settimeout(0.1)
s.connect((ip,port))
lock.acquire()
openstr= "[-] PORT:"+str(port) +" OPEN "
print openstr
lock.release()
def main():
banner = '''
_ __ ___ _ __| |_ ___ ___ __ _ _ __
| '_ / _ | '__| __/ __|/ __/ _` | '_
| |_) | (_) | | | |___ (_| (_| | | | |
| .__/ ___/|_| __|___/_____,_|_| |_|
print banner
domain = raw_input("PLEASE INPUT YOUR TARGET:")
ip = Get_ip(domain)
print '[-] IP:'+ip
for n in range(1,76):
for p in range((n-1)*880,n*880):
t = threading.Thread(target=PortScan,args=(ip,p))
threads.append(t)
for t in threads:
print ' This scan completed !'
if __name__=='__main__':
很简单的，我都不知道该怎么讲。。。如果你基础知识还不够牢固，请移步至初级篇
Python大法从入门到编写POC
子域名采集脚本编写
采集子域名可以在测试范围内发现更多的域或子域，这将增大漏洞发现的几率。采集的方法也有很多方法，本文就不再过多的叙述了，采集方法的方法可以参考这篇文章:子域名搜集思路与技巧梳理
其实lijiejie大佬的subdomainbrute就够用了.....当然了，i春秋也有视频教程的。。。
Python安全工具开发应用
本文就演示三种吧
第一种是通过字典爆破，这个方法主要靠的是字典了....采集的多少取决于字典的大小了...
演示个单线程的吧
#-*- coding: UTF-8 -*-
import requests
import sys
def writtarget(target):
print target
file = open('result.txt','a')
with file as f:
f.write(target+'n')
file.close()
def targetopen(httptarget , httpstarget):
header = {
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Cache-Control': 'no-cache',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/q=0.9,image/webp,image/apng,*/*;q=0.8',
'DNT': '1',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,q=0.9,q=0.8'
reponse_http = requests.get(httptarget, timeout=3, headers=header)
code_http = reponse_http.status_code
if (code_http == 200):
httptarget_result = re.findall('//.*', httptarget)
writtarget(httptarget_result[0][2:])
reponse_https = requests.get(httpstarget, timeout=3, headers=header)
code_https = reponse_https.status_code
if (code_https == 200):
httpstarget_result = re.findall('//.*', httpstarget)
writtarget(httpstarget_result[0][2:])
def domainscan(target):
f = open('domain.txt','r')
for line in f:
httptarget_result = 'http://'+ line.strip() + '.'+target
httpstarget_result = 'https://'+ line.strip() + '.'+target
targetopen(httptarget_result, httpstarget_result)
if __name__ == "__main__":
print ' ____ _ ____ _ '
print '| _ ___ _ __ ___ __ _(_)_ __ | __ ) _ __ _ _| |_ ___ '
print "| | | |/ _ | '_ ` _ / _` | | '_ | _ | '__| | | | __/ _ "
print "| |_| | (_) | | | | | | (_| | | | | | |_) | | | |_| | || __/"
print '|____/ ___/|_| |_| |_|__,_|_|_| |_|____/|_| __,_|_____|'
file = open('result.txt','w+')
file.truncate()
file.close()
target = raw_input('PLEASE INPUT YOUR DOMAIN(Eg:ichunqiu.com):')
print 'Starting.........'
domainscan(target)
print 'Done ! Results in result.txt'
第二种是通过搜索引擎采集子域名，不过有些子域名不会收录在搜索引擎中.....
参考这篇文章
工具| 手把手教你信息收集之子域名收集器
我觉得这篇文章介绍的还可以的....我也懒得写了，直接贴过来吧
#-*-coding:utf-8-*-
import requests
key="qq.com"
match='style="text-decoration:"&(.*?)/'
for i in range(48):
url="http://www.baidu.com.cn/s?wd=site:"+key+"&cl=3&pn=%s"%i
response=requests.get(url).content
subdomains=re.findall(match,response)
sites += list(subdomains)
site=list(set(sites)) #set()实现去重
print site
print "The number of sites is %d"%len(site)
for i in site:
第三种就是通过一些第三方网站..实现方法类似于第二种
在之前的文章中介绍过，我就直接引用过来了
不会的话，就看这篇文章，很详细...
Python大法之从HELL0 MOMO到编写POC(五)
import requests
import sys
def get(domain):
url = 'http://i.links.cn/subdomain/'
payload = ("domain={domain}&b2=1&b3=1&b4=1".format(domain=domain))
r = requests.post(url=url,params=payload)
con = r.text.encode('ISO-8859-1')
a = re.compile('value="(.+?)"&&input')
result = a.findall(con)
list = 'n'.join(result)
print list
if __name__ == '__main__':
command= sys.argv[1:]
f = "".join(command)
CMS指纹识别脚本编写
现在有很多开源的指纹识别程序，w3af，whatweb，wpscan，joomscan等，常见的识别的几种方式：
1：网页中发现关键字
2：特定文件的MD5（主要是静态文件、不一定要是MD5）
3：指定URL的关键字
4：指定URL的TAG模式
i春秋也有相应的课程
Python安全工具开发应用
本着买不起课程初心，啊哈哈，我就不讲ADO老师讲的方法了。。。啊哈哈
不过写的都差不多，只是用的模块不同。。。
本文我介绍两种方法，一种是通过API的。。另一种就是纯粹的指纹识别了，识别的多少看字典的大小了。。。
先说第一种。。。
说白了，就是发送个post请求，把关键字取出来就ok了，完全没有难度。。
我用的指纹识别网站是：http://whatweb.bugscaner.com/look/，我怎么感觉有种打广告的感觉。。。抓个包。。然后就一顿老套路
#-*- coding: UTF-8 -*-
import requests
import json
def what_cms(url):
headers = {
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Cache-Control': 'no-cache',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/q=0.9,image/webp,image/apng,*/*;q=0.8',
'DNT': '1',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,q=0.9,q=0.8'
'hash':'0ecaf5a2efb14_f420f594ac165e475f1479',
'url':url,
r=requests.post(url='http://whatweb.bugscaner.com/what/',
data=post, headers=headers)
dic=json.loads(r.text)
if dic['cms']=='':
print 'Sorry,Unidentified........'
print 'CMS:' + dic['cms']
if __name__ == '__main__':
url=raw_input('PLEASE INPUT YOUR TARGET:')
what_cms(url)
接下来，就是CMS指纹识别的第二种方法了。。。
我用的匹配关键字的方法。。。
找了个dedecms的匹配字典
范例：链接||||关键字||||CMS别称
/data/admin/allowurl.txt||||dedecms||||DedeCMS(织梦)
/data/index.html||||dedecms||||DedeCMS(织梦)
/data/js/index.html||||dedecms||||DedeCMS(织梦)
/data/mytag/index.html||||dedecms||||DedeCMS(织梦)
/data/sessions/index.html||||dedecms||||DedeCMS(织梦)
/data/textdata/index.html||||dedecms||||DedeCMS(织梦)
/dede/action/css_body.css||||dedecms||||DedeCMS(织梦)
/dede/css_body.css||||dedecms||||DedeCMS(织梦)
/dede/templets/article_coonepage_rule.htm||||dedecms||||DedeCMS(织梦)
/include/alert.htm||||dedecms||||DedeCMS(织梦)
/member/images/base.css||||dedecms||||DedeCMS(织梦)
/member/js/box.js||||dedecms||||DedeCMS(织梦)
/php/modpage/readme.txt||||dedecms||||DedeCMS(织梦)
/plus/sitemap.html||||dedecms||||DedeCMS(织梦)
/setup/license.html||||dedecms||||DedeCMS(织梦)
/special/index.html||||dedecms||||DedeCMS(织梦)
/templets/default/style/dedecms.css||||dedecms||||DedeCMS(织梦)
/company/template/default/search_list.htm||||dedecms||||DedeCMS(织梦)
全的字典去百度吧，小弟不才......小弟用的是deepin，win的报错太鸡肋，实在懒得解决。。。。
#-*- coding: UTF-8 -*-
import threading
import urllib2
identification = False
g_index = 0
lock = threading.Lock()
def list_file(dir):
files = os.listdir(dir)
return files
def request_url(url='', data=None, header={}):
page_content = ''
request = urllib2.Request(url, data, header)
response = urllib2.urlopen(request)
page_content = response.read()
except Exception, e:
return page_content
def whatweb(target):
global identification
global g_index
global cms
while True:
if identification:
if g_index & len(cms)-1:
lock.acquire()
eachline = cms[g_index]
g_index = g_index + 1
lock.release()
if len(eachline.strip())==0 or eachline.startswith('#'):
url, pattern, cmsname = eachline.split('||||')
html = request_url(target+url)
rate = float(g_index)/float(len(cms))
ratenum = int(100*rate)
if pattern.upper() in html.upper():
identification = True
print " CMS：%s，Matched URL：%s" % (cmsname.strip('n').strip('r'), url)
if __name__ == '__main__':
__ ___ _ ____ __ __ ____
/ / |__ __ _| |_ / ___| / / ___|
/ / /| '_ / _` | __| | | |/| ___
V V / | | | | (_| | |_| |___| | | |___) |
_/_/ |_| |_|__,_|__|____|_| |_|____/
threadnum = int(raw_input(' Please input your threadnum:'))
target_url = raw_input(' Please input your target:')
f = open('./cms.txt')
cms = f.readlines()
threads = []
if target_url.endswith('/'):
target_url = target_url[:-1]
iftarget_url.startswith('http://')or target_url.startswith('https://'):
target_url = 'http://' + target_url
for i in range(threadnum):
t = threading.Thread(target=whatweb, args=(target_url,))
threads.append(t)
print ' The number of threads is %d' % threadnum
print 'Matching.......'
for t in threads:
for t in threads:
print " All threads exit"
cool。。。这样就简单的实现CMS识别。。。
最近好久不写文章，手法生疏了，各位dalao见谅。。。。
*声明：推送内容及图片来源于网络，部分内容会有所改动，版权归原作者所有，如来源信息有误或侵犯权益，请联系我们删除或授权事宜。
责任编辑：
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
今日搜狐热点开源爬虫 ── 专业、强大的万维网资源定向抓取、爬抓工具
时间： 19:09:22
&&&& 阅读：5089
&&&& 评论：
&&&& 收藏：0
标签：&又称、在&&社区常称。&是一种按照一定规则，自动抓取信息的程序或脚本。另外一些不常使用名称还有、、或。
随着网络的迅速发展，成为大量信息的载体，如何有效提取并利用这些信息成为一个巨大挑战。&()，譬如：传统搜索引擎&、、、、、、、&等作为辅助人们检索信息的工具，已成为用户访问的入口和指南。但是，这些也存在一定局限性。譬如：
01、不同领域、不同背景的用户往往具有不同的和需求，通用搜索引擎所返回的结果包含大量用户不关心网页；
02、通用搜索引擎的目标是尽可能大的，有限的搜索引擎与无限的之间的矛盾将进一步加深；
03、数据形式丰富和网络技术的不断发展，图片、、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取；
04、通用搜索引擎大多提供基于的检索，难以支持根据提出的查询。
为解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问上的网页与，获取所需要的信息。与通用爬虫 () 不同，并不追求大的覆盖率，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的准备数据资源。
网路爬虫是搜索引擎的核心，他们的算法和结构上的细节被当作。当爬虫的设计发布时，总会有一些为了阻止别人复制工作而缺失的细节。人们也开始关注主要用于阻止主要搜索引擎发布他们的排序算法的&。
爬虫通常会执行几种类型的&&规范化来避免重复抓取某些资源。&一般化也被称为&&标准化，指的是修正&&并使其前后一致的过程。这里有几种一般化方法，包括转化&&为小写的，去除逗号（如 &.&&&&..& 等），对非空的路径，在末尾加反斜杠。
爬虫身份识别
通过使用&&请求的&() 字段来向网络服务器表明他们的身份。则通过检查网络服务器的日志，使用用户代理字段来辨认哪一个爬虫曾经访问过以及它访问的频率。
用户代理字段可能会包含一个可以让管理员获取爬虫更多信息的&。和其他怀有恶意的通常不会留任何的用户代理字段内容，或者他们也会将他们的身份伪装成或其他知名爬虫。
对于，留下用户标志信息十分重要；这样，网络管理员在需要的时候就可以联系爬虫主人。有时，可能会陷入或使一个服务器，这时，爬虫主人需要使爬虫停止。对那些有兴趣了解特定爬虫访问时间网络管理员来讲，用户标识信息是十分重要的。开源爬虫
微型爬虫框架，含有一个小型&&解析器。
crawlzilla
安装简易，拥有中文分词功能。
Ex-Crawler
由守护进程执行，使用数据库存储网页信息。
一个互联网档案馆级的爬虫，设计的目标是对大型网络的大部分内容的定期存档快照，用&&编写。严格遵照&&文件的排除指示和&&标签。
轻量级开源多线程垂直检索爬虫框架。
提供&&操作界面。
轻量、性能优良，可以从网页抓取各种类型的文件。
在&&许可下发行，高度可配置、可定制、功能强大、容易扩展的网络爬虫引擎。
包括全文和分类垂直搜索，以及分词系统。
MetaSeeker
网页抓取、信息提取、数据抽取工具包，操作简单。
通过&&配置文件实现高度可定制性与可扩展性。
灵活、扩展性强，微内核+插件式架构，通过简单的配置就可以完成数据抓取，无需编写一句代码。
功能覆盖整个爬虫生命周期，使用&&和正则表达式进行链接和内容的提取。
Web-Harvest
运用&、、正则表达式等技术来实现对&&或&&的操作，具有可视化的界面。
(, 1998) 由&&类库构成，基于文本的搜索引擎。它使用多线程进行网页检索，&解析，拥有一个图形用户界面用来设置开始的种子&&和抽取下载的数据；&由两部分组成：爬虫工作平台和&&类包。
基于&&网络的免费分布式&&搜索引擎（在&&许可下发行）。
用&&编写，在&&许可下发行的爬虫。它可以用来连接&&的全文检索套件。
Agent Kernel
当一个爬虫抓取时，用来进行安排，并发和存储的&&框架。
一个多线程的&&的&&客户端。它可以在&&许可下进行二次开发。
& && && && && &&
& && && && && &
& && && && && &
& && && && && &
QuickRecon
具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能。
简洁、轻量、高效的网页抓取框架。
基于 Twisted 的异步处理框架，文档齐全。
一个在广度优先方面表现优秀，基于等级抓取的开放源代码的网络爬虫。在和页面的抓取表现良好，它在&&许可下发行，并且完全用&&编写。按照&&有一个延时的单网域延时爬虫。
&是一个&&爬虫程序。演示地址：。使用&&编写脚本，分布式架构，提供强大的&，支持&、支持&&页面。强大的&&和脚本编辑器、任务监控和项目管理和结果查看。后端系统支持：、、、。支持任务优先级、重试、定期抓取等。
一个在&&许可下用&编写的命令行式的爬虫。主要用于网络服务器和&&服务器的镜像。
&用网络爬虫创建网络站点镜像，以便离线观看。它使用&编写，在&&许可下发行。
用&&语言编写，高速优化，可使用命令行方式运行，在&&许可下发布的网页检索器。它的主要的特性是高可配置性，模块化；它检索的目标可以是本地文件系统，&或者&。
在&&许可下发行，使用命令行的&&站点镜像工具，可以选择使用&&的图形界面。与&&和&&相比，他有一系列先进特性，如以正则表达式为基础的文件过滤规则和文件创建规则。
支持多机分布式下载，支持网站定向下载。
高性能的爬虫软件，只负责抓取不负责解析。
ICDL Crawler
用&&编写，跨平台的网络爬虫。它仅仅使用空闲&&资源，在&&标准上抓取整个站点。
模块化、可定制的网页爬虫，速度快。
网络信息检索环境 (&和&, 2002) 用&&编写，在&&许可下发行的爬虫，内置了几种页面下载安排的策略，还有一个生成报告和统计资料的模块，所以，它主要用于网络特征的描述。
NWebCrawler
统计信息、执行过程可视化。
国内第一个针对微博数据的爬虫程序，功能强大。
以递归树为模型的多线程&&爬虫程序，支持以&&和&&编码的资源，使用&&存储数据。
Web Crawler
为&&准备的开放源代码的网络检索器。多线程，支持抓取&&等文档来源。
功能丰富，毫不逊色于商业软件。
OpenWebSpider
开源多线程网络爬虫，有许多有趣的功能。
适用于专业化强、层次更深的个性化搜索引擎。
具有采集网页内容、提交表单功能。
采集推特、脸谱等社交网络数据的社会媒体视角引擎，可进行交互分析并将结果以可视化形式展现。
可采集淘宝、京东、当当、等 300 多家电子商务数据。
可伸缩的分布式网页爬虫。
可将一个或多个网站、某个链接完全抓取到本地。
LWP：RobotUA
(, 2004) 是一个在&&许可下发行的，可以优异的完成并行任务的&&类库构成的机器人。
DataparkSearch
一个在&&许可下发布的爬虫搜索引擎。
在它和索引引擎中包括一个网页爬虫。
&由&&开发。
Webtools4larbin
&由&&开发。
斯坦福&&项目使用的一个爬虫。
Sherlock Holmes
收集和检索本地和网络上的文本类数据（文本文件，网页），该项目由捷克门户网站中枢（）赞助并且主要用于商用。
Universal Information Crawler
快速发展的网络爬虫，用于检索存储和分析数据。
网络爬虫的组成
在网络中，主过程由、、&3 部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些&&脚本标签、&代码内容、空格字符、&标签等内容处理掉，爬虫的基本工作由解析器完成。资源库是用来存放下载的网页资源，一般采用存储，如&&数据库，并对其建立索引。
01、控制器
控制器是网络爬虫的，它主要是负责根据系统传过来的&&链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。
02、解析器
解析器是负责网络爬虫的主要部分，其负责的工作主要有：功能，对进行处理；譬如：过滤功能、抽取特殊&&标签的功能、分析数据功能。
03、资源库
主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：、&等。其它爬虫
1994 年& &
第一个发布的爬虫。它有 2 个基础程序。第一个是&，抓取队列中的内容到一个关系数据库中，第二个程序是&，是一个修改后的&&的&&浏览器，负责从网络上下载页面。
Web Crawler
1994 年& &
是第一个公开可用的用来建立全文索引的一个子程序，他使用库&&来下载页面；另外一个程序使用广度优先来解析获取&&并对其排序；它还包括一个根据选定文本和查询相似程度爬行的实时爬虫。& && &&
World Wide Web Worm
用来为文件建立包括标题和&简单索引的爬虫。索引可以通过&&式的&&命令来搜索。
& && && &&&
C++、Python
Google Crawler
Brin and Page
1998 年& &
用了一些细节来描述，但是这些细节仅仅是关于使用&&和&&编写的、一个早期版本的体系结构。因为文本解析就是全文检索和&&抽取的过程，所以爬虫集成了索引处理。这里拥有一个&&服务器，用来给几个爬虫程序发送要抓取的&&列表。在解析文本时，新发现的&&传送给&&服务器并检测这个&&是不是已经存在，如果不存在的话，该&就加入到&&服务器中。
& && && &&&
da Silva et al.
使用了一个中央&&和一系列的&。搜集者解析下载的页面并把找到的&&发送给调度者，然后调度者反过来分配给搜集者。调度者使用深度优先策略，并且使用平衡礼貌策略来避免服务器超载。爬虫是使用&&语言编写的。
Heydon and Najork
一个分布式的，模块化的使用&&编写的网络爬虫。它的模块化源自于使用可互换的&&和&。协议模块负责怎样获取网页（譬如：使用&），处理模块负责怎样处理页面。标准处理模块仅仅包括了解析页面和抽取 URL，其他处理模块可以用来检索文本页面，或者搜集网络数据。
Najork and Heydon
一个分布式的，模块化的使用&&编写的网络爬虫。它的模块化源自于使用可互换的&&和&。协议模块负责怎样获取网页（譬如：使用&），处理模块负责怎样处理页面。标准处理模块仅仅包括了解析页面和抽取 URL，其他处理模块可以用来检索文本页面，或者搜集网络数据。
WebFountain
Edwards et al.
一个与&&类似的分布式的模块化的爬虫，但使用&&编写。它的特点是一个管理员机器控制一系列的蚂蚁机器。经过多次下载页面后，页面的变化率可以推测出来，这时，一个非线性的方法必须用于求解方程以获得一个最大的新鲜度的访问策略。作者推荐在早期检索阶段使用这个爬虫，然后用统一策略检索，就是所有的页面都使用相同的频率访问。
C++、Python
Shkapenyuk and Suel
一个使用&&和&&编写的分布式网络爬虫。它由一个爬虫管理者，一个或多个下载者，一个或多个&&解析者组成。抽取到的&&被添加到硬盘的一个队列里面，然后使用批处理的模式处理这些&。平衡礼貌方面考虑到了第 2、3 级网域，因为第 3 级网域通常也会保存在同一个网络服务器上。
Zeinalipour-Yazti and Dikaiakos
一个使用&&实现的，拥有检索模块和缓存模块的爬虫，它是一个很通用的称作&&的系统的一部分。系统从用户得到下载页面请求，爬虫行为有点像一个聪明的代理服务器。系统还监视订阅网页请求，当网页发生改变时，它必须使爬虫下载更新这个页面并且通知订阅者。&最大的特色是，当大多数的爬虫都从一组&&开始时，&可连续接收抓取开始的&&地址。
FAST Crawler
Risvik and Michelsen
一个分布式爬虫，在&&中使用，关于其体系结构的一个大致的描述可以在 [] 找到。
Cho and Garcia-Molina
一般爬虫体系结构。
Chakrabarti
Chakrabarti
一般爬虫体系结构。
Boldi et al.
一个使用&&编写的分布式爬虫。它没有中央程序。它有一组完全相同的代理组成，分配功能通过主机前后一致的散列计算进行。这里没有重复的页面，除非爬虫崩溃了（然后，另外一个代理就会接替崩溃的代理重新开始抓取）。爬虫设计为高伸缩性和允许失败的。
一个工作在开源项目&&上的非开源爬虫。
eezirCrawler
一个非开源的可伸缩的网页抓取器，在&&上使用。该程序被设计为一个完整的可以处理各种类型网页的爬虫，包括各种&&和&&文档。爬虫既支持主题检索也支持非主题检索。
一个通过博客构建反馈信息的爬虫。&&基于&，它的大部分的体系结构都是开源的。
HotCrawler
一个使用&和&&编写的爬虫。
ViREL Microformats Crawler
搜索公众信息作为嵌入到网页的一小部分。
标签：原文地址：http://www.cnblogs.com/kingCpp/p/4917960.html
&&国之画&&&& &&&&chrome插件
版权所有 京ICP备号-2
迷上了代码！