[程序人生]本人是做定向爬虫的，想赚些外快，爬虫爬下来的数据会有人花钱买吗？
本人做爬虫已经3，4年了，期间利用业余时间帮同学写了两个小工具。从互联网上抓取特定类型的数据，抽取成规范格式。第一个同学公司有很多汽车，经常要去交通部网站查看这些车的违章记录。由于车辆太多，手动查很费事，所以找到我，我帮他写了一个定向爬虫，把他们公司的车辆的数据爬下来，存到数据库里。方便查询。第二个同学是做药品招商的，在某个网站上看到了一些医药代表的联系方式，由于数据太多，手动很麻烦，所以也找到我，于是帮他将这些医药代表的信息爬了下来。我现在突然有了一个想法，我是不是可以利用爬虫赚点零花钱。帮那些需要从互联网上获取特定信息，而信息量又很大，手工完成基本不太可能。大家说，会有人有这样的需求么。本人现在写的分布式爬虫一天爬千万数量级的网页。
能请教一下程序的实现方法不?
我也想学啊。怎么实现的？
很好实现啊抓取页面内容然后在设置规则 进行匹配筛选获取信息就是了
我也是做这个的。很好实现。
不会就是个那个啥病毒的一个功能部件吧
分布式爬虫吗，没有搞过分布式的，可否指点一二？
多线程？我也会一点，
什么叫爬虫？虽然我是博士但是不懂这个！
你是勃士。
@一路小跑去相亲 可以去datadeal。cn进行数据交易，网络爬虫工程师的最爱。
@千界云数据平台
17:45:00@一路小跑去相亲
可以去datadeal。cn进行数据交易，网络爬虫工程师的最爱。-----------------------------laji
本页 下面不是有个 相关推荐
里面有个招聘爬虫的
楼主可以试试呀
亿牛云爬虫专用代理高质量代理，提供动态转发高质量模式，有需要的联系哦
14:59:00我也是做这个的。很好实现。--------------------亿牛云爬虫专用代理高质量代理，提供动态转发高质量模式，有需要的联系哦
大家还在看我自己是一个将要从学校滚蛋的大四学生，从大一开始接触信息安全到现在，各种收入大概能买几千个屁股先锋了吧。我可以介绍一下作为这个行业的学生（包括研究生、实习生等）可以靠哪些方面挣外快。&br&答案内涉及到利益关系很多，我围绕『钱』这个角度来说明问题，至于一些厂商服务、管理、法律上的问题我就不牵扯了。&br&&br&&b&一、挖通用程序漏洞，挣奖金&/b&&br&通用程序漏洞，顾名思义就是被大众大量、普遍使用的应用程序，这类程序的漏洞通常危害性巨大，可能可以影响数以万计的使用者。国内、外各大平台对于此类漏洞都有奖励机制，如果你挖掘到通用程序的漏洞并提交到这些平台上后，将会被给予一定的现金奖励。&br&比如国内漏洞平台乌云，对于通用漏洞有不错的奖励，这是乌云白帽子gainover的一页漏洞截图：&br&&figure&&img src=&https://pic4.zhimg.com/08caf3d7c7_b.png& data-rawwidth=&1924& data-rawheight=&1010& class=&origin_image zh-lightbox-thumb& width=&1924& data-original=&https://pic4.zhimg.com/08caf3d7c7_r.png&&&/figure&其中标示着『$』符号的漏洞都是通用漏洞，$的数量决定了奖金的数量，一般来说有这样的规则：&br&&ul&&li&奖金100~500：一个$&/li&&li&奖金：两个$&/li&&li&奖金2500+：三个$&/li&&/ul&所以你可以算算他仅一页漏洞，就赚了多少奖金。&br&2016年，阿里巴巴公司旗下的安全情报平台『先知』也加大了对通用漏洞的奖励力度，5月份的排行榜中：&br&&figure&&img src=&https://pic3.zhimg.com/f71abb8a14e_b.png& data-rawwidth=&1160& data-rawheight=&786& class=&origin_image zh-lightbox-thumb& width=&1160& data-original=&https://pic3.zhimg.com/f71abb8a14e_r.png&&&/figure&前五名的白帽子，大部分奖金都来自通用漏洞。其中维尼熊宝贝拿到了税前146300人民币的奖金，这是很多安全从业者一年的薪水，而白帽子可能通过一个月的兼职挖洞就拿到了。&br&360公司旗下的补天平台也是国内较早提供通用漏洞奖金的平台，早期我也在该平台获得过数万元奖金，但总体来说其对通用漏洞的奖金较少。该平台最大的优势在于其对事件型漏洞有一定奖励，我后面会说到。&br&除了国内的第三方漏洞平台以外，国外的一些漏洞收集平台的奖励更为可观，不过难度也更大。&br&国外有一个专门收取通用型漏洞的计划叫Internet Bug Bounty（ &a href=&//link.zhihu.com/?target=https%3A//internetbugbounty.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&The Internet Bug Bounty&i class=&icon-external&&&/i&&/a& ），在知名漏洞平台hackerone上标示着ibb的厂商就是这个计划支持的。白帽子挖掘到一些知名开源程序或库，诸如Ruby on rails、nginx、openssl等漏洞后，提交到hackerone，将可能得到数千美刀以上的奖金。注意啊，这里是美刀。&br&著名的『心胀滴血』漏洞，当初在hackerone上被给予了15000美元的奖金（ &a href=&//link.zhihu.com/?target=https%3A//hackerone.com/reports/6626& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&#6626 TLS heartbeat read overrun&i class=&icon-external&&&/i&&/a& ），着实让人羡慕不已。&br&&figure&&img src=&https://pic2.zhimg.com/84f96a4ecfeae18eb554d085_b.png& data-rawwidth=&1922& data-rawheight=&190& class=&origin_image zh-lightbox-thumb& width=&1922& data-original=&https://pic2.zhimg.com/84f96a4ecfeae18eb554d085_r.png&&&/figure&不过白帽子将其捐给了自由基金会，也是很令人敬佩的。&br&另外，谷歌的Project Zero也会收集并奖励一些通用漏洞，特别是像Windows、Linux、Android、IOS之类的操作系统漏洞，还有Chrome、Firefox之类的浏览器漏洞等，其奖金也从数千到数万美刀不等。国内的一些天才少年、白帽子和组织（如腾讯科恩实验室），通过挖掘安卓、IOS等漏洞，相信也从谷歌换取了不少奖金。&br&相比于国内的平台，国外平台对于通用漏洞有以下特点：&br&&ul&&li&奖金单位为美刀，奖金确实高&/li&&li&难度大，奖励范围小，一般仅限于用量巨大的应用或库&/li&&li&一般在漏洞修复后会公开，不会藏着掖着&/li&&/ul&所以，如果你对阅读开源程序代码、调试逆向客户端等方向感兴趣的话，挖掘通用漏洞赚取奖金绝对是一个非常实在的选择。我个人赚取的绝大多数外快也来自于这个方面。&br&推荐指数：★★★★☆&br&&br&&b&二、挖掘互联网漏洞，挣奖金&/b&&br&互联网漏洞就是存在于互联网任何一个角落的漏洞，可能是XX大学教务系统的SQL注入，可能是XX电商0元购买商品，也可能是XX社交平台任意用户登录等。&br&挖掘互联网漏洞是一个很敏感的行为，有时候就可能从白帽子变成黑帽子。但既然你前提是『非黑产』，这条路也是行得通的。&br&之前提到过的补天平台，对互联网漏洞有一定的奖励，如果你能挖掘到一些影响数据量较大的厂商、政府机关的漏洞，在补天平台上也可以换取数百元到上千元不等的奖金。&br&比如这个这个还有这个：&br&&figure&&img src=&https://pic2.zhimg.com/5dddffa78f967badbd3b251f5c75e509_b.png& data-rawwidth=&1328& data-rawheight=&828& class=&origin_image zh-lightbox-thumb& width=&1328& data-original=&https://pic2.zhimg.com/5dddffa78f967badbd3b251f5c75e509_r.png&&&/figure&很多白帽子通过补天平台也赚取了不少奖金。除了补天以外，国内另一家漏洞平台『漏洞盒子』也对互联网漏洞进行奖励：&br&&figure&&img src=&https://pic3.zhimg.com/b1c37a0e637eca7a14b82_b.png& data-rawwidth=&1336& data-rawheight=&1072& class=&origin_image zh-lightbox-thumb& width=&1336& data-original=&https://pic3.zhimg.com/b1c37a0e637eca7a14b82_r.png&&&/figure&相对而言，漏洞盒子更加关注企业的漏洞。不过其奖励力度较小，月度排行榜上首名的奖金也不高。&br&乌云对互联网漏洞的收集范围是最广的，但普遍没有奖金，只会给予一定的积分和rank值。使用积分可以购买一些日用品、电子产品与书籍，但总量还是有限。不过乌云上有的厂商对白帽子有一定的回馈，厂商曾经寄送给我京东卡之类的礼品，我想这也算隐形的收入之一吧。&br&总体来说，挖掘互联网漏洞对于赚外快来说更累，因为大部分互联网漏洞是没有奖金的，但如果你拥有相对准确度高、效率高的扫描器的话，坐享其成也未尝不可。&br&推荐指数：★★☆☆☆&br&&br&&b&三、参与众测项目，赚取奖金&/b&&br&众测应该是普通白帽子们最佳赚钱途径了，当然也是竞争最为残酷的途径。众测通常是没有私有SRC的厂商在一些第三方平台收集自己漏洞的一种方式，白帽子通过挖掘指定厂商的漏洞，能够换取数百到数千元不等的奖金，相比于挖掘互联网漏洞，难度较大回报也较高。&br&国内最早开展众测的是乌云众测平台，累计到现在已经超过395期了。我参与过一些项目，最低的项目奖金是这样（高的可能到5k至1w）：&br&&ul&&li&高危漏洞：2000&/li&&li&中危漏洞：500&/li&&li&低危漏洞：100&/li&&/ul&通常一个项目挖到5个高危就心满意足了。有时候如果你能找到一个突破口，挖到20个高危也不是不可能，我也曾一个项目拿下4w+的奖金。&br&乌云众测参与的门槛较高，一般是要求在乌云主站提交过有一定质量的漏洞，并且通过积分换取参与门票，这就导致乌云众测中大牛比较多，所以经常会出现挖到的漏洞重复的问题。但其回报相对于付出足够高了，依稀记得今年3月的项目，有一个业余白帽子（其工作非信息安全）一个月挖掘到16w奖金：&br&&figure&&img src=&https://pic2.zhimg.com/65b18db35_b.png& data-rawwidth=&1350& data-rawheight=&948& class=&origin_image zh-lightbox-thumb& width=&1350& data-original=&https://pic2.zhimg.com/65b18db35_r.png&&&/figure&乌云众测最大的长处就是项目众多，几乎每个月有十来个项目，粗略统计了一下6月份乌云众测有19个项目，这甚至比一些初创的众测平台所有的项目还多。所以，虽然乌云众测竞争激烈，但其饼子的数量也足够让一些有技术的白帽子赚到不少外快。&br&之前提到的先知安全情报平台也有一定的众测项目，但因为其创立时间不长，项目数量有些少，在写这个答案的时候进驻先知的厂商只有9个。但其奖励力度也不小，通常一个高危漏洞可以有3000以上的奖金。&br&感谢 &a data-hash=&99c5f3a58a3ef0d8b6e64f& href=&//www.zhihu.com/people/99c5f3a58a3ef0d8b6e64f& class=&member_mention& data-hovercard=&p$b$99c5f3a58a3ef0d8b6e64f&&@笑然777&/a& 的纠正，先知平台有些项目测完后就不在列表里展示了，所以并不是只有9家。按照阿里云在国内云安全方面的地位与输出能力，之后的项目应该会更多。&br&先知平台最大的特点就是其打款速度惊人，其依托支付宝可以做到『今天确认，明天打款』。但其对漏洞审核较为严格，也导致很多界限模糊的漏洞得不到承认。&br&另外一点，先知平台对每笔奖金收取20%的税，这个是业内税收最高的。当然税收是国家政策也无可厚非，就是不知道其他平台是怎么规避的。相比于之前说到的乌云平台，先知的税高打款快，乌云的税低打款慢，如果急需用钱的话先知是个好选择。&br&360公司的补天平台推出了私有SRC模式，其实也就是众测的一种。补天的私有SRC项目相对比较简单，很多传统企业甚至12306进驻补天，但奖金也较低：&br&&figure&&img src=&https://pic2.zhimg.com/fef5f97f17c7e4c526c87e212a909855_b.png& data-rawwidth=&1092& data-rawheight=&1048& class=&origin_image zh-lightbox-thumb& width=&1092& data-original=&https://pic2.zhimg.com/fef5f97f17c7e4c526c87e212a909855_r.png&&&/figure&上图是百年人寿的漏洞提交记录，可见高危漏洞从不等。但更多厂商的高危漏洞仅有1000元奖金。但因为这些厂商漏洞好找，所以数量上也弥补了金额上的不足。&br&漏洞盒子也是一个老牌众测平台，现在平均每月能有1~2个项目，很多大牛也通过漏洞盒子赚到了不少奖金。&br&漏洞银行是国内新出现的一个第三方众测平台，入驻（有不少厂商虽然入驻但不接受漏洞）厂商有近千个，其多数只接受高危漏洞，且奖励不高。暂无现金奖励，白帽子只能使用该平台的积分换取京东卡等物质奖励。&br&国内还有sobug、威客众测之类的第三方众测平台，但其项目有限，我也没参与过，就不做评价了。&br&总体来说，国内各大众测平台有如下特点（一般是这样，也不是没有特例）：&br&&ul&&li&乌云众测：奖金高，项目多（机会多），打款慢，门槛高&/li&&li&补天：奖金中，项目数量少，打款快，门槛低，难度低&/li&&li&先知：奖金高，项目数量少，打款极快，门槛高，难度高&/li&&li&漏洞盒子：项目数量中，奖金中，打款速度一般，门槛低，难度中&/li&&li&漏洞银行：厂商数量大，奖金低（无现金），门槛低，难度低&/li&&li&sobug：项目少&/li&&li&威客众测：项目少&/li&&/ul&对渗透感兴趣、日站能力比较强的话，你可以选择性地参与这些众测项目，并通过众测项目赚取外块。&br&推荐指数：★★★★★&br&&br&&b&四、挖掘大厂商漏洞，在SRC换取奖金&/b&&br&互联网漏洞的另一个去处就是私有SRC。随着国内公司对安全逐渐重视，很多都成立了自己的应急响应中心，其中代表性的有腾讯公司的TSRC、阿里巴巴的ASRC和360公司的360SRC等，上述几个SRC对于自家公司网站、产品的漏洞奖励不菲，甚至对于一些威胁情报也有很高的奖金。&br&我个人混SRC不多，但身边很多朋友都或多或少在各大SRC提交过漏洞。TSRC是国内最老牌也是比较体贴的SRC，我曾经提交过一个腾讯公司的高危漏洞，很快奖励了相应的积分。TSRC的积分可以直接换取现金（无税），这是很多SRC没有的福利，并且在随后的一年里（哪怕这一年我再也没有提交其他漏洞），过节均会寄送礼物，像情人节的巧克力、端午节的粽子、中秋节的月饼等等，并且年底每人都会收到至少500元京东卡。&br&TSRC的奖励一般是一个严重（比如能够注入出用户数据的SQL注入漏洞）能拿到等于5k+RMB的积分，高危（比如QQ空间的存储型XSS等）能拿到等于1.8k+RMB的积分，并且如果漏洞优质能够领到额外现金奖励或每个月的即时现金奖励，比如TSRC著名白帽子rasca1，在今年3月和5月均获得了额外总共8w的现金奖励：&br&&figure&&img src=&https://pic2.zhimg.com/5ece344d383c8e44ba7c1cd_b.png& data-rawwidth=&2022& data-rawheight=&1020& class=&origin_image zh-lightbox-thumb& width=&2022& data-original=&https://pic2.zhimg.com/5ece344d383c8e44ba7c1cd_r.png&&&/figure&其他实物奖励我就不多说了。除了腾讯自身的漏洞，TSRC前段时间开始收集威胁情报。让我印象最深的一次是，一个白帽子在玩腾讯某款游戏的过程中，发现有人在游戏里出售游戏币，并且比官方价格低很多，他向TSRC反映了这一情报。官方人员很快根据他的情报发现了一处刷金币的漏洞，及时弥补了被黑产窃取的金币。&br&后来TSRC给予了这个白帽子三万元现金奖励，这让我有种玩游戏玩着玩着就成土豪的感觉，实在很让人羡慕：&br&&figure&&img src=&https://pic3.zhimg.com/8dfeae51ce9a_b.png& data-rawwidth=&1456& data-rawheight=&872& class=&origin_image zh-lightbox-thumb& width=&1456& data-original=&https://pic3.zhimg.com/8dfeae51ce9a_r.png&&&/figure&&br&类似的SRC还有阿里的ASRC，其奖金力度稍高于TSRC，但人文关怀不如后者，额外奖励（隐形奖金）也稍低。&br&国内还有诸多企业自建了SRC，奖励一定会比在第三方平台提交互联网漏洞要高，但有两个问题还是影响白帽子们提交漏洞的积极性：&br&&ul&&li&许多SRC的积分不能换取现金，只能兑换等值奖品，可能和税务有关&/li&&li&部分SRC还是在以白菜价收购漏洞，一个getshell漏洞可能只能换两百元的红包，中低危漏洞可能只有公仔&/li&&/ul&总体来说，挖掘诸如腾讯、阿里、360等自建SRC的厂商漏洞较难（也不是无技巧可寻），但其金钱上的回报也绝对够份。&br&推荐指数：★★★★☆&br&&br&&b&五、参与培训，担当讲师&/b&&br&当你有一定的技术后，就可以开始尝试去做一个知识的传授者。安全界有几种授课方式：&br&&ul&&li&私人培训，个人做一些视频教程，通过售卖视频教程获利，如某月的教程&/li&&li&在一些团队（论坛）担当版主或讲师&/li&&li&在一些在线教育平台授课，如爱春秋等&/li&&/ul&前两种多半会给人以『很坑』的印象，实际上确实是鱼龙混杂，但如果你真的爱好传授知识，去做一套视频教程不光是一个可以获取收益的行为，也是一个传递火炬的善举。&br&这是某安全团队做的一个培训的介绍截图，其价格在培训中属于偏低的，但如果其宣传手段得力，视频质量过关的话，薄利多销也是能够获得很多收益的：&br&&figure&&img src=&https://pic1.zhimg.com/e81eaa7cfac1bdddc826edc_b.png& data-rawwidth=&1702& data-rawheight=&762& class=&origin_image zh-lightbox-thumb& width=&1702& data-original=&https://pic1.zhimg.com/e81eaa7cfac1bdddc826edc_r.png&&&/figure&&br&本人也做过一些授业的视频，个人收益通常少则可能50~100一节课（10~20分钟），多则可以到300~1000一节课。如果有一定能力的人，能够参与一些实地脱产培训的话，数千元乃至上万元报酬一天也是不少的。&br&这样的话，通常一套课程（可能30+节课）做下来，能赚数千元到数万元。&br&近几年新创的平台爱春秋也是信息安全在线教育的一个龙头，我曾有意向申请爱春秋的讲师但最后还是因为时间关系放弃了。此类新兴的在线教育平台可能（我不知道爱春秋什么情况，但我和其他一些平台有谈过此类问题）会以『收看量』、『购买量』来给予讲师报酬，其实和一些直播间类似了，收看你的教程的人数越多你的收益就越多。&br&这样对于一般的讲师来说有点吃亏，因为收看量（购买量）除了和讲师的水平有关系外，其实和平台的推广、用户体验、防盗版手段也有很大的关系，而这些原因是讲师无法控制的，所以我觉得如果你要在这些平台做培训的话，最好让平台能一次性买断，这样收益可能更大。不过如果你自信你的视频能够靠量来盈利，甚至能给平台带来额外的访问量，和平台合作也不失为一个好方法。&br&做讲师是一个需要口才的兼职，如果你感觉自己表达能力强可以尝试。并且做讲师通常没有太高的风险，而挖掘漏洞是有一定风险的——假如一段时间你什么漏洞都没挖到，那么可能这段时间一分钱收益都没有，而做讲师只需踏踏实实将自己的知识说出来，就有稳定的收入。&br&推荐指数：★★★☆☆&br&&br&&b&六、为一些扫描平台开发插件&/b&&br&这是一个新兴的职业，我将其称之为——扫描器插件开发工程师。随着国内各大厂商推出『可扩展』的『社区形式』的扫描器产品后，这个兼职也随之产生，白帽子可以通过为一些商业扫描器开发插件来赚取收益。&br&Tangscan是乌云平台依托其强大的漏洞库孕育的一个社区化的商业扫描器，白帽子可以为其有偿编写插件并获取积分。Tangscan在商业运营中，如果某个白帽子编写的插件扫描到安全漏洞，将会给予该白帽子一定的分成；即使其编写的插件没有命中目标，Tangscan每个月也有一定的分红：&br&&figure&&img src=&https://pic2.zhimg.com/d33a43fca76d_b.png& data-rawwidth=&1326& data-rawheight=&486& class=&origin_image zh-lightbox-thumb& width=&1326& data-original=&https://pic2.zhimg.com/d33a43fca76d_r.png&&&/figure&这是Tangscan今年一月份的一次分红，可以看到排名第一的白帽子分到了2400块收益，但相比于挖掘漏洞来说确实还是太少了。我想的话，命中目标的奖金可能会比分红要高吧，不过我写的几个插件没有命中过目标，暂时不清楚情况。&br&Seebug是知道创宇公司运营的一个漏洞库平台，其实也是为其扫描器收集插件。创宇当时号称用百万元悬赏插件，实际上其奖励确实不低，我曾在该平台提交过数个漏洞详情与漏洞POC，通常一个漏洞+POC能换取总共100~300元不等的奖励。&br&这是Seebug第一期打款的截图，可见其奖励的力度确实比Tangscan要高一些：&br&&figure&&img src=&https://pic1.zhimg.com/aaaa781ab3d1eacdec00_b.png& data-rawwidth=&369& data-rawheight=&600& class=&content_image& width=&369&&&/figure&&br&对编程能力突出的同学而言，编写POC是一个很好的工作，而且收益相对来说较高，一样稳定。只要有耐心慢慢写，稳赚不赔。&br&推荐指数：★★★☆☆&br&&br&&b&七、打CTF赚取奖金&/b&&br&对于学生来说，打CTF比赛无疑是提升能力的最好途径之一，当然其丰厚的奖金也是外快的好来源。&br&我有时会混迹于CTF比赛中，但多数CTF比赛的奖金不高，有的可能只有礼品，所以很多人并不将其作为金钱来源，而是学知识认识朋友的好地方。高奖金的CTF比赛也不是没有，Alictf是阿里巴巴公司举办数年的CTF比赛，其第二届比赛的奖金创造了国内CTF比赛之最：&br&&figure&&img src=&https://pic1.zhimg.com/bcedafa4dbf578_b.png& data-rawwidth=&690& data-rawheight=&460& class=&origin_image zh-lightbox-thumb& width=&690& data-original=&https://pic1.zhimg.com/bcedafa4dbf578_r.png&&&/figure&10万元人民币奖金+美国拉斯维加斯BlackHat之旅，被香港中文大学的香米小组获得。我还记得当年第一届阿里CTF预赛，每个打进前30名的队伍的所有队员都获得了一部手机等等不记得的各种奖品。几乎是只要你打了比赛，做了几题就能获得礼物，对学生来说是一个非常大的激励。&br&这几年国内的CTF比赛如雨后春笋，有一些长期参与各种比赛的同学（熟称赛棍）凭借自己打CTF的经验，积累了不少奖金。不过毕业后能参与的CTF会逐渐减少，打CTF的时间、精力、小伙伴也逐渐减少。最后能一直坚持下来的同学可能更喜欢的是竞赛的感觉而非金钱上的回报。&br&不过现在CTF比赛在奖金上也有一些乱象，总结一下大概有：&br&&ul&&li&很多比赛因为税务的原因，将奖金折合成礼品发给获奖者，甚至比赛完后才告诉参赛人员这个事情，很没品&/li&&li&发礼品就算了，有的比赛奖金10000所以发一台Mac，可是CTF队伍通常有三人，于是队员还需自行处理礼品分配问题，导致奖励贬值&/li&&li&有的比赛受到赞助商影响，在路费、住宿费归属、报销问题上存在麻烦&/li&&li&有的比赛为了防止参赛者在互联网上讨论题目，甚至不允许参赛者上网，偏离了实战环境，导致做题做的很憋屈。有种因噎废食的感觉。（不过这一条和钱无关了）&/li&&/ul&不过这一年，CTF比赛相对于前几年收紧、少了很多，奖金也降了一些（特别是阿里CTF，今年的奖金不足去年的一半）。可能也是受到金融低迷的影响，也可能是各大公司招人招的差不多了。&br&推荐指数：★★★☆☆&br&&br&&b&八、写文章，赚稿费&/b&&br&10年前大家写了文章通常发布在安全论坛中，当时的黑客论坛讨论活跃、文章众多，后来因为国家的政策，包括安全行业形式的变化，论坛逐渐冷却，多数已不复存在。&br&现在的安全研究人员多数将文章发表在自己的博客，或者投稿给一些安全媒体赚取稿费。乌云平台的博客乌云drops对安全类文章的稿酬是比较高的，通常一篇文章有500元人民币的稿酬，而精华文章的稿酬将翻倍。除了稿酬以外，drops还会奖励给文章作者乌云的通用积分（大概价值200元），作者可以自行去兑换奖品。&br&我平时的文章也会分享到乌云drops，一是能够换取一些稿酬作为生活费，二是能够积攒自己的『简历』。后者属于另一个范畴，与钱无关，不多说。&br&另外，如果你英文好的话，去翻译一些国外的好文章也可以获得同样的稿酬，也就是说可能你的技术还达不到能够自己写出出彩文章的程度，但你去收罗一些国外的文章进行翻译也可以赚不少生活费。&br&楼上有个匿名作者说的其实也不错，安全圈和娱乐圈也就一墙之隔，写一写大众喜欢的文字也许比写纯技术文章更吃香。但我还是希望作者们坚持本心。&br&除了乌云drops以外，Freebuf、360安全播报、安赛等安全相关的媒体都对投稿的文章有一定稿酬奖励，不过金额和drops差一点。&br&所以，如果你技术高文笔好，或者英文好，或者能够抓住用户痛点，能够抓住实事，没事写写技术与非技术文章赚稿酬，也是外快的一部分，只不过确实没多少。&br&推荐指数：★★☆☆☆&br&&br&&b&九、给一些『安全公司』打工&/b&&br&兼职，主要是做一些渗透测试方面的工作，当然必须是合法的。&br&推荐指数：★★☆☆☆&br&&br&暂时想到这么多，之后有的再补充吧。。。睡了睡了，写了两个晚上~&br&允许转载，但切勿修改原文，避免丧失公平性！&br&&br&======&br& 补&br&有些人还质疑我，说几十万不可能。&br&除了井底之蛙，我还能说什么呢？我如果只是想装逼的话，没必要匿名。我说的所有内容都可以考证，举个例子，据我所知文中提到的维尼熊宝贝是一个大学生（曾经乌云平台上的一位通用奖励大牛），并且去年才高中毕业。他一个月的奖金就达到14w，相比起来我4年赚的根本不值一提。
我自己是一个将要从学校滚蛋的大四学生，从大一开始接触信息安全到现在，各种收入大概能买几千个屁股先锋了吧。我可以介绍一下作为这个行业的学生（包括研究生、实习生等）可以靠哪些方面挣外快。 答案内涉及到利益关系很多，我围绕『钱』这个角度来说明问…
&figure&&img src=&https://pic1.zhimg.com/v2-abe8d7e0948d27daee1aa_b.jpg& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&https://pic1.zhimg.com/v2-abe8d7e0948d27daee1aa_r.jpg&&&/figure&&blockquote&2016年接近尾声，在最近的几篇文章中，会整理总结一些2016年度开源项目。今天整理的是：2016年度GitHub最受欢迎的开源项目总榜。&/blockquote&&p&在过去的2016年里面，GitHub最受欢迎、Stars最多的项目分别是哪些呢？赶紧来，看看文章跟着这些伟大的项目学习起来。&/p&&h2&&b&&u&1、&a href=&http://link.zhihu.com/?target=https%3A//github.com/FreeCodeCamp/FreeCodeCamp& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&FreeCodeCamp/FreeCodeCamp&/a&&/u&&/b&&/h2&&ul&&li&&i&&u&语言：JavaScript&br&&/u&&/i&&/li&&li&&i&&u&Stars：213276&/u&&/i&&br&&/li&&/ul&&br&&figure&&img src=&http://pic1.zhimg.com/v2-30cc8baa18f2b3cea35db33bce793de8_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic1.zhimg.com/v2-30cc8baa18f2b3cea35db33bce793de8_r.png&&&/figure&&br&&p&FreeCodeCamp 是一个基于 MEAN 架构的开源社区，它可以帮助人们学习编程以及构建他们的非盈利项目，内容以前端为主。&/p&&p&如此神奇的一个开源项目，到底有哪些优势呢？&/p&&ol&&li&学习编程技能，比如HTML5、CSS3、JavaScript、数据库、Git、Node.js、Angular.js和敏捷开发&br&&/li&&li&从事自由和开源项目&br&&/li&&li&获得实时帮助&br&&/li&&/ol&&br&&h2&&b&&u&2、&a href=&http://link.zhihu.com/?target=https%3A//github.com/twbs/bootstrap& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&twbs/bootstrap&/a&&/u&&/b&&/h2&&ul&&li&&u&&i&语言：JavaScript&br&&/i&&/u&&/li&&li&&u&&i&Stars：105089&/i&&/u&&br&&/li&&/ul&&br&&figure&&img src=&http://pic1.zhimg.com/v2-e92bf784a569dc720a7cee4_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic1.zhimg.com/v2-e92bf784a569dc720a7cee4_r.png&&&/figure&&br&&p&Bootstrap来自 Twitter，是目前最受欢迎的前端框架。Bootstrap 是基于 HTML、CSS、JAVASCRIPT 的，它简洁灵活，使得Web 开发更加快捷。&/p&&h2&&b&&u&3、&a href=&http://link.zhihu.com/?target=https%3A//github.com/vhf/free-programming-books& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&vhf/free-programming-books&/a&&/u&&/b&&/h2&&ul&&li&&i&&u&Stars：72666&/u&&/i&&/li&&/ul&&figure&&img src=&http://pic1.zhimg.com/v2-b2c891f610fcb5acad3d8_b.png& data-rawwidth=&997& data-rawheight=&942& class=&origin_image zh-lightbox-thumb& width=&997& data-original=&http://pic1.zhimg.com/v2-b2c891f610fcb5acad3d8_r.png&&&/figure&&p&项目如同名称，该项目整理了所能整理到的网络上的关于编程方面免费的书籍资源，几乎涵盖所有语言，以后有需要编程电子书等教学资源的，请不要再在百度到处乱找了。是的，如果你英语不好，这儿甚至有中文版本的：&a href=&http://link.zhihu.com/?target=https%3A//github.com/vhf/free-programming-books/blob/master/free-programming-books-zh.md& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&vhf/free-programming-books&/a&&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&函数式概念、分布式系统、在线教育、大数据、操作系统、数据库、智能系统、正则表达式、版本控制、程序员杂谈、管理和监控、编程艺术、编译原理、编辑器、计算机图形学、设计模式、软件开发方法、C、C#、C++、iOS、Java、JavaScript、LaTeX、LISP、Lua、Markdown、Node.js、Perl、PHP、Python、R...等等
&/code&&/pre&&/div&&br&&h2&&b&&u&4、&a href=&http://link.zhihu.com/?target=https%3A//github.com/d3/d3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&d3/d3&/a&&/u&&/b&&/h2&&ul&&li&&i&&u&语言：JavaScript&/u&&/i&&br&&/li&&li&&i&&u&Stars：58382&/u&&/i&&/li&&/ul&&p&&figure&&img src=&http://pic3.zhimg.com/v2-decdb46ef9cf656b_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic3.zhimg.com/v2-decdb46ef9cf656b_r.png&&&/figure&D3 是最流行的可视化库之一，它被很多其他的表格插件所使用。它允许绑定任意数据到DOM，然后将数据驱动转换应用到Document中。你可以使用它用一个数组创建基本的HTML表格，或是利用它的流体过度和交互，用相似的数据创建惊人的SVG条形图。&/p&&br&&h2&&b&&u&5、&a href=&http://link.zhihu.com/?target=https%3A//github.com/facebook/react& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&facebook/react&/a&&/u&&/b&&/h2&&ul&&li&&u&&i&语言：JavaScript&br&&/i&&/u&&/li&&li&&u&&i&Stars：56600&/i&&/u&&/li&&/ul&&p&&figure&&img src=&http://pic1.zhimg.com/v2-c6f98daf44ac_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic1.zhimg.com/v2-c6f98daf44ac_r.png&&&/figure&React是Facebook开源的JavaScript库，用于构建UI。你可以在React里传递多种类型的参数，如声明代码，帮助你渲染出UI、也可以是静态的HTMLDOM元素、也可以传递动态变量、甚至是可交互的应用组件。&br&&/p&&p&声明式设计：React采用声明范式，你可以轻松描述你的应用&/p&&p&高效：Reeact通过对DOM的模拟表现，最大限度地较少与DOM的交互。&/p&&p&灵活：React可以与你所知道的库或框架很好地工作。&/p&&br&&h2&&b&&u&6、&a href=&http://link.zhihu.com/?target=https%3A//github.com/angular/angular.js& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&angular.js&/a&&/u&&/b&&/h2&&ul&&li&&u&&i&语言：JavaScript&/i&&/u&&br&&/li&&li&&u&&i&Stars：54045&/i&&/u&&br&&/li&&/ul&&br&&p&&figure&&img src=&http://pic2.zhimg.com/v2-d6530dbe2a1ae91ee84f97f979a0bf59_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic2.zhimg.com/v2-d6530dbe2a1ae91ee84f97f979a0bf59_r.png&&&/figure&Angular JS (Angular.JS) 是一组用来开发 Web 页面的框架、模板以及数据绑定和丰富 UI 组件。它支持整个开发进程，提供 Web 应用的架构，无需进行手工 DOM 操作。 AngularJS 很小，只有 60K，兼容主流浏览器，与 jQuery 配合良好。&br&&/p&&p&数据绑定可能是 AngularJS 最酷最实用的特性。它能够帮助你避免书写大量的初始代码从而节约开发时间。一个典型的 Web 应用可能包含了 80% 的代码用来处理，查询和监听 DOM。数据绑定使得代码更少，你可以专注于你的应用。&/p&&br&&h2&&b&&u&7、&a href=&http://link.zhihu.com/?target=https%3A//github.com/sindresorhus/awesome& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&sindresorhus/awesome&/a&&/u&&/b&&/h2&&ul&&li&&i&&u&Stars：48631&/u&&/i&&br&&/li&&/ul&&br&&p&在Github，有很多人在想，这里有啥好项目，所以就有了 AWESOME项目，这是个高能的项目！有很多你想要的资源。&/p&&br&&h2&&b&&u&8、&a href=&http://link.zhihu.com/?target=https%3A//github.com/getify/You-Dont-Know-JS& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&getify/You-Dont-Know-JS&/a&&/u&&/b&&/h2&&ul&&li&&i&&u&Stars：47641&/u&&/i&&/li&&/ul&&br&&p&&figure&&img src=&http://pic1.zhimg.com/v2-892d7ea65a8d2c470f4d573af9705140_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic1.zhimg.com/v2-892d7ea65a8d2c470f4d573af9705140_r.png&&&/figure&这个项目是一系列从浅入深的介绍JavaScript的书籍。你可以免费的阅读它，当然你也可以选择购买而支持他们。&/p&&p&引用&a class=&internal& href=&https://www.zhihu.com/people/zeke&&赵望野&/a&老师的评价&/p&&blockquote&总体来说这个系列书籍真的是非常出色的，出色到什么地步呢？无论你做了多久 JavaScript 相关的开发，几乎都能在这个系列书籍中找到一些自己遗漏掉的知识点。&br&&/blockquote&&br&&h2&&b&&u&9、&a href=&http://link.zhihu.com/?target=https%3A//github.com/FortAwesome/Font-Awesome& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&FortAwesome/Font-Awesome&/a&&/u&&/b&&/h2&&ul&&li&语言：HTML&/li&&li&Stars：47331&/li&&/ul&&figure&&img src=&http://pic1.zhimg.com/v2-abe8d7e0948d27daee1aa_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic1.zhimg.com/v2-abe8d7e0948d27daee1aa_r.png&&&/figure&&p&Font Awesome为您提供可缩放的矢量图标，您可以使用CSS所提供的所有特性对它们进行更改，包括：大小、颜色、阴影或者其它任何支持的效果。&br&&/p&&br&&h2&&b&&u&10、&a href=&http://link.zhihu.com/?target=https%3A//github.com/robbyrussell/oh-my-zsh& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&robbyrussell/oh-my-zsh&/a&&/u&&/b&&/h2&&ul&&li&&i&&u&语言：Shell&/u&&/i&&/li&&li&&i&&u&Stars：47047&/u&&/i&&/li&&/ul&&p&&figure&&img src=&http://pic1.zhimg.com/v2-2ab46b47e46a0beb5ffcb95921abe6f8_b.png& data-rawwidth=&1920& data-rawheight=&950& class=&origin_image zh-lightbox-thumb& width=&1920& data-original=&http://pic1.zhimg.com/v2-2ab46b47e46a0beb5ffcb95921abe6f8_r.png&&&/figure&oh-my-zsh是基于zsh的功能做了一个扩展，方便的插件管理、主题自定义，以及漂亮的自动完成效果。&br&&/p&&p&今天就到这里，还有很多，但是我们会发现很多都是&b&JavaScript&/b&的项目，当然这也是JavaScript的发展趋势，早些时候GitHub的年度报告中Js就已经成为了最流行的语言。&/p&&p&另一种就是学习编程资源整合的项目，这个不难理解，每个人都喜欢整合资源，这样对于我们这些懒人来说，学习起来就相对的很轻松。下面的文章中将会按照部分去整理：&/p&&ul&&li&Python最受欢迎的项目&br&&/li&&li&Java最受欢迎的项目等等&br&&/li&&/ul&&br&&p&当然，如果你想第一时间知道这些项目，可以关注公众号（&b&一个程序员的日常&/b&）&/p&&figure&&img src=&http://pic2.zhimg.com/v2-2eabca585e938a_b.jpg& data-rawwidth=&1023& data-rawheight=&424& class=&origin_image zh-lightbox-thumb& width=&1023& data-original=&http://pic2.zhimg.com/v2-2eabca585e938a_r.jpg&&&/figure&
2016年接近尾声，在最近的几篇文章中，会整理总结一些2016年度开源项目。今天整理的是：2016年度GitHub最受欢迎的开源项目总榜。在过去的2016年里面，GitHub最受欢迎、Stars最多的项目分别是哪些呢？赶紧来，看看文章跟着这些伟大的项目学习起来。1、
&p&感谢 &a href=&https://www.zhihu.com/people/c019a0fdc8231& data-hash=&c019a0fdc8231& class=&member_mention& data-hovercard=&p$b$c019a0fdc8231&&@楚天阔&/a&（&a href=&https://link.zhihu.com/?target=https%3A//github.com/tkchu& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&tkchu&/a&）编写脚本及整理中文译本数据，自动从&a href=&https://zhuanlan.zhihu.com/p/& class=&internal&&英文版&/a&生成中文版，SVG / PDF 版本中的书籍图片现在链接至豆瓣页面。&/p&&p&Github &a href=&https://link.zhihu.com/?target=https%3A//github.com/miloyip/game-programmer/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&miloyip/game-programmer&/a&&/p&&p&检视／下载中文版 &a href=&https://link.zhihu.com/?target=https%3A//miloyip.github.io/game-programmer/game-programmer-zh-cn.svg& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SVG&/a& / &a href=&https://link.zhihu.com/?target=https%3A//miloyip.github.io/game-programmer/game-programmer-zh-cn.pdf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PDF&/a&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-1adb68e99f698bb472fa_b.jpg& data-rawwidth=&800& data-rawheight=&18552& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&https://pic4.zhimg.com/v2-1adb68e99f698bb472fa_r.jpg&&&/figure&
感谢 （）编写脚本及整理中文译本数据，自动从生成中文版，SVG / PDF 版本中的书籍图片现在链接至豆瓣页面。Github 检视／下载中文版
&figure&&img src=&https://pic2.zhimg.com/v2-bb11b3cdf47c9f2d0022_b.jpg& data-rawwidth=&600& data-rawheight=&360& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic2.zhimg.com/v2-bb11b3cdf47c9f2d0022_r.jpg&&&/figure&&blockquote&之前整理过很多的有关于Python的学习资料，都是有关于&b&Python2.x&/b&的资料。我们都知道&b&Python3.x&/b&已经存在很长一段时间了：3.x改进了的标准库模块、安全性以及bug修复。随着3.x不断的更新以及不断壮大，很多人逐渐的从2.x转向3.x&b&。&/b&&/blockquote&上一篇文章已经整理介绍了最基本的Python3.x的学习资料，按照上一篇最后挖下的坑，今天将进行整理一些Python3.x关于爬虫方面的学习资料。&br&&ul&&li&如果你还在使用Python2.x你可以仔细阅读一下这篇文章&br&&/li&&a href=&https://zhuanlan.zhihu.com/p/?refer=passer& class=&internal&&Python3.x基础学习资料整理&/a&&br&&li&如果你想学习Python2.x大环境下的Python爬虫，推荐这篇文章&br&&/li&&a href=&https://zhuanlan.zhihu.com/p/?refer=passer& class=&internal&&如何学习Python爬虫[入门篇]？ - 知乎专栏&/a&&/ul&&br&&p&（一）Python3爬虫入门（来自博客：&a href=&https://link.zhihu.com/?target=http%3A//jecvay.com/2014/09/python3-web-bug-series1/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&零基础自学用Python 3开发网络爬虫&/a&）&br&&/p&&p&很适合什么都不会的小白入门，如果你之前做过请跳过此教程&/p&&a href=&https://link.zhihu.com/?target=https%3A//jecvay.com/2014/09/python3-web-bug-series1.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&用Python 3开发网络爬虫(一)&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//jecvay.com/2014/09/python3-web-bug-series2.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python 3开发网络爬虫(二): 用到的数据结构简介以及爬虫Ver1.0 alpha&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//jecvay.com/2014/09/python3-web-bug-series3.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python 3开发网络爬虫(三): 伪装浏览器君&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//jecvay.com/2014/10/python3-web-bug-series4.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python 3开发网络爬虫(四): 登录&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//jecvay.com/2015/02/python3-web-bug-series5.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python 3开发网络爬虫(五): 使用第三方模块快速抓取与解析&/a&&p&（二）熟练的掌握Requests库（&a href=&https://link.zhihu.com/?target=https%3A//www.gitbook.com/book/germey/python3webspider& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&用Python3开发爬虫 · GitBook&/a&）&/p&&p&如果你还在使用urllib，赶紧快来使用requests库吧！&/p&&a href=&https://link.zhihu.com/?target=https%3A//germey.gitbooks.io/python3webspider/content/32-%25E4%25BD%25BF%25E7%requests.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&3.2 使用requests · 利用Python3开发爬虫&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//germey.gitbooks.io/python3webspider/content/321-%25E5%25AE%%25A3%2585requests.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&3.2.1 安装requests&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//germey.gitbooks.io/python3webspider/content/322-requests%25E7%259A%%259F%25BA%25E6%259C%25AC%25E4%25BD%25BF%25E7%.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&3.2.2 requests的基本使用&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//germey.gitbooks.io/python3webspider/content/323-requests%25E7%259A%%25AB%%25BA%25A7%25E4%25BD%25BF%25E7%.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&3.2.3 requests的高级使用&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//germey.gitbooks.io/python3webspider/content/324-requests%25E7%259A%2584request%25E5%25AF%25B9%25E8%25B1%25A1%25E4%25BD%25BF%25E7%.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&3.2.4 requests的Request对象使用&/a&&br&&p&（三）以上的教程比较零散，如果你想要系统的学习一下Python3爬虫，建议阅读一下这本书&/p&&p&&figure&&img src=&https://pic4.zhimg.com/v2-42d62baa636b_b.jpg& data-rawwidth=&350& data-rawheight=&350& class=&content_image& width=&350&&&/figure&建议买本书，当然如果你想看电子版，这里也有：&/p&&a href=&https://link.zhihu.com/?target=http%3A//download.csdn.net/detail/moshuqi1/9653698& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python网络数据采集.pdf - 下载频道 - CSDN.NET&/a&&br&&p&上面的下载可能需要3个积分，如果你没有积分，可以关注专栏的公众号（&b&一个程序员的日常&/b&）回复关键词：“&b&采集&/b&” ，获得一个免费的高清pdf版本。更多编程资源，关注此公众号。&/p&&p&这本书以Python3为基础，系统的讲解了Python3爬虫最基本的方案。&/p&&div class=&highlight&&&pre&&code class=&language-text&&&span&&/span&第一部分　创建爬虫 阅读
第 1 章　初见网络爬虫 阅读
第 2 章　复杂 HTML 解析
第 3 章　开始采集
第 4 章 使用 API
第 5 章　存储数据
第 6 章　读取文档
第二部分　高级数据采集
第 7 章　数据清洗
第 8 章　自然语言处理
第 9 章　穿越网页表单与登录窗口进行采集
第 10 章　采集 JavaScript
第 11 章　图像识别与文字处理
第 12 章　避开采集陷阱
第 13 章　用爬虫测试网站
第 14 章　远程采集
附录 A　Python 简介
附录 B　互联网简介
附录 C　网络数据采集的法律与道德约束
&/code&&/pre&&/div&&p&（三）学习使用&b&Scrapy&/b&&/p&&blockquote&&p&Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。&/p&&p&其最初是为了 &a class=& wrap external& href=&https://link.zhihu.com/?target=http%3A//en.wikipedia.org/wiki/Screen_scraping& target=&_blank& rel=&nofollow noreferrer&&页面抓取&/a& (更确切来说, &a class=& wrap external& href=&https://link.zhihu.com/?target=http%3A//en.wikipedia.org/wiki/Web_scraping& target=&_blank& rel=&nofollow noreferrer&&网络抓取&/a& )所设计的， 也可以应用在获取API所返回的数据(例如 &a class=& wrap external& href=&https://link.zhihu.com/?target=http%3A//aws.amazon.com/associates/& target=&_blank& rel=&nofollow noreferrer&&Amazon Associates Web Services&/a& ) 或者通用的网络爬虫。&/p&&/blockquote&&p&学习Scrapy最好的方式就是看文档：&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Scrapy入门教程 - Scrapy 1.0.5 文档&/a&&/p&&p&部分目录如下：&/p&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/item-pipeline.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Item Pipeline - Scrapy 1.0.5 文档&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/feed-exports.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Feed exports - Scrapy 1.0.5 文档&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/request-response.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Requests and Responses&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/exceptions.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&异常(Exceptions) - Scrapy 1.0.5 文档&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/stats.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&数据收集(Stats Collection)&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/debug.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&调试(Debugging)Spiders - Scrapy 1.0.5 文档&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/practices.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&实践经验(Common Practices)&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/broad-crawls.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&通用爬虫(Broad Crawls)&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/firefox.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&借助Firefox来爬取 - Scrapy 1.0.5 文档&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/media-pipeline.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&下载及处理文件和图片 - Scrapy 1.0.5 文档&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//scrapy-chs.readthedocs.io/zh_CN/1.0/topics/jobs.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&暂停，恢复爬虫 - Scrapy 1.0.5 文档&/a&&br&&br&&p&文档中有一些Scrapy项目，这里再推荐一些项目（整理自网络）&/p&&a href=&https://link.zhihu.com/?target=http%3A//www.cnblogs.com/huhuuu/p/3706994.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&使用scrapy框架爬取自己的博文 - huhuuu - 博客园&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//www.cnblogs.com/Shirlies/p/4536880.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Scrapy爬虫入门教程、爬虫实例（豆瓣电影爬虫）&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//blog.csdn.net/hantangsongming/article/details/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python爬虫框架Scrapy实战之定向批量获取职位招聘信息 &/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//blog.chinaunix.net/uid--id-4765481.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&scrapy实战百度百科数据抓取&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//blog.csdn.net/happyAnger6/article/details/Futm_source%3Ditdadao%26utm_medium%3Dreferral& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&scrapy实战爬取链家网的二手房信息&/a&&br&&br&&p&（四）Python3一些实战项目，整理来自网络&br&&/p&&a href=&https://link.zhihu.com/?target=http%3A//www.jianshu.com/p/1be3d90b4c5f& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python3爬虫入门实战（一）豆瓣读书&/a&&br&&a href=&https://link.zhihu.com/?target=http%3A//blog.csdn.net/drdairen/article/details/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python3爬虫实战：爬取大众点评网某地区所有酒店相关信息&/a&&br&&a href=&https://link.zhihu.com/?target=https%3A//github.com/xchaoinfo/fuck-login& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&xchaoinfo/fuck-login&/a&&br&&br&&b&学习编程，欢迎关注专栏：&a href=&https://zhuanlan.zhihu.com/passer& class=&internal&&学习编程 - 知乎专栏&/a&&/b&
之前整理过很多的有关于Python的学习资料，都是有关于Python2.x的资料。我们都知道Python3.x已经存在很长一段时间了：3.x改进了的标准库模块、安全性以及bug修复。随着3.x不断的更新以及不断壮大，很多人逐渐的从2.x转向3.x。上一篇文章已经整理介绍了最基…
有些同行觉得我五分钟十分钟啥的有点太快，但这还真不是编出来的，好歹当年干过ACM，虽然很渣，但是写代码也不至于太丢人。记得有一年亚洲预选现场赛，北大神牛们在一分多钟的时候AC了first blood，一分多钟包括读完200词的英文题目，看完样例和写完一百行左右的代码，这速度深深震惊了我。相比那些人，我还没边呢。&br&&br&不得不说，会编程，或者会一些奇巧淫技对日常办公真的非常有帮助，别人一天昨晚的你可能一分钟就能做完。复杂度O(n?)&&O(1)无限得意。对于工作效率提高简直了，可以节省大把时间。&br&&br&1、有次大学老师给学生会一个文档，非常的杂乱无章，要从中挑出电子邮件和对应的姓名，然后上传到学校某个教务网站，大概如下:&br&#:﹉/!#_*/,/&_﹉_王大锤#(,(~@)){}﹉&#'s%....&br&&br&一共一万＋的数据量，几个小伙伴懵逼，商量了半天怎么分工，多久做出来，然而在他们商量的五分钟之内已经用php撸完了代码，把文本扔进去瞬间出结果，存成csv上传完毕。他们分分羡慕不已，于是晚上白吃了一顿饭。&br&&br&2、大二时候给一税务学校做了一套学习考试系统，既能学习税务相关知识还能考试，其中有一个栏目是税务相关法规，大概有一千多篇文章，他们把这些文章从国税总局网站上保存下来就直接给我了，让我放进后台数据里。我看了下规模，如果我要动手自己一篇一篇后台添加得累死。果断装了jdk＋eclipse，用java撸了一个程序，从本地读入网页内容，然后剔除网页标签，直接存进数据库，写了20分钟，跑了一分钟，不到半小时搞定。然后给我三千块钱。现在想想，那个系统应该卖五千的。不过后来他们每个月叫我过去维护一次学校机房，一个月给我一千块，大学从他们那儿赚了两万块。&br&&br&3、大家有没有遇到有些在线媒体难下载的，要注册或者收费才能下载歌下载电影，不然只能在线播放，一般来说只需要打开谷歌或者360浏览器的控制台或者火狐的firebug,就能找到加载中的网络资源真实地址，然后一键get。&br&&br&4、之前帮女票整理公开课，她看完一部网易云公开课之后觉得非常好。想把讲课内容整理成文字档，其中有一部分有字幕，通过firebug找到字幕来源。然后下载，用notepad＋＋打开，用正则做个替换，去除无用的控制信息，然后扔进word排版搞定。&br&还有一部分没字幕的，用手机播放，然后电脑下载科大讯飞语音输入法，边听边录入，正确率高达百分之九十，后期修缮一下，妥妥搞定。&br&&br&整理了一下记忆，发现对于日常办公有用的基本上就这么几种类型。&br&第一种:字符处理问题，要么找出特定格式的文字，要么替换特定的文字，要么把某些文字改成其他文字。&br&解决办法:要么就会一门编程语言，要么就学会正则表达式，除此之外没有太好的办法。编程语言推荐javascript。因为你不用安装任何环境，有浏览器就行。&br&&br&第二种:重复操作问题，比如需要在几个地方重复操作几百次，需要批处理。&br&解决办法:按键精灵，不得不说，简直就是很6。&br&&br&待续～
有些同行觉得我五分钟十分钟啥的有点太快，但这还真不是编出来的，好歹当年干过ACM，虽然很渣，但是写代码也不至于太丢人。记得有一年亚洲预选现场赛，北大神牛们在一分多钟的时候AC了first blood，一分多钟包括读完200词的英文题目，看完样例和写完一百行…
&p&update:&br&&br&成绩出来了，数学爆炸118，浙江6900名，再见ZJU!&br&============================================&/p&&p&then：去了四川大学计算机系.&/p&&p&高中生，第一次看到了一个可以回答的问题。&br&浙江的，从今年开始，教育厅不把成绩打包发给学校了。。。。。。可是，学校需要知道所有学生的学考选考成绩才能做决策啊！！&br&怎么办呐？&/p&&p&我的学校是这样解决的：自己周末查好自己的成绩，记住。&br&返校后，填在一张表格上。&br&每个班拎一个人出来录入本班的成绩。&/p&&p&我是录入的人之一啊》。。过于痛苦，因为每个人的学考选考考试都是不一样的。找对应的格子眼睛都酸了。&br&当时（一个月前），正好激情澎湃想学一点爬虫。然后直接干上了。&br&因为学校有所有学生的身份证，又会有所有的准考证，那么理论上，是可以用程序一下子查完全校所有学生的成绩的。&/p&&p&于是开始写程序。&br&开始什么都不懂，python都没碰过，连爬虫是什么都不知道。&br&然后用少的可怜的课余时间上网自学。&br&开始弄清HTTP、HTML、python语法。&br&程序是这么设定的：&br&给它一个有对应身份证和准考证号码的excel文件，自动输出查询结果。&/p&&p&现在已经100%完成了。&br&写代码时的插曲：&br&1、发现验证码是在HTTP response里面明文写着的。当时激动跪了。用chrome看request和response的header和表单数据，发现出奇的简单。于是没有引入处理cookie的库，直接在程序里用python强大的文本操作能力解决了。&br&2、浙江省教育考试院的服务器有一定的反爬机制，所以只能两秒钟获取一个数据才不会被拒掉。&br&3、自己一个人潜下心来干的时候，效率是最高的。&/p&&p&用批处理运行pip install自动安装库，自动运行主程序。&br&贴代码图一张：&/p&&figure&&img src=&https://pic2.zhimg.com/f176f5f504dc96b1ae57b100f2f755ad_b.png& data-rawwidth=&807& data-rawheight=&867& class=&origin_image zh-lightbox-thumb& width=&807& data-original=&https://pic2.zhimg.com/f176f5f504dc96b1ae57b100f2f755ad_r.png&&&/figure&&p&成果：&/p&&figure&&img src=&https://pic1.zhimg.com/7fdde26d4f4edbd7aa4c872e5e595498_b.png& data-rawwidth=&800& data-rawheight=&860& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&https://pic1.zhimg.com/7fdde26d4f4edbd7aa4c872e5e595498_r.png&&&/figure&&p&（已经隐藏第一列的准考证号，删除了第一行对应的科目。这些数据不是我们学校的，它们范围更广。）&/p&&p&运行的时候：&/p&&figure&&img src=&https://pic1.zhimg.com/103e53bc3d4b987ef94c9c_b.jpg& data-rawwidth=&677& data-rawheight=&493& class=&origin_image zh-lightbox-thumb& width=&677& data-original=&https://pic1.zhimg.com/103e53bc3d4b987ef94c9c_r.jpg&&&/figure&&p&傻傻的批处理：&/p&&figure&&img src=&https://pic1.zhimg.com/1ac687ca31f3f2c4d2df70_b.png& data-rawwidth=&401& data-rawheight=&345& class=&content_image& width=&401&&&/figure&&p&主要功能：&br&1、支持断点，每一次打开都会检测上一次下载到哪里。&br&2、容错。有关文件的、有关网络的错误都会给出提示，不会爆掉&/p&&p&这便是人生中第一个有使用价值的程序。 &/p&&p&现在高二。 想进ZJU 读CS。&/p&
update: 成绩出来了，数学爆炸118，浙江6900名，再见ZJU! ============================================then：去了四川大学计算机系.高中生，第一次看到了一个可以回答的问题。 浙江的，从今年开始，教育厅不把成绩打包发给学校了。。。。。。可是，学校需…
&figure&&img src=&https://pic3.zhimg.com/v2-caf0cc7f241a39a239c10d_b.jpg& data-rawwidth=&950& data-rawheight=&490& class=&origin_image zh-lightbox-thumb& width=&950& data-original=&https://pic3.zhimg.com/v2-caf0cc7f241a39a239c10d_r.jpg&&&/figure&&p&在过去的一年里，软件开发行业继续大踏步地向前迈进。回顾 2016 年，我们看到了更多新兴的流行语言、框架和工具，它们改变着我们的工作方式，让我们看到更多的可能。但在这个行业，紧随潮流是很难的。所以在每年年底，我们都会给你提供一些建议，它涉及什么是最重要的，以及你在未来一年中应该学习什么。&/p&&h2&大趋势&/h2&&p&&strong&渐进式 Web Apps&/strong&&/p&&p&在 2016 年里，我们见证了 &a href=&https://link.zhihu.com/?target=https%3A//developers.google.com/web/progressive-web-apps/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Progressive Web App&/a& 概念的蓬勃兴起。它意味着 Web 应用程序可以离线工作，并能提供原生移动应用的体验。它们可以添加到你的智能设备的主屏幕上，甚至可以给你发送推送通知，从而弥补与原生移动应用程序的差距。我们认为，在 2017 年，渐进式 Web Apps 将变得更加重要，也值得我们去探究。在这里&a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/2016/09/everything-you-should-know-about-progressive-web-apps/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&查看相关概述&/a&。&/p&&p&&strong&聊天机器人&/strong&&/p&&p&从运行聊天机器人的平台到构建其的框架，现在每个人都在谈论它。而社区里也正忙于此活动。（&a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/2016/11/introduction-to-chatbots/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&阅读我们的介绍&/a&）机器人是一款新兴的移动应用程序，它让我们感到兴奋。如果你快点的话，还可以赶得上这波浪潮。然而一旦新鲜感消失，那么它只会承担一些无聊的角色，例如自动化的客服支持。但是，相信我们可以实现梦想。&/p&&p&&strong&前端框架的合并&/strong&&/p&&p&在 JavaScript 社区，随着令人难以置信的框架和工具的混合，每周都会出现新的东西。直到最近，人们希望旧工具将被新工具所取代，但这不是 2016 年我们所想看到的。相反，我们看到了流行框架交换的想法，以及纳入新诞生框架中的创新元素。所以在 2017 年，你该选择哪个 JS 框架无关紧要，因为它们的功能大多是可以比较的。&/p&&p&&strong&云端&/strong&&/p&&p&就目前的形势看，众多的公司与开发者们都在积极地拥抱“云”。云是可根据不同的需求，并通过控制面板来完全配置的虚拟化计算机基础设施。目前三大云提供商为亚马逊 AWS、Google Cloud 和 微软 Azure. 由于它们的竞争价格一直在下跌，使得小公司和个人开发者也可以将云纳入其预算中，所以熟悉云工作流程将是 2017 年的一笔不错的投资。&/p&&p&&strong&机器学习&/strong&&/p&&p&机器学习（ML）在去年一年中呈现爆炸式的增长。三月份 &a href=&https://link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/AlphaGo_versus_Lee_Sedol& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&AlphaGo 与李世石的精彩对决&/a&，也让它成为了焦点。从原始数据中学习的智能计算机系统，正在改变我们与移动设备的交互方式。看样子，机器学习将在 2017 年成为更大的影响因素。&/p&&br&&br&&figure&&img src=&https://pic1.zhimg.com/v2-f5ce836cd2d01c50a36b6_b.jpg& data-rawwidth=&785& data-rawheight=&340& class=&origin_image zh-lightbox-thumb& width=&785& data-original=&https://pic1.zhimg.com/v2-f5ce836cd2d01c50a36b6_r.jpg&&&/figure&&h2&编程语言&/h2&&p&&strong&JavaScript&/strong& 继续迈着令人难以置信的创新步伐在前进。由于 Web 浏览器的快速发布计划，JS 的标准定为了每年更新。故“&a href=&https://link.zhihu.com/?target=https%3A//github.com/tc39/proposals/blob/master/finished-proposals.md& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ES2017&/a&”预计将在 2017 年中期完成，它也将带来 JS 开发者梦寐以求的新特性——用于处理异步函数的аsync/аwait。同时要感谢 &a href=&https://link.zhihu.com/?target=https%3A//babeljs.io/docs/plugins/preset-es2017/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Babel&/a& ，因为你现在可以在每个浏览器中编写 ES2017 了。&/p&&p&&strong&TypeScript 2.1&/strong& 于 2016 年年底&a href=&https://link.zhihu.com/?target=https%3A//blogs.msdn.microsoft.com/typescript//announcing-typescript-2-1/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发布&/a&，它将为旧浏览器带来Async/Await异步解决方案，并改进了类型推断。TypeScript 是一种编译为纯 JavaScript 的静态类型语言。它增强了经典的 OOP 模型和可选的静态类型，使大代码库更易于维护。同时，它也是编写 Angular 2 应用程序的首选语言，我们建议你可以尝试下。 这是关于它的&a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/2016/07/learn-typescript-in-30-minutes/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&快速入门指南&/a&。&/p&&p&&strong&C#7.0&/strong& 预计在 2017 年发布，作为一门优秀的编程语言，它也将得到更大的改进。当微软推出开源的 Visual Studio 代码编辑器和 .Net Core 时，这一举动让众人都感到惊讶万分。它们不仅可以在 Linux、Windows 和 macOS 操作系统中运行，而且你可以在 C＃ 中编写快速、高效的应用程序（&a href=&https://link.zhihu.com/?target=https%3A//docs.microsoft.com/en-us/dotnet/articles/core/index& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&在这里&/a&阅读更多）。同时，这两种工具也都形成了充满活力的社区。相信，它们将在 2017 年会给我们带来更多的惊喜。&/p&&p&Python 3.6 版本将于 12 月&a href=&https://link.zhihu.com/?target=https%3A//docs.python.org/3.6/whatsnew/3.6.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发布&/a&。它正在巩固自身在开发人员、IT 专业人员和科学家在脚本语言选择中的地位。它适用于自动化、Web开发、机器学习和科学计算。虽然 Python 2.X 与 3.X 版本的割裂，对于社区来说是一个长达数年的斗争，但是就目前而言，你可以自信地选择 Python 3 并享受完整的库支持。而对于那些需要额外性能的朋友，建议你们看看 &a href=&https://link.zhihu.com/?target=http%3A//pypy.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyPy&/a&，一个可启用 Python 运行时 JIT 的替代品。&/p&&p&&strong&Ruby 2.3&/strong& 已在今年早些时候&a href=&https://link.zhihu.com/?target=https%3A//www.ruby-lang.org/en/news//ruby-2-3-0-released/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发布&/a&了，并带来了一些性能上的改进。同时，Ruby 也是学习通用脚本语言的一个好选择，但是只有当它和 Rails 相配合的时候才能发挥出其最大的功效。伴随 Ruby 3×3 计划的宣布，也促使了即将到来的 Ruby 3 版本比当前版本的运行速度快 3 倍。而你也可以在更多的情景中，打开使用 Ruby 的大门。&/p&&p&&strong&PHP 7.1&/strong& 版本已在 12 月&a href=&https://link.zhihu.com/?target=http%3A//php.net/manual/en/migration71.php& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发布&/a&，并对该语言进行了小范围的增强。这个版本基于了去年 7.0 版本主要性能的改进，将 PHP 转变为构建 Web 应用程序的快速平台。如果你打算学习，我们推荐你看看 &a href=&https://link.zhihu.com/?target=http%3A//www.phptherightway.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PHP 之道&/a&中的最佳实践。&/p&&p&&strong&Java 9&/strong& 预计在 2017 年发布，它将带来一些备受开发者们所欢迎的新功能，例如评估代码的 repl、HTTP 2.0 的支持以及一些新的 API . 对于有才能的 Java 开发人员和广泛使用该语言进行项目研发的人来说，他们对这些新特性是有强烈需求的。如果 Java 不是你的“菜”，这里还有一些基于 JVM 的编程语言，像 &a href=&https://link.zhihu.com/?target=https%3A//kotlinlang.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Kotlin&/a& 和 &a href=&https://link.zhihu.com/?target=https%3A//www.scala-lang.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Scala&/a&，你也可以了解下。&/p&&p&&strong&Swift 3&/strong& 已经在今年早些时候发布了。简化 iOS 和 MacOS 上应用程序的开发，是苹果公司对现代编程语言的愿景。由于 Swift 是&a href=&https://link.zhihu.com/?target=https%3A//github.com/apple/swift& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&开源&/a&的，所以也涌现了大量的社区。Swift 4 计划于 2017 年发布，此版本将会改进语言并引入服务器 API，致力使其成为编写 Web 应用程序和后端的不错选择。&/p&&p&如果你在寻找一些让你感到兴奋的东西，你可以尝试下 &a href=&https://link.zhihu.com/?target=https%3A//crystal-lang.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Crystal&/a& 和 &a href=&https://link.zhihu.com/?target=http%3A//elixir-lang.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Elixir&/a&。它们都拥有类似与 Ruby 的友好语法以及卓越的性能，或者你也可以看看类似于 &a href=&https://link.zhihu.com/?target=https%3A//www.haskell.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Haskell&/a& 或 &a href=&https://link.zhihu.com/?target=https%3A//clojure.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Clojure&/a& 这类函数式语言。另外两种快速编程语言，我们推荐给你 &a href=&https://link.zhihu.com/?target=https%3A//www.rust-lang.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Rust&/a& 和 &a href=&https://link.zhihu.com/?target=https%3A//golang.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Go&/a& 语言。&/p&&p&&strong&挑一个或多个学习：&/strong& JS (ES2017)、TypeScript、C#、Python、Ruby、PHP7、Java/Kotlin/Scala.&/p&&br&&figure&&img src=&https://pic2.zhimg.com/v2-bc1b1d8e358_b.jpg& data-rawwidth=&785& data-rawheight=&340& class=&origin_image zh-lightbox-thumb& width=&785& data-original=&https://pic2.zhimg.com/v2-bc1b1d8e358_r.jpg&&&/figure&&h2&前端&/h2&&p&近期 Web 平台取得了两个重大的进展：&a href=&https://link.zhihu.com/?target=http%3A//webassembly.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Web Assembly&/a& 字节码技术和 &a href=&https://link.zhihu.com/?target=https%3A//developer.mozilla.org/en/docs/Web/API/Service_Worker_API& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Service Workers&/a& 技术。它们打开了快速、高效的 Web 应用程序的大门，并且有效的弥补了编译本地应用上的差距。Service Workers 是针对渐进式 Web App 的启动技术，它为 Web 平台提供了通知上的支持，将来也会有更多的 API.&/p&&p&&strong&Angular.js 2&/strong& 在今年也已经&a href=&https://link.zhihu.com/?target=https%3A//angular.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发布&/a&了。该框架由 Google 进行维护，受到了众多企业和大公司的青睐。它所具备众多的功能，也为从网络到桌面以及移动应用程序中编写任何东西成为了可能。而它的框架也是用 TypeScript 所编写的，这也是写应用程序推荐的编程语言。虽然学习它还需要阅读更多的内容，但我们认为在 2017 年学习 Angular 2 将是一个很不错的投资。&/p&&p&在今年我们也看到了 &strong&Vue.js&/strong&&a href=&https://link.zhihu.com/?target=https%3A//medium.com/the-vue-point/vue-2-0-is-here-ef1f26acf4b8& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&2.0 版本的发布&/a&，它借鉴了 Angular，React 和 Ember 中好的想法，并且比前两个框架更轻量、更快速。我们建议你今年要试一试，你可以从我们的 &a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/tag/vue-js/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Vue.js 教程&/a&开始。&/p&&p&&strong&&a href=&https://link.zhihu.com/?target=http%3A//emberjs.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Ember&/a&&/strong& 是 JavaScript 框架的另一个不错的选择。它支持数据双向绑定，并能够自动更新模板、组件以及服务器端渲染。与其他竞争者相比，使用它的好处是它更加成熟与稳定，而其框架的重大更改频率之低，社区重视向后的兼容性，也使得此框架成为开发较长生命周期的应用程序的不二之选。&/p&&p&另外两个值得一提的框架是 &a href=&https://link.zhihu.com/?target=http%3A//aurelia.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Aurelia&/a& 和 &a href=&https://link.zhihu.com/?target=https%3A//facebook.github.io/react/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&React&/a&。在过去的一年里 React 的生态系统变得越来越复杂，因此很难推荐给初学者。但经验丰富的开发者可以将库与 &a href=&https://link.zhihu.com/?target=http%3A//graphql.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GraphQL&/a&、&a href=&https://link.zhihu.com/?target=https%3A//facebook.github.io/relay/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Relay&/a&、&a href=&https://link.zhihu.com/?target=http%3A//facebook.github.io/flux/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Flux&/a& 和 &a href=&https://link.zhihu.com/?target=http%3A//facebook.github.io/immutable-js/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Immutable.js&/a& 组合成一个全面完整的全栈解决方案。&/p&&p&没有提及 &strong&&a href=&https://link.zhihu.com/?target=http%3A//getbootstrap.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Bootstrap&/a&&/strong& 的前端终归是不完整的。而 Bootstrap 4 目前也正处于 Alpha 阶段，预计在 2017 年发布。值得关注的变化是新的通用卡片组件和 Flexbox 网格（查看与&a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/2016/11/boostrap-4-regular-vs-flex-grid/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&常规网格的对比&/a&），这使得框架更加现代化，并且让用户使用它进行工作时更加得舒心。&/p&&p&&strong&&a href=&https://link.zhihu.com/?target=http%3A//sass-lang.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SASS&/a&&/strong& 和 &strong&&a href=&https://link.zhihu.com/?target=http%3A//lesscss.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LESS&/a&&/strong& 仍然是当前最流行的两种 CSS 预处理器。尽管 Vanilla CSS 已经实现了对变量的支持，但对 mixins、函数和代码组织上的支持，SASS 和 LESS 依然更胜一筹。如果您还没有了解它们，可以看看我们的 &a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/2016/01/learn-sass-in-15-minutes/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SASS&/a& 和 &a href=&https://link.zhihu.com/?target=http%3A//tutorialzine.com/2015/07/learn-less-in-10-minutes-or-less/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LESS&/a& 快速入门指南。&/p&&p&&strong&挑一个或多个学习：&/strong&Angular 2、Vue.js、Ember、Bootstrap、LESS/SASS&/p&&br&&figure&&img src=&https://pic1.zhimg.com/v2-f91b76d925c071c6d49eb_b.jpg& data-rawwidth=&785& data-rawheight=&340& class=&origin_image zh-lightbox-thumb& width=&785& data-original=&https://pic1.zhimg.com/v2-f91b76d925c071c6d49eb_r.jpg&&&/figure&&h2&后端&/h2&&p&后端有众多的选择，但所有的选择都取决于你对编程语言或特定性能需求的偏好上。Web 开发中的一个持续趋势是远离后端的业务逻辑，并将该层转换为由前端和移动应用程序使用的 API 上。但一个全栈的框架通常是能够更简单、快速的应用于开发，并且它仍然是 Web 应用程序最有效的选择。&/p&&p&&strong&Node.js&/strong& 是在浏览器之外运行 JS 的主要方式。在今年，我们也看到了它发布了许多新的版本。除了提升了性能外，也添加了对整个 ES6 规范的覆盖。Node 具有构建快速 API、服务器、桌面应用程序甚至机器人的框架，同时它可以创建想象到的各种模块的庞大社区。这里有一些你可能想研究的框架：&a href=&https://link.zhihu.com/?target=http%3A//expressjs.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Express&/a&、&a href=&https://link.zhihu.com/?target=https%3A//github.com/koajs/koa& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Koa&/a&、&a href=&https://link.zhihu.com/?target=https%3A//github.com/zeit/next.js& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Next&/a&、&a href=&https://link.zhihu.com/?target=http%3A//www.nodaljs.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Nodal&/a&.&/p&&p&&strong&PHP&/strong& 是一种拥有大量 Web 框架可供你选择的 Web 开发语言。由于其拥有出色的文档和功能，&a href=&https://link.zhihu.com/?target=https%3A//laravel.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Laravel&/a& 已建成了一个活跃的社区。Zend Framework 发布了&a href=&https://link.zhihu.com/?target=https%3A//framework.zend.com/blog/-zend-framework-3.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&第 3 版&/a&，这标志着面向业务框架的巨大升级。在今年，我们也看到了 &a href=&https://link.zhihu.com/?target=https%3A//symfony.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Symfony&/a& 发行了很多新的版本，使它成为了全栈解决方案中更好的选择。&/p&&p&对于 &strong&Ruby&/strong& 来说，Rails 框架是首选的。&a href=&https://link.zhihu.com/?target=http%3A//weblog.rubyonrails.org//Rails-5-0-final/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Rails 5.0&/a& 版本已于今年发布，并为 Web Sockets、API 模型等方面提供了支持。对于小型应用程序而言，&a href=&https://link.zhihu.com/?target=http%3A//www.sinatrarb.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Sinatra&/a& 也是一个不错的选择，Sinatra 2.0版本预计在 2017 年发布。&/p&&p&&strong&Python&/strong& 有着以 &a href=&https://link.zhihu.com/?target=https%3A//www.djangoproject.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Django&/a& 和 &a href=&https://link.zhihu.com/?target=http%3A//flask.pocoo.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Flask&/a& 为组合的全栈/迷你型框架。Django 1.10 已在今年 8 月&a href=&https://link.zhihu.com/?target=https%3A//www.djangoproject.com/weblog/2016/aug/01/django-110-released/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&发布&/a&了，它为 Postgres 引入了全文搜索和一个重大修改的中间件层。&/p&&p&&strong&Java&/strong& 的生态系统中，依旧有很多流行的 Web 框架可供你选择。&a href=&https://link.zhihu.com/?target=https%3A//www.playframework.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Play&/a& 和 &a href=&https://link.zhihu.com/?target=http%3A//sparkjava.com/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Spark&/a& 便是两个必备的选择，同时它们也可以与 Scala 一起使用。&/p&&p&对于编程爱好者来说，你还可以选择 &a href=&https://link.zhihu.com/?target=http%3A//www.phoenixframework.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Phoenix&/a&，它是用 &strong&Elixir&/strong& 编写的，它试图成为一个具有卓越的性能，并能完整替代 Rails 功能的框架。如果 Elixir 是你想在 2017 年学习的语言之一，不妨尝试下 Phoenix .&/p&&p&&strong&学习其中之一：&/strong&全栈后端框架、一个微框架&/p&&br&&figure&&img src=&https://pic1.zhimg.com/v2-4893f61aecc05d99e1a1e20ccef0a81d_b.jpg& data-rawwidth=&785& data-rawheight=&340& class=&origin_image zh-lightbox-thumb& width=&785& data-original=&https://pic1.zhimg.com/v2-4893f61aecc05d99e1a1e20ccef0a81d_r.jpg&&&/figure&&h2&数据库&/h2&&p&&strong&PostgreSQL&/strong& 在今年已经发行了两个完整的版本——&a href=&https://link.zhihu.com/?target=https%3A//wiki.postgresql.org/wiki/What%27s_new_in_PostgreSQL_9.5& class=& wr