总会有一篇我的传说：记咸鱼游戏创业之路
第 一次见到卫东冬的时候，在坐诸人之中有另一位来自腾讯的创业者，对他离开腾讯互娱X8有些吃惊，那可是千人瞩目的手游“权力中心”。2014年年尾再次相 见，他调侃到，“大公司就像是一座围城，很多人想冲出去，又有很多人想挤进来”。创办咸鱼游戏时，卫东冬和他的伙伴们并没有十足的把握，只是很单纯地想创 业，想在自己喜欢和擅长的领域做一番事业。
　　第 一次见到卫东冬的时候，在坐诸人之中有另一位来自腾讯的创业者，对他离开腾讯互娱X8有些吃惊，那可是千人瞩目的手游“权力中心”。2014年年尾再次相 见，他调侃到，“大公司就像是一座围城，很多人想冲出去，又有很多人想挤进来”。创办咸鱼游戏时，卫东冬和他的伙伴们并没有十足的把握，只是很单纯地想创 业，想在自己喜欢和擅长的领域做一番事业。
　　“我们都在大公司都打拼了六七年，大公司有安逸的环境，但我们并非甘于安逸的人”。
　　他们希望不错过这难得的浪潮，而且不仅仅是做发行商，长远目标是成为一家更纯粹的游戏公司。可是，即便是这股浪潮最热、手游公司最受追捧的时候，发行商 都不是最被看好的一类——需要资金多、利润率低、风险高。咸鱼游戏可能要算处于相对不利的态势：没有抱渠道大腿，缺少自研团队，而且创始人分居北京深圳两 地。
　　尽管如此，咸鱼游戏依然走出了他们的道路。而且，这条道路看来还相当光明，能给那些质疑发行商价值和发展的人一些解答。
　　创始人集结：因腾讯互娱而相识
　　尽管没有十足的把握，尽管笑谈“也是初生牛犊不怕虎吧”，咸鱼游戏的三位创始人在对团队有足够信心的前提下，才开始了创业之旅——卫东冬在网游运营方面 的经验、沈曌在单机游戏领域的积累、王子臻在运营和渠道方面的资源……创业的伙伴们此前相识已经好几年，而且能力各有互补，要做更懂游戏的公司。
　　卫东冬2008年加入腾讯互娱，见证了它端游的爆发式增长，然后作为腾讯互娱手游团队初创成员，经历了腾讯互娱手游部门的组建和壮大，也见证了整个中国 的智能机手游行业的发展史。他还记得在2011年下半年AppStore开通人民币支付之前的时光，一月的收入为20万美金，黑卡等问题还导致有的产品损 失掉80%的收入。那时手游以单机游戏为主，2012年上半年卫东冬和团队做了十几个项目，12年底开始尝试Android市场的强联网卡牌手游《三国来了》。2013年年中腾讯推出了微信游戏，卫东冬负责重度网游，以ACT、FPS为主。
　　卫东冬在互娱运营部认识了后来运营《七雄争霸》的王子臻，两人在腾讯共事4年，王子臻负责过页游和手游的运营，之后到百度多酷任华南华东区商务负责人。 后来在手游产品部因负责《圣犬帕拉》与沈曌结识。那时有过独立开发经历的沈曌在友盟，推进游戏开发者的合作。2013年年底，他们开始筹备创业，到了 2014年初合伙人们都从上一家公司离职，正式开始确定咸鱼游戏的定位、招募核心成员、找适合发行的产品。他们很快确定了分工，分别负责网游产品线、单机 产品线、渠道关系与平台建设。
　　咸鱼游戏三位创始人认为自己比较幸运，较为顺利的开局让他们更加心存敬畏。他们也明白，创业做发行要有足够的钱、足够的资源以及好的产品。“我们三个人业务能力都没问题，但是钱和资源还是有不足的。我们就把资源、精力都用在产品挑选和运营上。”
　　《狂斩三国2》获苹果官方2014年度精选游戏
　　找产品：重要的是与谁合作而不是盲目砸钱
　　顺利获得第一轮融资并扩大团队后，在挑选和运营产品上，咸鱼游戏交出了第一份优秀的成绩单。“对于游戏公司，一般来说比较安全的方式是找一点做大做强， 但我们开始没有想这么多，我们是有什么样的资源就做什么事。前期来看铺的挺大，风险也挺高，幸运的是做的还都不错。”这一年，他们先是推出了《狂斩三国 2》，到达过AppStore中国区付费下载榜第一，在Grossing榜前五十也待了很多天，最近还被苹果列入2014年度精选。
　　现在在测试当中的《火线三国》，是一款3D动作卡牌网游，被多家渠道评A级推荐。《火线三国》的研发商是上海游点信息，它的CEO田健也是NGA的创始人.
　　咸鱼游戏的策略是单机网游两条腿走路。单机品类又分为两条线，通过《狂斩三国2》那样偏重度的单机游戏保证流水，《求合体2》这样的轻度三消游戏可以用 于增加用户基数，它将会和优酷土豆深度合作，将热门综艺节目和游戏内容做强关联的设计和互动，还会有一些新的跨界和自建IP的玩法。
　　咸鱼游戏旗下产品《求合体2》
　　他们选产品，一是精品原则，尽量选择垂直领域的佼佼者、有未来发展空间的游戏，而不是追逐流行。他们认为，“方向不是说出来的，而是做出来的。也许某一 类型在某个时间段会特别流行，但这是由于市场成熟度不够造成的。成熟的游戏市场，要看游戏品质，到明年每一类游戏都有机会。精品的判断标准也很多，核心是 在于核心娱乐价值，能否给玩家发自内心的放松和愉悦。”
　　第二是要和研发团队在理念和目标上的契合，“和开发者首先是理念和目标上高度统一，之后才是钱，重要的是与谁合作而不是和多少钱合作。真正的游戏人，可以看明白自己是选择短期收益还是长期。”
　　咸鱼游戏和《火线三国》，就是这样的一个例子。通过NGA和电竞，田健享受过成功的荣誉也挥洒过激情，第二阶段创业有投资保障不用因钱而悲情。他不在乎 游戏里的输赢，也不在乎曾经追求过的许多东西，现在只一心希望把产品做好，去尝试一些新的事情，要通过创业再度得到自己的认可。在彻夜长谈之后——真的是 彻夜，从晚上9点一直聊到第二天7点——田健和卫东冬沈曌他们发现双方在很多理念上非常相近，聊通了很多问题。当晚咸鱼游戏就签下了《火线三国》。
　　咸鱼游戏独代网游产品《火线三国》
　　未来：第一阶段、第二阶段，还有，最坏的打算
　　在2014年，手游的竞争还进一步加剧了，不仅多路手握雄厚流量或资本的团队介入，而且很多大作都是研发商自行发行。
　　而咸鱼游戏作为初创企业，在成立之时就获得首轮一千万融资。投资人屈卫东是松禾资本移盟起点基金的创始合伙人，曾任清科创投董事总经理、蓝驰创投投资总监，主导过赶集网、融360、豆果美食等项目的投资。
　　与当下那些一线发行商拥有动辄过亿的雄厚资本和极大的公司体量相比，咸鱼游戏团队在自身的发行策略和套路打法上做了很多功课与准备，如《狂斩三国2》在 发行上的内容差异化、追求体验极致、精准立体的品牌营销等。他们要“倡导关注游戏用户的真实体验，体验的核心感受来自于他们的心，而非眼睛。我们立志成为 从产品设计与用户体验需求出发，努力坚持做到懂游戏会花钱敢花钱”
　　现阶段，他们希望“重质不重量”，他们认为“更精英的团队有时候反而更有优势，团队的竞争优势在于核心人员的核心技能上”。咸鱼游戏第一阶段的最强竞争 力，来源于对咸鱼团队自身优势的自信与坚持。“移动游戏花了两三年走完了端游和网游10年的路，在高速发展的大环境里，每个环节都是支离破碎的，很难形成 一条龙的模式，所以出现了很多的创业机会。发行也是行业快速发展形成的机会。现在我们做发行的第一阶段就是要专注在这个机会点上，发挥自身最强优势，高效 专注、追求极致。”
　　下一阶段呢?“发行公司第一阶段拼的是如何在对的时间选择好产品推向市场，依靠市场机会加上判断力，以及有着优秀人才和执行力的好团队。第二个阶段每个 发行公司都需要给出不同的答案，除了在第一阶段所需的发行能力外，要探索建设可以让自身长期健康稳定、可持续循环发展的模式，不同的公司对这个问题将会给 出不同的答案与模式。咸鱼游戏团队成立之初也在一直思考与准备，从长远角度如何将核心竞争力从一个点做到一个面的转化。”
　　除了对未来的愿景：成为一家行业领先的新型移动游戏公司外，咸鱼游戏也想到了一些可能出现的问题。如对于创始人分开在北京深圳两地，他们也有过团队管理 风险的顾虑，但考虑更多的是“用人不疑疑人不用、着眼未来专注当下、坚持做正确的事情”，至于产品方面最坏的打算，他们“还没有想过，如果产品真的不好我 们会继续完善，不抛弃不放弃也是我们的发行理念。从运营角度出发，我们不会让多款游戏同时处于爆发期，要错开高峰期，两三个月一款就可以了。这样的节奏， 我们有信心做好。如果真的发生了连续的失败，那么我们会坐下来反思问题的根源在哪里。”
　　星河互动旗下品牌　咸鱼游戏新版logo
　　最后，他们这样说到，“面临低谷时不要想放弃，而是努力坚持，低谷过后就是高峰。在移动互联网的世界里用户的发展和需求在不断变化，面前的大山永远都会 有，每个阶段都需要寻找到用户真实的痛点。尽管难做，但这一切取决于团队的决心是否足够。我希望2015年咸鱼游戏成为新型的移动游戏发行公司，更长远的 目标就是成为更纯粹更全面的游戏公司，把好的游戏理念带给玩家，在产品和商业都取得成功，也能在行业上获得足够的尊重。
责任编辑：7
本文相关推荐
互动评论加载中…
本日点击排行榜
本日评论排行榜
24小时点击排行榜
热线：020-
频道信箱：huangjt#(#改为@)摘要: 新博客地址：http://lixinzhang.github.io/欢迎访问~
00:18 糖拌咸鱼 阅读(303) 评论(0)
摘要: 这里格式太乱，请到http://lixinzhang.github.io/wo-de-2015nian-xiao-zhao-zong-jie.html写在前面目前研三，明年毕业。 2015年的校招即将结束，本来早就想写一篇总结的，但是一直没时间。而最近公司开始各种催三方了，貌似也该做个决定了，可是从...
21:07 糖拌咸鱼 阅读(959) 评论(2)
摘要: 新博客地址：http://lixinzhang.github.io/欢迎访问~
00:18 糖拌咸鱼 阅读(303) 评论(0)
摘要: 标准库的安装路径在import模块的时候，python是通过系统路径找到这些模块的，我们可以将这些路径打印出来：&&& pprint.pprint(sys.path)['', '/Library/Python/2.7/site-packages/pip-1.4.1-py2.7.egg', '/Library/Python/2.7/site-packages/python_recsys-0.2-py...
13:12 糖拌咸鱼 阅读(2669) 评论(1)
摘要: 因为要搞hadoop，最终还是逃不过写java的命运。。。 eclipse里想查具体函数源代码时，如果报错说找不到源： 试试ls -l which java，在这个目录周围看看能不能找到src.zip。
实在找不到就放弃吧，别折腾疯了，去下个吧；1.7src.zip 。
23:15 糖拌咸鱼 阅读(70) 评论(0)
摘要: Create remote repo pwd:/Users/zhanglx/workspace/gittest/
git init --bare Clone repo from remote repo git clone /Users/zhanglx/workspace/gittest/ Init a local git repo and add a remote This is...
22:30 糖拌咸鱼 阅读(147) 评论(0)
摘要: MiniCrawler
Github Path :
/LixinZhang/miniCrowler Introduction: MiniCrawler is a simple web crawler implemented by Python. Threadpool tech is used to speed up fetching pages. On...
22:02 糖拌咸鱼 阅读(59) 评论(0)
摘要: 本来搜一道面试题，找到叫九度题库的地方，发现里面的题目都比较基础，很适合当面试题来练习。于是，闲得蛋疼，把所有题目给爬下来了，并整理成markdown格式，然后export成pdf，方便大家离线阅读。写下抓下来的方法：1、把列表页先wget下，然后抽取链接（用grep处理就好了，如cat problemset* | grep 'problem.php?pid=' | egrep -v 'obj'& urls.txt）2、然后...(毫无技术可言，纯属娱乐）# -*- coding:utf-8 -*-import sysimport osdown_cnt =
09:12 糖拌咸鱼 阅读(389) 评论(3)
摘要: 1、下载，/p/googletest/。解压，进入该目录，按REAME说明安装：1.5之前 make install可以安装，1.6之后不可以。。。安装可按README里的提示进行安装：a、g++ -I./include -I./ -c ./src/gtest-all.cc （注意，-I后没有空格，直接加./）b、ar -rv libgtest.a gtest-all.o这步之后会生成两个文件，libgtest.a和gtest-all.o4、g++ -I./include mytest.cpp libgtest.a -o mytest -lpthr
21:23 糖拌咸鱼 阅读(876) 评论(0)
摘要: Computational advertising - the central challenge :Find the &best match& between a given user in a given context and a suitable advertisement.计算广告包含多个学科的知识，算是交叉学科:1、信息检索2、大规模的搜索与文本分析3、统计建模4、机器学习5、微观经济学6、博弈论等7、分类问题 Classification8、优化问题9、推荐系统。。。。。。教程：Stanford的：http://www.stanford.edu/class/m
22:47 糖拌咸鱼 阅读(285) 评论(0)
摘要: pylab 提供了比较强大的画图功能，但是函数和参数都比较多，很容易搞混。我们平常使用最多的应该是画线了。下面，简单的对一些常用的划线函数进行了封装，方便使用。 1 # -*- coding: utf-8 -*- 2 import pylab 3 import random 4 5 class MiniPlotTool : 6 ''' 7 A mini tool to draw lines using pylab 8 ''' 9 basecolors = ['red','green','yellow&#39
15:06 糖拌咸鱼 阅读(5375) 评论(4)
摘要: 理论上的东西，就不写了，也写不出什么有价值的东西，资料太多了。后文很多关于原理的讲述都给出了其他文章的引用。分享一个比较简单易懂的贝叶斯决策理论与统计判别方法。数据集：Dataset1.txt328 个同学的身高、体重、性别数据（78 个女生、250 个男生）Dataset2.txt124 个同学的数据（40 女、84 男）Dataset3.txt90 个同学的数据（16 女，74 男）问题描述: 以dataset1为训练数据库，假设身高与体重满足高斯分布，进行高斯分布的参数估计，并进行基于最小错误率的贝叶斯分类，分别考虑男女的先验概率，0.5-0.5；0.6-0.4；0.7-0.3，0.8-
23:24 糖拌咸鱼 阅读(1041) 评论(0)
摘要: 聚类是机器学习、数据挖掘相关的一类很常见的问题。关于聚类算法的介绍这里就不多写了，因为无论是教科书还是网络上都有太多的资料了。这里，用一个《Programming Collective Intelligence》中的聚类例子，写几个经典聚类算法的实现，分别是hierachiclaCluster、kmeans、kmedoids。 另外，最近一直在看数据挖掘、自然语言处理相关的东西，通过看资料发现有些东西很好理解，但是长时间不用的话，过一段时间就忘记得差不多了。其实换个角度想，也是自己对这些东西理解得不深刻。我觉得踏踏实实的实现这些算法是必要的，因为在实现过程中，我们可以发现哪些地方是算法的核心.
20:08 糖拌咸鱼 阅读(3760) 评论(2)
摘要: CrackCode Interview 书籍链接地址/* * Chapter 1 * Question: Implement an algorithm to determine if a string has all unique characters. * What if you can not use addtional data structures? * 实现一个算法用于判断一个字符串所包含的所有字符是各不相同的。 * 尽量不使用额外空间 */#include&iostream&/* * 假设为ASCII编码，字符数值范围为0~255
19:35 糖拌咸鱼 阅读(281) 评论(0)
摘要: 主要分为 3 个部分，memoryPool 是管理内存池类，block 表示内存块，chunk 表示每个存储小块。它们之间的关系为，memoryPool 中有一个指针指向某一起始 block，block 之前通过 next 指针构成链表结构的连接，每个 block 包含指定数量的 chunk。每次分配内存的时候，分配 chunk 中的数据地址。主要数据结构设计：Block：struct block { block *//指向下一个block指针 unsigned int numofC unsigned int numofFreeC//剩余...
17:27 糖拌咸鱼 阅读(598) 评论(0)
摘要: 最早接触快速排序，应该可以追逐到高二那会儿。那时候，由四个同学在一起做noip竞赛，那时候不懂什么叫算法、什么叫优化、什么叫空间效率，只知道快速排序要比其他简单的排序快。于是，为了应对考场时可能会遇到需要排序的问题，自己“学会”了快排。还记得，刚开始怎么也理解不了快速排序的思想，后来果断背下来了，好在代码不长。 当时背算法挺可笑的，但是现在想想我平常理解的算法是不是也是在背算法呢？ 快排，我至少写过50遍，因为不知道什么时候，一直把它当作调试编译环境的测试代码。但是，就在昨天的百度面试中，又被问及了快排，而我在纸上写得却一塌糊涂。面试的题目是，对链表结构的数据进行快速排序。当时有点蒙，因...
18:54 糖拌咸鱼 阅读(539) 评论(1)
摘要: 1、关闭防火墙，尽量断网条件下进行 2、KMS client数量不足，虚拟出多个client。使用下面这个工具 增加KMS Client数量 首先启动KMS服务器，然后启动工具中的.bat的批处理文件，等其执行完毕之后，便可以使用正常方法进行office2013的激活。 我的error是0xC004F038，通过以上两步解决了，希望能帮到其他遇到同样问题的人。
17:07 糖拌咸鱼 阅读(4341) 评论(1)
摘要: 平常Coding过程中，经常使用到的with场景是（打开文件进行文件处理，然后隐式地执行了文件句柄的关闭，同样适合socket之类的，这些类都提供了对with的支持）: with file('test.py','r') as f : print f.readline() with的作用，类似try...finally...，提供一种上下文机制，要应用with语句的类，其内部必...
17:54 糖拌咸鱼 阅读(3010) 评论(0)
摘要: 静态方法装饰器： 在python中一般关于“静态”有静态变量和静态函数两个东西。静态变量具有全局属性，也就是说它是属于某个类的，而不是这个类所产生的实例。举个例子，下面的示例程序，表示的是统计Test类所创建出的实例个数，其中instancesCount为静态变量。在外部，用函数的方式对静态变量的访问一般有两种情况，一种是通过具体实例访问，另一种是通过类方法直接访问。那么，我们就需要静态方法来实现类的直接访问，即（类名.函数名）的方式。python提供两种方法，一种是通过staticmethod函数将函数转化为静态方法，另一种是通过装饰器的方式，将一个函数装饰成静态方法。class Test.
14:22 糖拌咸鱼 阅读(1006) 评论(0)
摘要: PS：这是网络安全的作业题目，要是也有选这课同学看到这篇文章，希望不要直接copy，要不然老师发现会比较不爽哈~题目请设计和实现一个算法，把一个文件M由A传输到B，并保证：– 文件M的完整性– B能够认证M的发送方– 文件M的完整性、机密性算法设计思路信息完整性和抗否认性是信息安全保证的两个基本要素，数字签名技术通过对消息摘要技术和公开密钥技术的有机结合，实现了对在不可靠网络中传输的信息的完整性和抗否认性的有效保证。使用数字签名的方式，实现对文件M完整性和认证的保证。数字签名的大致过程如下：消息发送方首先利用Hash函数对待发消息进行摘要处理，生成一个固定长度的消息摘要H(M)，然后用自己的私
17:45 糖拌咸鱼 阅读(289) 评论(0)
摘要: Synergy ，这个工具大家应该都比较熟悉，就是通过网络手段，用一台机器的鼠标和键盘管理多台电脑，相当好用。但是最近，我的这个软件作为Server端时却出现了问题，一直显示“ synergys.exe: no configuration available ”，无论怎么重装都不行。 于是找了好久，终于找到了解决办法，所以在这里记录下。 synergy -f --config syne...
16:01 糖拌咸鱼 阅读(673) 评论(0)
摘要: Question1用动态规划方法手工求解下面的问题：某工厂调查了解市场情况，估计在今后四个月内，市场对其产品的需求量如下表所示。时期（月）需要量（产品单位）已知：对每个月来讲，生产一批产品的固定成本费为 3 (千元)，若不生产，则为零。每生产单位产品的成本费为 1 （千元)。同时，在任何一个月内，生产能力所允许的最大生产批量为不超过6个单位。又知每单位产品的库存费用为每月 0.5 （千元），同时要求在第一个月开始之初， 及在第四个月末，均无产品库存。 问：在满足上述条件下，该厂应如何安排各个时期的生产与库存，使所花的总成本费用最低？要求：写出各种变量、状态转移方程、递推关系式、
11:03 糖拌咸鱼 阅读(396) 评论(2)
摘要: 机器学习初学者，超级小白，不对的地方尽请批评指正。欢迎一起探讨。 K-nearest Neighbors 学习方法是基于实例的，可用于逼近实值或离散目标函数，概念简明。对于基于实例的算法，学习过程只是简单地存储已知的训练数据，当遇到新的查询实例时，一系列相似的实例被从存储器中取出，并用来分类新的查询实例。因此，基于实例的算法的最大不足也就在于分类新实例的开销特别大。 ...
16:27 糖拌咸鱼 阅读(1338) 评论(0)
摘要: 自从读研以来，给我印象最深的是数学的重要性。本科阶段，一直很疑惑我们学习那些高数、概率统计、线性代数有什么用。有些人甚至认为那些课程都是在浪费时间，说是工作之后根本用不上。的确，在我去企业实习的过程中也很少能够接触到大学学习的数学知识。然而，进入研究生阶段后，陆陆续续读了一些paper，上了一些诸如机器学习、信息检索等课程，这些课程里面涉及大量的数学内容，经过一段时间的学习之后，我...
13:45 糖拌咸鱼 阅读(3306) 评论(1)
摘要: 基于脚本的服务器集群管理工具背景： 随着云计算服务的普及，基于云计算的PaaS、IaaS受到越来越多的关注，使用这些服务的用户也越来越多。对于一些大型的应用而言，可能包含多种服务，而这些服务需要部署在多台服务器上。例如：某个应用可能部署了10台数据库服务器，10台Web Http服务器以及5台静态文件存储服务器等。那么作为应用程序管理员来说，一台一台地登录去管理这些机器显得非常繁琐，而且对于同一种服务（比如数据库服务）的机器需要执行的管理任务又都大致相同，那么对每台机器进行重复的工作也会增加集群管理员的负担。 应对上述需求场景，我开发了这样一个基于脚本的服务器集群管理工具，它主要具有如下功能和
11:38 糖拌咸鱼 阅读(1579) 评论(9)
摘要: 其实这是个小技巧，记录下。最近，我一直在windows环境下，用虚拟机进行linux，PuTTY ssh连接虚拟机进行程序开发的。后来，发现两个系统间传递文件实在有点麻烦，本来想搭个ftp或是写个HTTPserver，后来发现SimpleHttpServer十分好用。直接python -mSimpleHttpServer 8000 ，就可以在当前目录下直接创建一个http server。在其他机器上，用浏览器就可是访问这个文件夹了，共享文件轻松多了。
15:46 糖拌咸鱼 阅读(1376) 评论(0)
摘要: 开始读研了，总结一句话，很不爽！ 有的时候，真的很怀疑自己当初的选择到底对不对。大四一年流窜了三家公司，体验了爱立信这样传统大企业的企业文化，也体会了淘宝网的自由、开放，也感受了创新工场的小型创业团队的快乐的工作氛围。也经历了很多的笔试、面试，发现自己早已脱离了学校时的学生气。突然回到校园，感觉很不适应，而且男女比例不是一般的失调，女生质量也太。。。 很怀念在公司的感觉，自由、活泼、快乐，可以做自己喜欢的事情，也总有一些谈得来的朋友。 我是家里亲戚们孩子中，唯一一个研究生。父母因此很骄傲，我不想让父母失望、难过，所以选择的坚持读研，这也可能是我唯一坚持的理由了。 选择一条苦逼路，跪着也得走完.
12:06 糖拌咸鱼 阅读(417) 评论(2)
摘要: 关于iptables参考：Iptables 指南 1.1.19iptables提供的NAT的分析与应用 为什么要进行NAT？一个很好的例子：假设我们只有一台服务器具有外网IP，其他服务器都只具有内网IP，那么这些内网服务器外网无法访问到。那么我们可以将具有外网IP的那台服务器作为一个路由中转，将请求转发到内网的机器上来。如何转发呢？大家都知道IP报文中有两个重要的地址属性：源地址与目的地址。IP报文传递过程中需要经过哪台机器，是由这两个地址所决定的。 首先有个问题要明确。首先，客户端对某台服务器访问时，可能会需要多个路由的转发才能到达，但是这样的转发并没有改变IP报文的源地址和目的地址，路由器
23:22 糖拌咸鱼 阅读(718) 评论(0)
摘要: 分布式网络爬虫的研究与实现摘 要 随着互联网的高速发展，在互联网搜索服务中，搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，这些页面用于建立索引从而为搜索引擎提供支持。面对当前极具膨胀的网络信息，集中式的单机爬虫早已无法适应目前的互联网信息规模，因此高性能的分布式网络爬虫系统成为目前信息采集领域研究的重点。 本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。论文工作主要表现为：1、引入一致性哈希算法，用于解决URL任务分发策略、爬虫主机间负载均衡、单机热点问题，确保分布式爬虫系统具有良好的可扩展性
23:02 糖拌咸鱼 阅读(2186) 评论(6)
摘要: URL队列被爬行进程赋予一个URL（或者来自于其他爬行进程的主机分离器）。它维护了一个包含大量URL的队列，并且每当有爬虫线程寻找URL的时候，它都会按照某种顺序重新排序。以何种顺序返回队列中的URL，需要有两个方面的考虑。 第一个要考虑的是具有很高更新频率的高质量页面，即页面的优先级。一个页面的优先级权值应该是由它的改变频率和它本身网页质量（使用一些恰当的质量评估方法）共同决定的。这是很必要的，因为在每次抓取的时候，很多更新频率很高的页面都是质量很差的垃圾页面。 第二个要考虑的就是礼貌策略：我们必须避免在很短的时间间隔内重复抓取同一个主机。因此，如果URL队列被设计成简单的优先级队列的话，.
16:40 糖拌咸鱼 阅读(1933) 评论(0)
摘要: 什么是robots.txt文件? robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。Robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私...
14:33 糖拌咸鱼 阅读(665) 评论(2)
摘要: 前言： 网络爬虫抓取下来的页面，都是大文本，应该如何存储呢？ 我觉得，如果存储在mysql 或是 sqlserver这种关系型数据库当中，应该不是很恰当的。首先，页面相对独立，基本没什么关系型可言，只有url或是描文本-&页面这种简单的关系，而关系型数据库系统为了支持关系以及高效查询会增加很多额外的开销，这样得不偿失。不仅如此，爬虫在抓取页面工程中，效率应该很高，如果用关系型数据库存页面的华，短时间内会有大量的数据插入I/O，插入肯定会是一个瓶颈问题，这对数据库维护网络以及物理磁盘来说，压力也是比较大的。因此，我觉得直接存储为数据文本比较合适，开源的larbin爬虫，也采用的是文本方式的
17:38 糖拌咸鱼 阅读(3887) 评论(5)
摘要: 最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。1、larbin的URL去重用的很高效的bloom filter算法； 2、DNS处理，使用的adns异步的开源组件； 3、对于url队列的处理，则是用部分缓存到内存，部分写入文件的策略。 4、larbin对文件的相关操作做了很多工作 5、在larbin里有连接池，通过创建套接字，向目标站点发送HTTP协议中GET方法，获取内容，再解析header之类的东西 6、大量描述字，通过poll方法进行I/O复用，很高效 7、larbin可配置性很强 8、作者所使用的大量数据结构.
23:53 糖拌咸鱼 阅读(7462) 评论(10)
摘要: 什么是线程池？诸如web服务器、数据库服务器、文件服务器和邮件服务器等许多服务器应用都面向处理来自某些远程来源的大量短小的任务。构建服务器应用程序的一个过于简单的模型是：每当一个请求到达就创建一个新的服务对象，然后在新的服务对象中为请求服务。但当有大量请求并发访问时，服务器不断的创建和销毁对象的开销很大。所以提高服务器效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁，这样就引入了“池”的概念，“池”的概念使得人们可以定制一定量的资源，然后对这些资源进行复用，而不是频繁的创建和销毁。线程池是预先创建线程的一种技术。线程池在还没有任务到来之前，创建一定数量的线程
20:36 糖拌咸鱼 阅读(14864) 评论(1)
摘要: poll函数 在上文unix下网络编程之I/O复用（二）中已经介绍了select函数的相关使用，本文将介绍另一个常用的I/O复用函数poll。poll提供的功能与select类似，不过在处理流设备时，它能够提供额外的信息。 poll函数原型： #include&poll.h& int poll (struct pollfd * fdarray , unsigned long nf...
13:27 糖拌咸鱼 阅读(649) 评论(1)
摘要: select函数该函数允许进程指示内核等待多个事件中的任何一个发生，并仅在有一个或是多个事件发生或经历一段指定的时间后才唤醒它。我们调用select告知内核对哪些描述字（就读、写或异常条件）感兴趣以及等待多长时间。我们感兴趣的描述字不局限于套接口，任何描述字都可以使用select来测试。select函数原型：#include&sys/select.h&#include&sys/time.h&int select (int maxfd , fd_set *readset ,fd_set *writeset, fd_set *exceptionset , const str
15:04 糖拌咸鱼 阅读(1062) 评论(1)
摘要: 什么是I/O复用？ What we need is the capability to tell the kernel that we want to be notified if one or more I/O conditions are ready (i.e., input is ready to be read, or the descriptor is capable of takin...
23:22 糖拌咸鱼 阅读(1104) 评论(0)
摘要: 题外话： 很久没写博客了，因为前一段时间过年在家放假，又因为自己保研了，所以一直比较闲。整个假期，基本都在准备毕业设计的相关内容。我毕业设计的方向是关于搜索引擎的，因此，期间阅读了大量相关论文。阅读了很多论文和技术书籍之后，我有几点感触。首先，发现国内很多论文或是书籍只是大量引述其他人的研究结果，自己的独特的见解非常少，一篇文章，70%的内容都是在以介绍为主，感觉发这样的论文是没有什么意义的。相反，国外尤其是像MIT，斯坦福，google之类的领域专家发表很多极其优秀的论文，阅读后给人一种震撼。我之前在网上搜索技术文章或是论文的时候经常绕过英文的，现在发现国外的确有非常多优秀的外文文章，所以无
15:09 糖拌咸鱼 阅读(5286) 评论(1)
摘要: 任何应用都离不开数据，所以在学习python的时候，当然也要学习一个如何用python操作数据库了。MySQLdb就是python对mysql数据库操作的模块。官方Introduction :MySQLdb is an thread-compatible interface to the popular MySQLdatabase server that provides the Python database API. 它其实相当于翻译了对应C的接口。 使用这种数据库接口大多是就是执行连接数据库-&执行query-&提取数据-&关闭连接 这几个步骤。MySQLdb提供比较关
16:51 糖拌咸鱼 阅读(14692) 评论(3)
摘要: 安装步骤：1、sudo apt-get install python-setuptools2、sudo apt-get install libmysqld-dev3、sudo apt-get install libmysqlclient-dev4、sudo apt-get install python-dev5、sudo easy_install mysql-python测试下：在python交互式窗口，import MySQLdb 试试，不报错的话，就证明安装好了。eclipse 检测出错：如果平常是在eclipse pydev 下进行python开发的话，那么直接在eclipse环境下使用
12:56 糖拌咸鱼 阅读(3257) 评论(1)
摘要: python中的xml.dom模块使用的就是传统的dom解析api和方法。所以也就不写什么了，主要就是练习敲敲代码，继续熟悉python。本文通过xml.dom.minidom创建一个xml文档，然后再解析出来，用以熟悉相关接口方法的使用。创建一个xml文档：'''Created on Create a xml document@author: xiaojay'''from xml.dom import minidomdoc = minidom.Document()doc.appendChild(doc.createCommen
17:08 糖拌咸鱼 阅读(5704) 评论(1)