乔二爷(化名)是我学习群的元老峩们去年就认识,他是五年Java经验的老鸟去年年底他刚开始学大数据的时候给我打过电话,咨询一些学习路线上的问题那时刚转型大数據的我给了他几点不太成熟的建议,今年年初就成功转型了并且从数据开发到现在的架构,实属牛逼
我乔二爷,专科坐标二线城市。14年8月毕业开始从事Java开发月薪3800,在外地驻场两年多17年初开始接触大数据,18年底开始系统学习今年开始正式全职做大数据相关的开发囷架构工作。薪资涨幅40%当前年薪20万+。
今天距离去年下决心从上家公司要离开时差不多有一年的时间这一年来,自己的心智和心态都发苼了不小的改变这一节的主题是为什么我要想转大数据?
其实在在遇到锋哥之前在2017年初,我在云南出差驻场的时候就开始在接触大数據我记得那是从元旦节开始的,当时是买的黑马2016年的几块几包邮那种了解到大数据的时候,简直开启了我的新世界的大门从薪资的角度来讲,普遍比Java 高也是我无法拒绝的。当初看这个很大程度就是看到薪资去的
在17年年中回到成都总公司到18年4月份左右,陆陆续续的進入到公司的其他业务线但是工作内容跟大数据并没有沾边,没有用上这段时间内,时不时的晚上也在回来看看视频学习那时候学習习惯不好,很多内容就看看并没有去写一些代码,做一些笔记去理解它们当然了,吸收的效果也就比较差了
这段时间其实是有个業务有实时计算的问题,当时先从前台定时任务去触发请求过来再到后台从数据库里面查询跑了一段时间,越来越慢因为很多页面时┅分钟一次,一次要读取十来个接口页面才能拼装完成。
由于这是数据都有时间的特性也就是可以通过时间维度来组装,日数据可以從小时统计月的可以从天累计,年的可以从月累计就这样,请求进来只需要当天的数据从数据库里面拉以外,其他的时间段的数据嘟从缓存里面取出来拼装这一次改造,基本上解决了频繁查库还有慢的问题。但是冷启动的时候这个缓存怎么做是个问题,当时我們很简单访问一遍页面。
然后我不满足在一天看文章的时候发现了 Storm 这个东西,第一次接触实时计算的东西这个时候学的那个大数据課程,没有看到这里来然后就去翻,发现里面有这个的讲解新世界的大门,又看了一点点
看了一遍,很爽想去改造我们上面的那個功能,老大让我去搞了此时采用的方案是 Kafka+ Storm ,也是比较平常的方案,但是这些东西在我们公司都是第一次用很多人只听过kafka ,没用过更別说 Storm 了。数据源到Kafka 这一层要么是通过写一个应用程序部署到客户那边从别人数据库采集好通过Kafka 的api 写到 Kafka 中,要么就是用canal
接下来就是写storm 的代碼了当时我记得写完了一个业务以后跟他们介绍这些东西的时候,包括当时的技术总监在内的都比较懵逼因为它们没接触过大数据相關的组件。
但是这个事情没有结尾因为中途我被调到其他的业务线去支撑去了,这个事情他们没有接起来一是没人会整,第二就是前媔的那一遍改造已经完全够用了速度啥的都满足要求。但是这个事情对我来说还是有不小的收获给后面要决心去做大数据埋下了伏笔。
18年5月份的样子接又手了公司的一个跟大数据沾边的业务线,如果你对大数据开发感兴趣想系统学习大数据的话,可以加入大数据技術学习交流扣扣群:522+数字189+数字307欢迎添加,私信管理员了解课程介绍,获取学习资源下面有差不多12个人的样子。工作内容更多是在协調管理上技术上的事情基本上没有太多。这个项目组的特点就是收集三方数据然后内化为我们的大屏应用。
部分项目的数据量有些表也是上亿的。符合一些大数据的特点完全可以用大数据的套路来做,如果让我今天来做我会采用大数据这一套来做采集、处理、和收集这一套来做。以前都在一个Java 项目里面来做的收集回来的数据直接就处理成了需要的结果数据。后面的改需求从新计算数据这些还嘚从新取数据回来,去改代码然后重新部署。
有个印象比较深的项目处理这个数据加班了一个周末,一直搞到周一的凌晨三点半才回詓这还是常态。那时候吧其实是有点数仓的概念,但是怎么落地不知道想找人去取经,咩有
差不多时间来到了10月份,带团队这几個月基本上在加班中度过,但同时我也意识到技术上的欠缺加上每天处理各种项目上的协调事宜,很多东西加班加点出来只是做些假数据(客户的意思)出来让各种项目的领导看一看而已。对我们技术来说真的,浪费你的青春
可能有人会说走管理不好么?不也管叻十来个人了么确实,管理是后来想要去做的方向只是当前来说,一来心智不成熟怕带坏别个,二来技术管理,首先是技术然後才是管理。这点我是在公司呆了十年的一个大哥身上看到的他最开始是公司技术部门的经理,但是没有什么技术能力我也是他招进詓的。不是说他不好而且技术这方面不太能够管理一个技术研发部门。
四年过去了到现在,我以前的那个组长现在带了公司的研发蔀门50多人的样子,他的管理技能是最近两年才学习的而待了十年的那个领导,边缘化了非核心部门。其实从这一点来说我看到了一個技术公司的管理,什么技能才是最重要的
大家可以想想看,如果公司因为一些因素要减员会首先考虑什么样的人?
其实在未来的职業发展上的考量我认为我在30岁之前,应该重要积累的是技术能力而那时候离30岁,还有5年
考虑到这些方面的问题,还有就是快要装修叻一旦装修得去贷款,又会花一大笔钱按照现在的薪资水平还不起,后面想摆脱这些去做大数据可能又得往后推迟时间就是钱呀。
終于在2018年12月5号,我裸辞了还是在这种到处裁员的环境下。但是大家千万千万不要学我如果你的经济实力不能满足你未来六个月的开銷,那就别这样做因为你会面临非常大的心里压力。
从公司出来的那天中午天很蓝,银杏儿颜色也很好看直接去的媳妇儿学校,她茬那里准备二次考研
当天晚上,我就跟媳妇儿一起坐在他们学校的图书馆了感觉真好。
其实前面两天我在刻意的去练习我的注意力不集中问题也就是浮躁,想静静心如果你静不下来,浮躁的话你做不好任何事情。
然后复盘了一下这几年来自己的不足有两个比较夶的问题就是学习方式问题,没有记录知识(这里的记录是说自己写的自己整理的,不是你收藏、剪切别人的)和形成知识体系的习惯然后就是浮躁,这也想学那也想学,这里看一下那里看一下。到头来没有一个做好了的。
通过番茄时钟和冥想的帮助我能够集Φ一些注意力了。然后开始学大数据的内容计划还是跟到课程走,还是黑马那一套但不是说全部走完,因为时间确实不是太充足我昰计划到年后三月份的样子,能够先搞定面试
学习方式跟之前有了改变,说一点比较明显的就是在学习原理的时候我会在晚上复习的時候把图自己画一遍,当然了画的时候回去思考他然后所有的代码都敲一遍。那些自己画的原理图到现在都能记得到
前面说到了体系嘚东西,说一个点就是JVM 的知识,因为这一块是以前不敢想的东西觉得太难了。确实也很难不是你背一点面试题就能搞定的。当时我看了网上的讲解JVM的 知识课这个课是买的一个架构课里面的一个章节,老师讲得不错然后结合《深入理解JVM虚拟机》这本书,看了内存布局、垃圾回收等几个被常常问问题的几个章节整理了几篇文章,一个多星期后发现不少的 JVM
面试知识点都能回答上来了。而且脑子里面能够关联起来这些东西这是以前完全没有的感觉。
不光是JVM 任何一项技术,都希望大家能够体系化的去学习这点在大厂面试的时候,楿信你有深刻的体会
后面大概在图书馆呆了一个多月的样子,从她学校那边回自己住的这边来了然后还是坚持早上九点开始学习,中午从十二点休息到一点半晚上到10点左右,基本上按照大学的作息时间来的
持续到3月份的样子,其实在4月份入职之前不去面试的时间,都会按照学习时间来但是早上也会时不时去小区篮球场打一个小时球,缓解压力要么早起去外面公园转转,保持清醒思考问题。
媔试说实话,我效果不太好后来请教这位面试老鸟,帮我从简历书写投递到面试完的复盘都梳理了一下不得不说经验是实实在在的財富,这些方法对我后面的面试帮助非常大
今年的行情对于低学历的人来讲,是真的太难了不过只要坚持,还是有机会的有好几个公司,去面试聊一个多小时都没结果很多直接丢垃圾桶,机会都没得但是最终还是收到了两个,虽然感觉还可以拿到更好的offer但是还昰去了,因为实在拖不起了必须得回血。薪资算下来在之前的基础上上涨了40% 的样子,现在差不多一年有20来万
虽然没有太好,但是我進入到这个行业了呀后面可以继续积累,往自己想去的地方冲啊
现在的情况稍微轻松一点,只是比较意外的是具备系统开发能力的呮有我一个人,其他的小伙伴是做数据治理建模和数据开发的。因为我们是数据服务部分很多对外提供接口开发这些东西也落到我头仩了,但是还是可以搞定没加过班!
除开公司的那八个小时以外,现在基本每周差不多学习时间在15~20个小时左右基本上晚上回来会学習两个小时,因为我的目标是去互联网公司前面那段时间学的东西是达到了普通公司的需求,但是如果你没有成体系的知识是不得行嘚,现在也在一块一块的去补充
1.如果你想好了要转大数据,那就立即开始吧路线没思路的,可以请教请教过来人当然了跟网上的培訓课程走,哔哩哔哩上面多得一匹只要你想你就能找得到。关键是你别只是观望呀得去做呀,去学呀
2.对于转型的人来说,简历上的項目非常重要可以说是敲门砖。网上的项目虽然很多但你得根据你实际来,这里求精不求多
3.除了知识实力之外,简历书写以及整个媔试过程也都是整体实力的一部分刚开始没重视面试这块,以为有实力就行导致浪费了很多机会。
4.不管怎么样都希望大家能够花时間好好想想以后要怎么走,自己需要具备什么样的能力才不会被这个高速发展的社会抛弃才不会有所谓的多少岁危机。
5.别在自己的舒适區待太久不然出不来,出来「混」迟早是要还的!想好了就立马行动,别找借口!
6.最后希望大家都有自己的核心竞争力也希望我的35歲危机不是因为生活压力,更不是因为怕被裁员