天天看点

大数据思维——从掷骰子到纸牌屋

云栖社区有个书评活动,昨天以短信推送到了我的手机,想了想正好赶上年底我想整理一下我的思绪,就搭车发在云栖吧,也算是我第一篇在云栖的原创帖了,呵呵。

虽说做技术多数时间是针对问题找寻解决方法,但我经常觉得做技术也需要一些思考。

讲个段子,说的是一个技术很熟练几乎任何问题都能解决的人去应聘,hr看了他简历上10年经验很满意,就问他你对未来的发展怎么看?他说,我10年只专注做好我的本分,没时间去关心其他。hr摇摇头说:你不是有10年经验,而是一个经验重复了10年

段子只是段子。

一来说自己精通到专注领域内任何问题都能搞定的未必为真,c和c++语言基本是程序相关专业的必修课,即便如此连专门研究的教授也不敢放话说有问题我都能搞定,即使搞c++的开发人员案头上还常备一本600多页的c++宝典查呢(这和日语翻译案头放广辞苑,英文翻译案头摆牛津朗文差不多,属于工具书)

二来技术的发展很快,比如red hat红帽认证在linux下出名吧?但是国内现状是使用云服务器的企业越来越多,抱一台服务器来自己装系统自己部署环境,现在很多小公司已经不这么做了,但你花了n年去考证的时间成本岂不白费?再如oracle认证,cisco认证.....这些含金量确实高(报名费也不菲),然而学成领证后,找工作呢?你拿着oracle认证求职一家数据库公司发现人家的要求是mysql你做不做?计算机领域的认证很多,考的话怕是考不完。

如今你不要指望单精通一门技术吃遍天,技术日新月异,csdn上对新语言的讨论可谓热火朝天,我想单一的大牛也不敢夸口自己掌握了从编程到数据库的各种语言。这便是团队的重要性---优势互补,而要从团队里发出自己的声音,你需要的是一种思维。

就像现在网站比较火的自适应。自适应需要特别的工具吗?不,用普通的dreamweaver就够了,dreamweaver可以写css,写js,写asp,写.net,写php.....是一个比较综合的平台,缺点就是有点大,如果只是写网页的话,用notepad++都行(notepad++安装包解压后不到7m)。自适应和非自适应的最大不同在于h5语法标签上,如果只是纯静态简单的html网页的话把预设数值改成比例就是简单的自适应。但是,如果是基本网页编写不熟就要直接写h5网页的话,有点难度。学技术,从0到1最难。

回归书评,就说说大数据吧。

试阅是50页的pdf,开篇说的淘宝的千人千面(首页内容根据用户喜好推送)就是基于每个用户的小数据实现的。大数据的基础是汇集小数据,如果你注册淘宝后什么信息都不填,那么你任何时候访问淘宝都不会有变化---没有数据,就没有分析;没有分析,就没有推送。

感觉大数据分析就像以前的数据挖掘,收录的数据越多挖掘的信息越宝贵。而且要分析精确的话至少要分析近期数据----像试读13页开始提的那些搞笑案列,倒是整理了历年的大数据,但是运用过去的数据作分析至多能做预测,说是大数据分析我个人觉得不妥?

好在16页开始讲到正经点了,分析曲线。样本足够大时可以用数学方法作图模拟出曲线(样本越多曲线越靠谱,试阅中说的拿2年的数据预测50年太模糊了),坐标曲线可以分析化归出一个方程,方程运算可以预测曲线走向。高数科研所经常有搞这次分析的。嫌手工计算太难的话,matlab分析(matlab就比较大了,当时下安装包光盘都用了3张)

41页的积分公式传达了一个信息:大数据分析更高层就像数学。任何看着靠谱的分析,都是数据分析的结果,否则看着就不靠谱更谈不上大数据了。爱因斯坦的相对论虽然是物理,但看过的人都对里面密密麻麻的微积分颇有感受吧?读不下很多时候第一道坎是对里面的积分看着头疼吧,何况一来大学高数教授的微积分以定积分为主(求的是具体数值),而相对论更多是不定积分(求的是函数),二来微积分有多种,大学考察的是黎曼积分,而微积分还有勒贝格积分,究竟爱因斯坦推导用哪种积分不可考。(就像几何,欧氏几何经典的平行线不可相交而在非欧几何里平行线可以交,好在非欧几何不是专业学者接触不深。这也可以解释为什么好多大学本科生毕业找到好公司后公司要专门培训吧)

如果把小数据的变化看作微分,很多小数据的波动就可以汇成积分,然后做大量的数学推导变换,就可以抽象出函数表达式来分析下一步。

当然,预测未来这种事很难精转化,就算理论物理计算出来的数值还需要通过实验物理验证呢,这也是物理学家分理论和实验的原因之一。

不过再怎么说,大数据分析总比无数据分析好些。我凭空说明天的温度多少,你信吗?

谨以此文祝各位圣诞快乐

ps:试阅版pdf我也在这篇博客里备个份以后要看时方便自己整理,以防自己一段时间后回头看时不明白自己看过的是哪本了.....

不过因为我在云南,选卖家时就倾向西部,比如四川的卖家。(其实你说为什么在jd购物快?因为jd是分物流中心的,举个例子,你在jd自营店买了个东西,而收货的地址在云南,首先分析出属于西部,然后jd通过查询数据库发现自己位于四川的西部中心有这个东西,那么就是从四川发出而不需要从生产地发,通过归纳收货地址分析最短距离缩短了物流时间,这也是一种大数据分析。当然这仅限于jd自营店,如果是卖家发货的话,就只能买家选择近的卖家了,因为一般卖家很难全国分区域建物流中心的,这也算是jd自建物流体系中的一点小脑筋吧)

大数据思维——从掷骰子到纸牌屋

这就代表书评活动结束了?那样的话一个id就可以尽情看了吧

回看了下(发现点蓝色标题就可以下pdf了)

1.容器技术

<a href="https://yq.aliyun.com/attachment/download/?id=874">《docker全攻略》</a>

<a href="https://yq.aliyun.com/attachment/download/?id=875">《高性能docker》</a>

<a href="https://yq.aliyun.com/attachment/download/?&amp;id=876" target="_blank">《docker——容器与容器云(第2版)》</a>

2.前端及网站:

<a href="https://yq.aliyun.com/attachment/download/?id=872">《速度与激情:以网站性能提升用户体验》</a>

<a href="https://yq.aliyun.com/attachment/download/?id=871">《架构即未来:现代企业可扩展的web架构、流程和组织》</a>

<a href="https://yq.aliyun.com/attachment/download/?id=873">《前端函数式攻城指南》</a>

3.交互体验:

<a href="https://yq.aliyun.com/attachment/download/?id=879">《支付宝体验设计精髓》第一章 </a>

<a href="https://yq.aliyun.com/attachment/download/?id=880">《支付宝体验设计精髓》第二章</a>

<a href="https://yq.aliyun.com/attachment/download/?id=870">《交互设计沉思录》</a>

4.大数据技术:

<a href="https://yq.aliyun.com/attachment/download/?id=881">《大数据思维——从掷骰子到纸牌屋》</a>

<a href="https://yq.aliyun.com/attachment/download/?id=882">《数据有度-场景时代的内容玩法》</a>

<a href="https://yq.aliyun.com/attachment/download/?id=883">《大数据处理之道》</a>

有时间细细学习,我觉得做一件事,首先要明确做什么,然后再想怎么去做可能更快点。

现在都讲天下武功唯快不破,结果有的就连想做什么都来不及想就去做,后来失败碰壁,对互联网失去了信心。不信的话问问身边敲代码的你在做什么,大部分的回答是:工作挣钱。

诚然,人活着一定要吃饭,但人活着的追求不止吃饭。(物质与精神的辩证关系,政治教材上讲得够多了)

未来搞网站的重心在朝向移动化发展,微官网,手机端,app,html5,自适应,都可以看做是新的发展。而这些新趋势的根,都在比较古老的网页编程上。

提斧头的伐木工未必比不过持电锯的伐木工。比起外在,内核可能更实在些,是金子总能发光,是烂泥终扶不上墙----在被发掘之前要让自己有相应的价值,否则就别感叹怀才不遇了,你究竟是人才还是废材,需要先认清自己。

ps:2017年3月6日收到了奖品,等待了90天的申通....马上开始品读

大数据思维——从掷骰子到纸牌屋
大数据思维——从掷骰子到纸牌屋