求助各位大神,亲们,求女装市场调查数据据资源,求数据。。

403 Forbidden
403 Forbidden
nginx/1.12.0君,已阅读到文档的结尾了呢~~
市场调查习题习题,题题,练习,市场调查,市场调研,练习题,补充习题
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
市场调查习题
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口最近的浏览历史
浏览此书的还浏览过
购买此书的人还购买过
书  名:市场调查与分析
作  者: 赵轶
出版时间:
出 版 社: 清华大学出版社
字  数: 382 千字
印  次: 1-1
印  张: 16
开  本: 16开
ISBN: 3
装  帧: 平装
定  价:¥32.00
电子书价:¥22.40
节省:¥9.60
vip价:¥22.40
电子书大小:31.5M
配套资源下载:
点击图标下载
共有商品评论0条
  本书是全国首批28所高职示范性院校建设项目阶段性成果之一。全书贯彻教育部2006年第16号《关于全面提高高等职业教育教学质量的若干意见》文件精神,与合作企业共同进行课程开发,以市场调查职业工作活动为主线进行教材的内容设计,借鉴德国“学习领域”课程开发思想,构建了“工作过程导向”特征的“理实一体化”教学素材框架。从课程内容设计的角度,解决了经管类专业“工学结合”切入难的问题。
  全书共设计了10项学习性职业工作,包括市场调查的观感与认识、市场调查目标的确立、市场调查方案的制订、市场调查方法的选择、市场调查问卷的制作、市场调查活动的组织、市场调查资料的整理、市场调查资料的分析、市场发展趋势的预测、市场调查报告的编写。
  本书比较完整地阐述了市场调查职业工作活动,不仅适合高职高专市场营销专业以及其他经济管理类专业教学使用,而且可以作为在职人员参加营销职业资格考试或工作实践的指导用书。
  本书封面贴有清华大学出版社防伪标签,无标签者不得销售。
  版权所有,侵权必究。侵权举报电话:010-
  当人们习惯地将高职教育课程当做非常严肃的“学科”进行研究,并试图探寻其理论意义上的规律时,我们已经越来越远地偏离了高等职业教育课程的本质属性;当“另一种类型的教育”成为高等职业教育的身份定位时,我们看清了如何从教育的本真去认识职业教育,也就看到了教育精细化、精致化的未来。
  高等职业教育课程应该为学生开辟一条从初学者到熟练从业者的成长之路,其本质属性应该指向实践经验范畴的工作知识。因此,将市场调查从“学科”桎梏中解放出来,依据职业分析,以职业工作活动过程为导向,建立起工作过程知识与职业任务的有机联系,从课程设计的角度实现“工学结合”,就成为本书编写的初衷。
  2006年,教育部第16号《关于全面提高高等职业教育教学质量的若干意见》文件发布,高职教育改革大幕拉开;2010年7月,《国家中长期教育改革和发展规划纲要》正式出台,高职教育改革风帆正劲。随着时间的推移,改革已越来越多地聚焦于课程建设。在这一探索中,我们必须遵循职业教育规律,寻找课程本源;遵循职业成长规律与学习规律,重构课程内容;运用职业教育技术,进行“工学结合”课程的设计与实施,从而形成一个系统化的课程开发与教学活动过程。为此,我们在教材建设时,应借鉴“学习领域”课程开发的思想,以市场调查职业分析为起点,以市场调查职业典型工作为载体,尊重职业学习规律,以职业工作活动为教材设计主线,强调工作与学习的一体化,突出市场调查职业综合能力的培养。
  市场调查职业学习性工作可分为以下10项。
1本书在定位与设计方面的特点
  (1) 以典型工作任务为载体。通过职业分析,校准教材内容参照,以市场调查职业典型工作任务为载体组织课程内容,形成以工作任务为中心、以工作过程知识为焦点、以学科知识为背景的新型课程内容结构,实现了课程内容由学科结构向工作结构的转变。
  (2) 以职业工作过程为导向。遵循职业教育规律,以市场调查职业工作过程为导向设计教材内容,使独立、离散的学科知识内容得到有机串接。同时,建立起知识与职业工作之间的紧密联系,形成了理论教学与实践教学高度一体化的新型课程内容,实现了学科课程向工作过程导向课程的跨越。
  (3) 以职业活动为教学情境。列宁说:“生活之树常青,理论是灰色的。”职业教育课程必须生活化,才能摆脱“教室里办商场”的窘境。为此,教材设计了一系列职业活动情境,将学生置于职场中,由传统意义上的教师讲、学生听的被动行为逐步向学生的主动探索行为(完成某项活动)转变。伴随着工作过程,完成“资讯、决策、计划、实施、检查、评价”的学习过程,同时在职业氛围中鲜活地实现了职业教育的育人功能。
  (4) 技能与证书衔接。由行业、企业技术专家组成课程开发小组,科学归纳职业典型工作任务,根据职业成长规律,确立学习情境素材并参与教材设计,使学习目标具体、明确、系统,学习内容先进、取舍合理、结构清晰、层次分明,信息传递高效简洁。在方便学生职业技能养成的同时,也兼顾了学生获取相应职业资格证书的需要。
2本书在内容策划与编排上的特色
  (1) 结构定位。以职业活动顺序为线索,根据行业的实际需要,收集并归纳有关市场调查不同岗位工作环境及其典型工作任务,分析完成这些任务所应具备的社会能力、专业能力和方法能力,以及应该通过哪些实训环节来提高学生的综合能力和职业素养,并以此作为教材结构定位的参照系。
  (2) 体系构建。坚持学科知识的掌握服务于能力的构建,围绕职业能力的形成组织课程内容。以工作任务为中心整合相应的社会能力、专业能力和方法能力,不追求学科知识的体系完整,课程内容尽可能地反映市场调查职业工作活动的全貌。
  (3) 活动安排。遵循“理实一体化”思想,实现了理论和实践的高度统一。按照工作过程顺序为初学者设计了学习活动,建立起工作任务与知识、技能的联系,增强了学生的直观体验,诱发了其学习的参与性和主动性。同时,在一些关键技能环节,有针对性地设置了一些练习,加大了技能培训的力度,从而方便学生将知识转化为专业性的技能、技巧,提高其解决和处理现实问题的综合能力。
  (4) 体例设计。遵循职业教育教学规律。一方面吸纳了国外教学参考书的优点;另一方面则考虑到我国高职高专学生的文化背景和基础教育养成的吸纳知识的习惯,增强了趣味性。在心理结构构建、兴趣动机发展等方面也做了有益的尝试,形成了工作描述,学习目标,情境导入,工作解析,工作活动解析,调查故事,正文,服务于正文的重要工作术语、工作信息、实务借鉴,工作小结、工作过程知识检测等完整的教材功能体系。
  (5) 语言运用。在做到学习情境、职业情境与生活情境紧密结合的同时,注意了行文的活泼与优美,使其具有一定的可读性。尽量运用现象化、具体化的语言,使学生可以直观、形象、整体、自我地获取经验,并构建应用知识的框架,从而可以轻松获取实际职业行动能力。
  《市场调查与分析》一书由国家示范性高职院校建设领导组成员、市场营销专业带头人闫文谦教授审定,赵轶编写全书。在编写过程中,参阅了国内外一些专家学者的研究成果及相关文献,多家校外实训基地和广东省商会馈赠了一些国内外专业营销调研公司的宝贵资料。新加坡南阳理工学院和中国香港职业训练局的一些市场营销专家对教材的设计提出了许多宝贵的建议,在此一并表示衷心的感谢。
  高职高专教育课程建设正如火如荼地进行,作为首批立项建设并验收通过的国家示范性建设院校,有义务做出更多尝试,清华大学出版社积极搭建了这一平台。由此,中国高职高专教材建设又向前迈进了新的一步。作为一种探索,尽管我们力求完美,但由于对市场调查职业活动的认识、理解和分析方面难免存在偏差,敬请读者不吝赐教。
任务11市场调查的认识 / 00
111认识市场信息 / 00
112认识市场调查 / 00
工作活动11市场调查观察 / 00
任务12市场调查工作的认识 / 00
121认识市场调查工作 / 0
122认识市场调查工作过程要素 / 0
工作活动12市场调查体会 / 0
任务13市场调查职业的认识 / 0
131认识市场调查职业 / 0
132认识市场调查职业工作 / 0
133认识市场调查职业工作过程 / 0
工作活动13认识市场调查工作 / 0
工作1小结 / 0
工作过程知识检测 / 0
延伸工作活动:认识企业调查工作过程 / 0
学生自我工作总结 / 0
0工作2市场调查目标的确立
任务21明确市场调查意图 / 0
211分析二手资料 / 0
212访问企业管理决策层 / 0
213访问行业专家 / 0
214运用定性调查 / 0
工作活动21市场调查意图分析 / 0
任务22分析营销问题背景 / 0
221分析企业的自身条件 / 0
222分析企业的环境条件 / 0
工作活动22营销问题背景分析 / 0
任务23确定市场调查目标 / 0
231确定市场调查目标的注意事项 / 0
232建立市场调查假设 / 0
工作活动23描述市场调查目标 / 0
工作2小结 / 0
工作过程知识检测 / 0
延伸工作活动:确定市场调查目标 / 0
学生自我工作总结 / 0
工作3市场调查方案的制订
任务31明确市场调查方案 / 0
311明确市场调查性质 / 0
312选择市场调查方案 / 0
工作活动31认识市场调查功能 / 0
任务32编写市场调查方案 / 0
工作活动32认识市场调查方案组成 / 0
任务33修改市场调查方案 / 0
331确定调查方案评价标准 / 0
332讨论和修改调查方案 / 0
工作活动33修改市场调查方案 / 0
工作3小结 / 0
工作过程知识检测 / 0
延伸工作活动:制订市场调查方案 / 0
学生自我工作总结 / 0
0工作4市场调查方法的选择
任务41二手资料调查 / 0
411认识二手资料的来源 / 0
412确定二手资料的收集步骤 / 0
工作活动41二手资料调查 / 0
任务42抽样调查 / 0
工作活动42抽样 / 0
任务43实地调查法 / 0
431访问调查 / 0
432观察调查 / 0
433实验调查 / 0
工作活动43实地调查方法运用 / 0
工作4小结 / 0
工作过程知识检测 / 0
延伸工作活动:市场调查方法的选择 / 0
学生自我工作总结 / 0
0工作5市场调查问卷的制作
任务51设计问卷的问题与答案 / 0
511设计问卷的问题 / 0
512决定问题的用词 / 0
513设计问题的答案 / 0
工作活动51认识问卷问题 / 0
任务52确定问卷的组织与编排 / 0
521确定问卷编排的原则 / 0
522编排问题与答案 / 0
工作活动52认识问卷问题编排程序 / 0
任务53综合评价与印制问卷 /
531综合评价问卷 /
532印制装订问卷 /
工作活动53评价问卷 /
工作5小结 /
工作过程知识检测 /
延伸工作活动:设计与制作市场调查问卷
学生自我工作总结 /
工作6市场调查活动的组织
任务61组建市场调查工作组 /
611建立调查项目领导组 /
612选择市场调查人员 /
工作活动61组建调查工作组 /
任务62培训市场调查人员 /
621组织培训工作 /
622适当选择培训方式 /
623确定培训内容 /
工作活动62培训调查人员 /
任务63管理控制市场调查 /
631市场调查项目控制 /
632市场调查人员控制 /
工作活动63调查过程管理 /
工作6小结 /
工作过程知识检测 /
延伸工作活动:调查工作的组织 /
学生自我工作总结 /
工作7市场调查资料的整理
任务71确认数据资料 /
711回收、登记问卷 /
712审核调查问卷 /
713处置有问题问卷 /
714进行资料分组 /
工作活动71验收调查资料 /
任务72录入数据 /
722资料录入 /
工作活动72数据录入管理 /
任务73列示市场调查数据 /
731制表列示 /
732制图列示 /
工作活动73列示市场调查资料 /
工作7小结 /
工作过程知识检测 /
延伸工作活动:调查资料的整理 /
学生自我工作总结 /
工作8市场调查资料的分析
任务81资料的定性分析 /
811定性分析的操作 /
812 选择定性分析方法 /
工作活动81定性分析资料 /
任务82资料的定量描述分析 /
821分析数据的集中趋势 /
822分析数据的离散程度 /
823综合指数分析 /
工作活动82描述分析资料 /
任务83资料的定量解析分析 /
831数据的方差分析 /
832数据的相关分析 /
833数据的回归分析 /
工作活动83解析分析资料 /
工作8小结 /
工作过程知识检测 /
延伸工作活动:市场调查资料的分析 /
学生自我工作总结 /
工作9市场发展趋势的预测
任务91经验判断分析预测 /
911集合意见法 /
912专家会议法 /
913德尔菲法 /
工作活动91经验判断分析预测 /
任务92时间序列分析预测 /
921简单平均法 /
922移动平均法 /
923指数平滑法 /
924趋势外推法 /
工作活动92时间序列分析预测 /
任务93回归分析预测 /
931一元线性回归分析 /
932多元线性回归分析 /
工作活动93回归分析预测 /
工作9小结 /
工作过程知识检测 /
延伸工作活动:市场发展趋势预测 /
学生自我工作总结 /
工作10市场调查报告的编写
任务101市场调查报告的准备 /
1011明确市场调查的目的 /
1012落实写作材料 /
1013确定报告类型及阅读对象 /
1014构思报告 /
1015选择材料 /
工作活动101调查报告编写准备 /
任务102市场调查报告的编写 /
1021确定市场调查报告的格式 /
1022市场调查报告的编写 /
工作活动102编写市场调查报告 /
任务103市场调查报告的提交 /
1031修改市场调查报告 /
1032提交市场调查报告 /
工作活动103调查报告的修改 /
工作10小结 /
工作过程知识检测 /
延伸工作活动:市场调查报告的编写 /
学生自我工作总结 /
附录课程标准匿名用户不能发表回复!|
每天回帖即可获得10分可用分!小技巧:
你还可以输入10000个字符
(Ctrl+Enter)
请遵守CSDN,不得违反国家法律法规。
转载文章请注明出自“CSDN(www.csdn.net)”。如是商业用途请联系原作者。市场研究相关的大数据技术与资源介绍_慧观点_观点·视角_HCR(慧聪研究),市场调查,市场研究,神秘顾客,满意度,上市咨询
观点·视角 News
您的位置:&&&正文
市场研究相关的大数据技术与资源介绍
&&&&& 在前两篇讨论产品方法论和业务模式变化的文章中,可以发现,IT技术成为大数据业务生态下的重要竞争力。本文中笔者将结合自身工作,针对市场研究所需的大数据IT技术以及可用资源进行简要介绍。内容主要面向非技术性的研究人员,不涉及技术细节。
一、研究业务的技术特性要求
&&&&& 大数据相关技术和资源众多,先从市场研究的业务特点来分析其对技术性的一些要求:
&&&&& 1.数据规模而言,因为客户主要偏传统企业客户(非互联网类),受其业务限制,可分析的大数据规模不会超过百亿/TB级,不像互联网企业达到千亿/PB级。
&&&&& 2.数据格式还是以结构化数据为主,部分非结构化文本(如互联网/社交方面为主)。
&&&&& 3.处理模式上,因为分析过程是多次迭代和不断深入,不需要实时出结论,所以离线非实时、批量化/AdHoc结合的OLAP分析是主要模式。这个和很多互联网企业的实时大数据业务要求不同。
&&&&& 4.分析的属性维度多样,经常变化,关注整体特性。所以对数据管理中的多字段检索和汇总统计的能力要求较高。
&&&&& 基于以上的技术要求,我们来讨论研究业务适合的技术理论与资源。
二、主要技术理论
&&&&& 在整个大数据相关技术体系中,研究公司大数据业务涉及的技术领域主要如下:
&&&&& 1.分布式计算(Distributed computing)
&&&&& 在大数据领域,大部分数据存储和高速计算都离不开分布式计算。日常生活中,我们一台电脑可完成所有计算和数据存储,当觉得不够用时,通常是更换更快的CPU和更大硬盘来解决。但当计算速度和存储要求越来越高时(如大数据环境下对TB甚至PB级数据管理计算),这种通过提升单台服务器性能的集中模式会导致服务器(如使用在运营商话单计费、银行交易系统的小型机)成本极为昂贵,且最终可能仍然无法满足要求。另外一种思路,则是将大的计算需求分摊到多台计算机一起来完成(如同一个大卡车的载货被分到很多台小卡车来运输一样)。相应的分布式计算(包括存储)就是通过多台(成千上万甚至百万)廉价、低性能服务器来实现超高的计算存储能力。在分布式计算系统中,任何计算和存储请求,被自动分为多个小的任务,分摊到各服务器上并行完成。同时,数据分布在多个服务器节点并有备份,这样即使部分服务器损坏并不影响系统运行。
&&&&& 相比集中模式,分布式计算成本和门槛更低,易扩展并具高可靠性。成为近10年来 IT体系架构最重要的技术,支撑起了整个互联网的数据和业务,也是云计算和大数据的支撑技术之一。
&&&&& 2.机器学习(Machine Learning)
&&&&& 如果说分布式计算是IT体系架构的明星,那机器学习就是智能数据分析的利器了。作为人工智能的核心研究领域之一,机器学习是为了让计算机通过经验(先验知识数据)来模仿人类的学习能力,从而获得计算机系统能力的提升。上世纪末,随着统计学习理论出现和发展,机器学习从IT技术逐步扩展为一种交叉学科,在很多非IT领域也得到广泛应用。虽然相关算法在理论上需要较多的知识背景,但不要觉得它是多么高大上,比如研究行业常用到的决策树、分类(有监督学习)和聚类(无监督学习),实际都是机器学习的算法子集(其他常用的还有Bayes网络、支持向量机和神经元网络等)。 基于训练 - 建模 - 分类 - 优化的迭代生成模式,使得机器学习在实际的分析性能和模型适用性方面,具有较大的优势。近两年来,基于多层神经网络的深度学习(Deep Learning)理论在一些领域(自然语言、音视频识别)具有突出的表现,有望进一步推动机器学习的深入分析能力。
&&&&& 大数据领域,机器学习由于其在数据分析方面的先天优势能力,当仁不让的成为相关数据分析的核心技术。该方面的技术水平成为当前衡量大数据分析能力的重要标志。
&&&&& 3.自然语言处理(Natural Language Process)
&&&&& 大数据的多种数据中,非结构化数据日趋庞杂和重要,其代表就是自然语言形式的语义内容(搜索、新闻、社交媒体、电商评论等),而对其内容的分析(如文本挖掘)离不开自然语言处理技术。相关学术学科叫计算语言学,作为计算机与语言的交叉学科,它以统计性、量化的方式来研究语言的规律。自然语言处理涉及分词、词法、句法、语法、语义分析等多个层面,相当复杂。而当前商业性应用,中文的主要集中在分词、词频统计、关键特征抽取等浅层分析、情感倾向与主题模型(如LDA/ PLSA等)和机器翻译等方面。传统研究业务中,也可用于开放题/讨论文本的自动分析编码。实际上,NLP的应用领域应该可以更大。举一个有趣的例子,曹雪芹的《红楼梦》最后40章常被认为是高鹗续作,但相关观点的红学家/语言学家并不能有效证明。借助计算语言学,可对前80章和后40章的内容进行分析(包括用词习惯、句法、文法等等),可得到两部分文章在行文风格的多种量化指标,通过其差异就能判断是否为不同的作者。计算语言学的理论基础感觉近年来进展不大,但深度学习近来的表现有望帮助其在应用性能方面有所提升。
&&&&& 4.数据挖掘 (Data Mining)
&&&&& 数据挖掘在非大数据时代(海量数据)就已经广泛使用(如CRM的用户分析、产品关联分析)。严格的说,其并不算是一种技术,而是一种分析模式:综合利用机器学习、数据库技术和自然语言处理等多种技术方法,从数据中获得相关的结果。在大数据时代,虽然数据的挖掘往往意味着数据金矿,但笔者认为,挖掘技术必须与业务分析思路紧密结合,才会发挥出较大的价值。
&&&&& 5.其他关键技术
&&&&& 在大数据时代,互联网社交媒体数据(尤其是用户间的关系数据)体现出了前所未有的价值。对上亿用户错综复杂的关系网络的快速分析,正是图计算理论擅长之处。图计算作为新兴的技术理论,主要聚焦节点之间关系的深度研究,其不仅在社交用户分析上价值很大,在恶意欺诈检测、生命科学等领域都有巨大应用前景。
而随着音视频数据的日益普及和传播,针对此类大数据的处理(比如语音识别/图像、视频识别分析)技术,也在大数据业务中逐步开始使用。这些其实都是模式识别(Pattern Recognition)技术的应用,核心问题是特征(维度较高)的抽取和相似/匹配性比较。
三、主要技术资源与工具
&&&&& 在前面了解的技术理论之上,我们进一步介绍大数据业务中可使用的技术资源和工具。相关说明按业务流程顺序展开,以主流、免费的开源资源为主(主要为笔者熟悉了解的 ,其他资源不做相关的评论和推荐)&& &
(1)分布式计算框架
&&&&& 分布式计算框架用于完成分布式计算所需的底层任务管理和调度等核心工作, 是大数据计算体系结构的基石。当前主流的开源框架包括:
&&&&& 1.Hadoop 和Map/Reduce 。借鉴Google的分布式系统发展而来。09年笔者使用其早期版本时问题颇多,但几年后其已经成为事实的行业标准,并衍生出庞大的上层生态圈。其Map/Reduce计算范式解决分布式调度和结果归并的问题,N 大大降低了分布式程序开发的难度。 Hadoop擅长的离线批量式处理适合研究公司的基础数据计算(如汇总和统计),其缺点是响应迟滞,速度慢,维护和编程也相对麻烦。
&&&&& 2.Spark.& 新的分布式开源框架,在迭代计算(如机器学习)场景下比Hadoop快几十倍,同时提供了MLLib机器学习、Spark Sql查询和GraphX图计算众多大数据工具包,也更易于维护和编程。众多优点使得其近一年发展极快,受到了广泛的支持,预计将代替Hadoop成为新的数据计算标准。Spark比Hadoop更加适合研究公司。在HCR大数据平台中,其作为大数据分析计算的核心,完成机器学习的相关处理。
&&&&& 3.Strom.&& Hadoop和Spark都适合非实时处理,对于需要实时响应的业务(比如DSP/RTB广告实时竞价,电商平台实时购物推荐)场景,则是Storm流式计算框架的天下,高速和高容错使得它已经在此类业务环境中成为基本配置,如果研究公司存在类似实时处理特性的业务也可以考虑使用。&& &
(2)数据管理
&&&&& 数据管理主要包括存储和快速检索。大数据环境中,研究业务相关的数据更多以数据库而不是文件方式存储,所以这里主要介绍几类数据库的选择
&&&&& 1.关系数据库(Mysql/Oracle)传统的关系数据库虽然对大数据的支持能力有些不足, 但就研究公司而言,亿级以下的结构化数据的分析仍然会是未来分析的重要场景,此时使用关系数据库(无论免费的Mysql还是商业的Oracle)完全没有问题。其便于管理,工具成熟,适合研究中各种多维度的统计分析。同时,也适合在大数据业务中作为数据仓库存储大数据的中间分析结果,便于后续更上层分析。
&&&&& 2.键值数据库(HBase/Cassandra)真正意义上的大数据数据库,基于分布式计算体系和键值模式可轻松支持百亿规模以上的记录管理。但其最适合针对特定单一条件(如某用户的相关信息)的快速查询,不支持多级索引,所以研究中常用的多维分析(多字段条件)会很麻烦(方便性远不如关系数据库),对单用户的检索分析则很快。在HCR(慧辰资讯)平台中,HBase主要作为基础大数据的存储和单用户行为标签的离线批量计算。
&&&&& 3.文档数据库(MongoDB)另一基于文档的大数据数据库,使用上最大特点是可随意增删记录的字段,尤其适合某些研究分析中随时自定义分析属性维度。如果有涉及地理空间的分析,其也比较方便。就实际应用而言,建议在&10亿级别的动态数据比较合适(否则对内存和硬盘空间需求太大) &&& &&& &
(3)处理与计算&& &&& &
&&&&& 市场研究行业大数据业务中,分析相关的数据计算技术是最重要的技术内容,主要集中在以下几个领域:
&&&&& 1.并行机器学习(Mahout /Spark MLLib)机器学习本已是数据计算利器,而基于分布式的并行机器学习框架则将其能力又大大增强。Mahout中实现了大量的机器学习算法(包括推荐算法)的并行版本(甚至有并行SVD这种高大上),是当前大数据机器学习的主要工具包。MLib基于Spark框架,在性能上有优势,也开始受到广泛的关注。
&&&&& 2.自然语言处理 在中文自然语言处理领域,当前可用的免费开放资源并不多(分词资源较多),一些开放资源主要来自学术院校(清华、中科院、复旦和哈工大等,相关内容不便列出,请自行查找),但在效果上面向工业应用尚有不足。当前常见方式是借助专业技术企业/院校合作获得深入分析能力。
&&&&& 3.图计算(GraphLab/Spark GraphX)如果有图计算相关的需求可考虑采用这些开源资源。前者是当前最主流的图计算框架,实现了图数据的存储和基础计算逻辑。后者GraphX是Spark体系下的图计算新贵。
&&&&& 4.R语言R语言作为统计性功能强大的计算语言,在传统研究行业具有较大应用前景。同时其在可视化和开源支持方面也有一定优势。如今R对Hadoop的支持也比较完善。对于熟悉R语言的研究公司,可从R语言更快切入大数据的计算领域。
(4)研究分析
&&&&& 在分析阶段,考虑研究员将成为重要的角色,此时资源聚焦在研究员可以使用的各种工具上。以下是相关的一些内容:
&&&&& 1.Hive/Impala/Spark Sql 分布式的大数据(数据仓库)的分析工具,支持以传统关系数据库Sql语句进行大数据内容的检索,大大降低了研究分析人员的大数据分析门槛,是适合数据分析/研究人员的最佳工具。Hive最早由Facebook开源,应用最广,但性能最差。 Impala在性能与稳定性的平衡较好,但限制较多。Spark Sql作为最新的工具,性能最强,但稳定性尚待完善。
&&&&& 2.TableAU 企业级大数据分析工具,多应用于世界500强企业内部业务分析,不过其是商业付费软件。其优点是大数据下的可视化和方便性,研究人员使用比较容易。就实际应用体会上,感觉更适合企业级内部数据、亿级以下的结构化大数据的场景。分析维度主要是统计性维度,可分析深度相对不足。
&&&&& 3.SPSS Modeler& IBM的商用数据挖掘工具,对大数据支持能力不如TableAU(与其计算复杂度相关),其特点是提供专业的数据挖掘算法,研究中适合做深度/非统计性研究。
&&&&& 4.Gephi 可视化分析 如果要做一些传播关系的图形化分析,那不妨考虑Gephi。其支持多种可视化分析图生成。不过在较大数据量(比如2万节点以上)时性能下降较快,所以最好对数据预先做相关平滑和剪枝。
&&&&& 5.可视化开发框架& 数据可视化是大数据的一个特色,但这里放到研究分析来说明,是因为可视化技术的价值是帮助更有效的分析,不是花哨的展示。当前国内百度EChart (2.0以上版本)的易用性和功能相对不错(就是感觉样式配色不够专业),国外基于D3框架的应用更能体现可视化的价值(效果强大,但开发比较麻烦)。 桌面办公软件中,微软GeoFlow支持Excel的Bing地图可视化。其他还有很多各有特色的可视化框架,不再一一介绍了。
&&&&& HCR(慧辰资讯)认为,经过以上内容,想必研究同行们对大数据相关技术已经有了基本的认识。如果要想在大数据业务服务中发挥自身价值,研究人员除了转变方法论思路外,还要注意提升自身的技术能力。
&&&&& 传统研究业务中,研究员太依赖DP和其他IT人员进行数据计算处理,自身没有任何技术能力。大数据业态下,技术性分析与传统研究将紧密结合,技术手段的使用程度深入影响数据洞察的深度。研究员如果熟悉相关技术手段(至少分析工具的使用),将会极大扩展自身的分析能力。既熟悉大数据处理技术,又懂得研究业务思路的复合人才—数据科学家,将是未来数据分析业务的王者。

我要回帖

更多关于 市场调查数据分析 的文章

 

随机推荐