随着大数据分析市场快速渗透到各行各业,大家对大数据的关注度也越来越高,大数据技术有哪些呢?
随着大数据分析市场迅速渗透到各行各业,大家对大数据的关注度也越来越高,大数据技术是什么?
1.Hadoop
Hadoop确实是现在着名的大数据技术.
从2003年到2004年,谷歌发表了GFS、Mapreduce和BigTable三篇技术论文(这几篇论文成为云计算、大数据领域发展的重要基础).
当时,由于公司破产在家的程序员DougCutting基于前两篇论文,开发了简化的山寨版GFS——HDFS和基于MapReduce的计算框架.这是Hadoop当初的版本.
之后,Cutting被Yahoo雇佣,依靠Yahoo的资源改善Hadoop,为Apache开源社区做出贡献.
简要说明Hadoop原理:数据分布式存储,运算程序分别发送到各数据节点进行运算(Map),合并各节点的运算结果(Reduce),产生结果.
对于移动TB级数据,计算程序一般为KB--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
在其诞生近十年来,Hadoop以其简单、易用、高效、免费、社区支持丰富等特点成为许多企业云计算、大数据实施的优先事项.
2.Storm
Hadoop很好,但有死穴.其一,其运算模式是批处理.这对许多有实时要求的业务没有很好的支持.
热评话题
相关推荐
- 奥比中光拟IPO上市,3D传感赋能人工智能新时代
- 近些年来,在智能手机的带动下,手机摄像头产业快速发展,尤其是多摄像头和3D摄像头,更是成为智能手机的重要卖点。从事3D摄像头产业的奥比中光拟境内IPO上市,并已进行上市辅导备案。
- 经济民生 0
- 新力控股业绩背后的价值解码:品质赋能地产升级之路
- 从过去的“住有所居”到如今的“住而宜居”,城市生活进化更迭和经济发展日渐提速带来的是居住品质的全面升级。
- 经济民生 0
- 美国第三种变异病毒 或是迄今为止最容易传播的病毒
- 据当地时间1月14日《每日邮报》报道,美国南伊利诺伊卡本代尔大学的一个研究小组发现了第三种美国本土变异新冠病毒,是目前为止最容易传染的病毒。
- 国际 0
- 汉堡王被曝吃出烧焦虫子 官方回应同批次产品已封存待检
- 最近浙江绍兴的一名消费者在汉堡王果木香火烤鸡腿堡中吃“异物”,看起来像烤焦的虫子。
- 国内 投资 公司 消费 0