金投网

大数据技术有哪些

随着大数据分析市场快速渗透到各行各业,大家对大数据的关注度也越来越高,大数据技术有哪些呢?

随着大数据分析市场迅速渗透到各行各业,大家对大数据的关注度也越来越高,大数据技术是什么?

1.Hadoop

Hadoop确实是现在着名的大数据技术.

从2003年到2004年,谷歌发表了GFS、Mapreduce和BigTable三篇技术论文(这几篇论文成为云计算、大数据领域发展的重要基础).

当时,由于公司破产在家的程序员DougCutting基于前两篇论文,开发了简化的山寨版GFS——HDFS和基于MapReduce的计算框架.这是Hadoop当初的版本.

之后,Cutting被Yahoo雇佣,依靠Yahoo的资源改善Hadoop,为Apache开源社区做出贡献.

简要说明Hadoop原理:数据分布式存储,运算程序分别发送到各数据节点进行运算(Map),合并各节点的运算结果(Reduce),产生结果.

对于移动TB级数据,计算程序一般为KB--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

在其诞生近十年来,Hadoop以其简单、易用、高效、免费、社区支持丰富等特点成为许多企业云计算、大数据实施的优先事项.

2.Storm

Hadoop很好,但有死穴.其一,其运算模式是批处理.这对许多有实时要求的业务没有很好的支持.

1 2 下一页 末页 共2页

相关推荐

什么叫大数据技术
现在很多行业都运用到了大数据,那么,什么叫大数据技术呢?
奥比中光拟IPO上市,3D传感赋能人工智能新时代
​近些年来,在智能手机的带动下,手机摄像头产业快速发展,尤其是多摄像头和3D摄像头,更是成为智能手机的重要卖点。从事3D摄像头产业的奥比中光拟境内IPO上市,并已进行上市辅导备案。
新力控股业绩背后的价值解码:品质赋能地产升级之路
从过去的“住有所居”到如今的“住而宜居”,城市生活进化更迭和经济发展日渐提速带来的是居住品质的全面升级。
美国第三种变异病毒 或是迄今为止最容易传播的病毒
​据当地时间1月14日《每日邮报》报道,美国南伊利诺伊卡本代尔大学的一个研究小组发现了第三种美国本土变异新冠病毒,是目前为止最容易传染的病毒。
汉堡王被曝吃出烧焦虫子 官方回应同批次产品已封存待检
汉堡王被曝吃出烧焦虫子 官方回应同批次产品已封存待检
​最近浙江绍兴的一名消费者在汉堡王果木香火烤鸡腿堡中吃“异物”,看起来像烤焦的虫子。
免责声明本文来自第三方投稿,投稿人在金投网发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,不保证该信息的准确性、真实性、完整性、有效性、及时性、原创性等,版权归属于原作者,如无意侵犯媒体或个人知识产权,请来电或致函告之,本站将在第一时间处理。金投网发布此文目的在于促进信息交流,不存在盈利性目的,此文观点与本站立场无关,不承担任何责任。未经证实的信息仅供参考,不做任何投资和交易根据,据此操作风险自担。侵权及不实信息举报邮箱至:tousu@cngold.org。

财经频道FINANCE.CNGOLD.ORG