金投网

大数据涉及什么技术

大数据应该是现在非常火的一个词了,那大数据涉及什么技术呢?

大数据应该是现在非常火的一个词了,那大数据涉及什么技术呢?

以永洪科技的技术说下,有四方面,其实也代表了部分通用大数据底层技术:

Z-Suite具有高性能的大数据分析能力,她完全摒弃了向上升级(Scale-Up),全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据:

跨粒度计算(In-DatabaseComputing)

Z-Suite支持各种常见的汇总,还支持几乎全部的专业统计函数。得益于跨粒度计算技术,Z-Suite数据分析引擎将找寻出最优化的计算方案,继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算,我们称之为库内计算(In-Database)。这一技术大大减少了数据移动,降低了通讯负担,保证了高性能数据分析。

并行计算(MPP Computing)

Z-Suite是基于MPP架构的商业智能平台,她能够把计算分布到多个计算节点,再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源,不管是服务器还是普通的PC,她对网络条件也没有严苛的要求。作为横向扩展的大数据平台,Z-Suite能够充分发挥各个节点的计算能力,轻松实现针对TB/PB级数据分析的秒级响应。

列存储 (Column-Based)

Z-Suite是列存储的。基于列存储的数据集市,不读取无关数据,能降低读写开销,同时提高I/O 的效率,从而大大提高查询性能。另外,列存储能够更好地压缩数据,一般压缩比在5 -10倍之间,这样一来,数据占有空间降低到传统存储的1/5到1/10 。良好的数据压缩技术,节省了存储设备和内存的开销,却大大了提升计算性能。

内存计算

得益于列存储技术和并行计算技术,Z-Suite能够大大压缩数据,并同时利用多个节点的计算能力和内存容量。一般地,内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算,CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速,是实现大数据分析的关键应用技术。

1 2 下一页 末页 共2页
重要提示文章部分内容及图片来源于网络,我们尊重作者版权,若有疑问可与我们联系。侵权及不实信息举报邮箱至:tousu@cngold.org
财经 管理 经济 编辑:伊麦

相关推荐

大数据时代怎样保障信息安全
在如今的大数据时代,数据蕴藏的大量价值推动着数据信息的获取途径的挖掘。而伴随信息技术发展而来的却是越发频繁的信息泄露事件,那大数据时代怎样保障信息安全呢?
大数据具有什么特征
进入2012年以来大数据一词越来越多地被人们提及与使用,人们用它来描述和定义信息爆炸时代产生的海量数据,哪大数据具有什么特征呢?
大数据需要学什么
很多人都知道大数据很火,就业很好,薪资很高,想往大数据方向发展。那大数据需要学什么呢?
大数据和云计算有什么关系
当前互联网领域与资源相关的热门词汇除了有“云计算”外,还有“大数据”。正是因为这两者均与资源相关,很多人又常常将云数据与大数据混淆。那么,大数据和云计算有什么关系呢?
大数据有哪些特征
现在感觉走到哪都挺听到大数据,那大数据有哪些特征你知道吗?