新浪中文网

手机浏览器扫描二维码访问

第220章 大数据处理关键操作（第1页）

“当然可以，你拿去看吧，有什么意见尽管跟我说。”

李卫脸上挂着温和的笑容，语气客气地说道。

秦奕接过论文，迫不及待地开始快速浏览其中的关键论述——这篇论文主要阐述了并行程序中并行、汇聚、通讯、映射及归纳等机制的语义。

看着看着，他的眼中闪过一丝惊喜，这里面描述的不正是前世互联网大数据处理框架

mapreduce

里的基本操作吗！

前世，搜索引擎巨头谷歌在

2004

年前后发布了三篇奠定大数据处理基础的论文

——《the

google

file

system》《mapreduce:

simplified

data

processing

on

large

c露sters》《bigtable:

a

distributed

storage

system

for

structured

data》。

这三篇论文为大数据处理领域带来了全新的思路和方法，宛如一把火，瞬间点燃了学术界和工业界对大规模数据处理技术的研究热情，也有力推动了

hadoop

等开源项目的发展。

这些项目在之后的十几年里迅速成为了大数据基础设施，对整个大数据、云计算甚至是后来的人工智能行业都产生了深远影响。

其中，《mapreduce》这篇论文里使用的核心操作

map

和

reduce，与李卫这篇论文中的映射和归纳两个机制，本质上如出一辙。

秦奕不禁思索，原来早在这个时候，相关的核心操作就已经在并行程序领域得到应用了吗？

或许当时撰写那三篇论文的谷歌程序员正是从这些并行程序的论文中获得了灵感。

当然，《mapreduce》论文不只是应用了这两个关键操作，它还围绕这两个核心操作，精心设计了一套完整的系统架构和实现机制，涵盖数据划分、任务调度、容错处理、数据

代码互定位等功能，确保在大规模集群上能够稳定、高效地运行。

秦奕接着又仔细看了看李卫论文里的具体实验内容，是关于

本是无情人，怎奈有情生？  综漫：从鬼灭开始俘获女神  夫人逃婚后，少帅追妻不装了！  阿斌历险记  转生：逐步登顶成为蛇神  师妹万万不可  禅宗小子  明月依旧照山河  重生83：从赶山开始发家致富  旷世邪尊  剑仙李白之异界问道录  暴君的第一女相师皇后  为民亮剑  最强渔夫：海岛奶爸  这天下第一宗有我，是灭定了！  认亲侯府被替嫁，玄学祖宗闹翻天  认鬼做母：他真不按套路出牌  又是一年三月三  洪荒：九叶剑草到鸿蒙灵根  大日合欢吞天诀