能不能解释一下hadoop中的mapreduce,hadoopmapreduce,现在要完成一项海量数据处


现在要完成一项海量数据处理的工作。
大约有500G的.gz log文件
现在要从log中提取一些信息做统计工作~
因为文件太大,所以打算用hadoop来做。
现在已经安装了hadoop,然后需要自己写mapreduce
打算用脚本来写,比如shell,python。
可是因为刚入手,所以对mapreduce不是很理解。
不知哪位高手能用生动的语言解释一下什么事mapreduce,对于我这个问题来说,mapreduce有分别起到什么作用呢?

编橙之家文章,

评论关闭