资讯

MapReduce的并行处理模式给自己增添了各种问题。虽然Java常用于MapReduce程序,你不见得非要成为Java专家才能享受到Hadoop上MapReduce的好处。 三种 MapReduce开发的替代方法包括Pig, streaming MapReduce和域特定语言,比如Scalding。 Pig是一种Hadoop下不借助Java而处理大数据的平台。
想通过java原生API将字符串进行压缩和解压缩,参考使用了别人的代码后,报异常了(Unexpected end of ZLIB input stream)。 在解压缩函数的gunzip.read(buffer)出了问题,跟踪进去看,异常由InflaterInputStream类的fill函数抛出。