Lambda 表达式让 Spark 编程更容易

近日，Databricks 官方网站发表了一篇博文，用示例说明了lambda 表达式如何让Spark 编程更容易。文章开头即指出，Spark 的主要目标之一是使编写大数据应用程序更容易。Spark 的Scala 和Python 接口一直很简洁，但由于缺少函数表达式，Java API 有些冗长。因此，随着Java 8 增加了 lambda 表达式，他们更新了 Spark 的 API。Spark 1.0 将提供 Java 8 lambda 表达式支持，而且与 Java 的旧版本保持兼容。该版本将在 5 月初发布。

文中举了两个例子，用于说明 Java 8 如何使代码更简洁。第一个例子是使用 Spark 的 filter 和 count 算子在一个日志文件中查找包含“error”的行。这很容易实现，但在 Java 7 中需要向 filter 传递一个 Function 对象，这有些笨拙：

 
JavaRDD<String> lines = sc.textFile("hdfs://log.txt").filter(
 new Function<String, Boolean>() {
   public Boolean call(String s) {
     return s.contains("error");
   }
});
long numErrors = lines.count();

在 Java 8 中，代码更为简洁：

 
JavaRDD<String> lines = sc.textFile("hdfs://log.txt")
                         .filter(s -> s.contains("error"));
long numErrors = lines.count();

当代码更长时，对比更明显。文中给出了第二个例子，读取一个文件，得出其中的单词数。在 Java 7 中，实现代码如下：

 
JavaRDD<String> lines = sc.textFile("hdfs://log.txt");
 
// 将每一行映射成多个单词
JavaRDD<String> words = lines.flatMap(
 new FlatMapFunction<String, String>() {
   public Iterable<String> call(String line) {
     return Arrays.asList(line.split(" "));
   }
});
 
// 将单词转换成 (word, 1) 对
JavaPairRDD<String, Integer> ones = words.mapToPair(
 new PairFunction<String, String, Integer>() {
   public Tuple2<String, Integer> call(String w) {
     return new Tuple2<String, Integer>(w, 1);
   }
});
 
// 分组并按键值添加对以产生计数
JavaPairRDD<String, Integer> counts = ones.reduceByKey(
 new Function2<Integer, Integer, Integer>() {
   public Integer call(Integer i1, Integer i2) {
     return i1 + i2;
   }
});
 
counts.saveAsTextFile("hdfs://counts.txt");

而在 Java 8 中，该程序只需要几行代码：

 
JavaRDD<String> lines = sc.textFile("hdfs://log.txt");
JavaRDD<String> words =
   lines.flatMap(line -> Arrays.asList(line.split(" ")));
JavaPairRDD<String, Integer> counts =
   words.mapToPair(w -> new Tuple2<String, Integer>(w, 1))
        .reduceByKey((x, y) -> x + y);
counts.saveAsTextFile("hdfs://counts.txt");

要了解更多关于 Spark 的信息，可以查看官方文档。Spark 只需下载解压即可运行，而无须安装。

感谢辛湜对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ）或者腾讯微博（ @InfoQ ）关注我们，并与我们的编辑和其他读者朋友交流。