sparkStreaming

大佬教程收集整理的这篇文章主要介绍了sparkStreaming，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}//  创建一个本地模式的StreamingContext, 两个工作线程， 1s的批处理间隔//Master要求2个核，以防出现饥饿情况object Socket {  def main(args: ArraY[String]): Unit = {//    Spark配置项    val conf = new SparkConf().setAppName("Socket").setMaster("local[*]")//    创建流式上下文，1s批处理间隔    val ssc = new StreamingContext(conf, Seconds(1))//  创建一个DStream，链接指定的hostname: prot, 比如localhost: 9999    val lines = ssc.socketTextStream("localhost", 9999)//    将收到的每条信息分割成词语    val words = lines.flatMap(_.split(" "))//    统计每个batch的词频    val pairs = words.map(word => (word, 1))//    词频汇总    val WordCounts = pairs.reduceByKey(_+_)//    打印从Dstream中生成的RDD的前10个元素到控制台    WordCounts.print()    ssc.start()     //开始计算    ssc.awaitTermination()  //等待计算结束  }}

大佬总结

以上是大佬教程为你收集整理的sparkStreaming全部内容，希望文章能够帮你解决sparkStreaming所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。