admin 管理员组

文章数量: 1087817

org.apache.spark.streaming.dstream.ShuffledDStream@310aee0b has not been initialized

Spark使用中，通过SparkContext创建一个ssc对象，并指定HDFS/本地检查点checkpoint，前提是HDFS或本地不能存在设置保存数据的检查点目录的，设置检查点代码为：

val ssc = StreamingContext.getOrCreate("hdfs://hadoop0:9000/checkpoint001", creatingFunc)

若运行时报错：

org.apache.spark.streaming.dstream.ShuffledDStream@310aee0b has not been initialized

这就说明hdfs/本地已经有 /checkpoint001这个文件了，删除或换个名字再重新运行即可。若 creatingFunc 函数中也有checkpoint定义，则也需要一并删除或更名。

本文标签： orgapachesparkstreamingdstreamShuffledDStream310aee0b has not been initialized

版权声明：本文标题：org.apache.spark.streaming.dstream.ShuffledDStream@310aee0b has not been initialized 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1694384239a251441.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。