spark

Spark单机版安装及配置（win10）

文章目录 1 安装java 1.1 查看java是否安装及版本信息 1.2 下载安装java 1.3 配置java环境变量 2 安装Scala 2.1 下载安装Scala 2.11.8 2.2 配置Scala环境变量 2.3 测试scala

单机版 spark

admin 3月前

30 0

win10简单安装spark

win10安装spark 安装步骤分为java, hadoop, scala和 spark四步。一、Java环境搭建首先从网站 https:www.oracletechnetworkjavajavasedownload

简单 spark

admin 3月前

29 0

spark的启动（附百度网盘下载地址）

链接：https:pan.baidus17RUi3Rpu5q4YqJpaw4Zbbg 提取码：d88l 1、首先在主节点master上启动hadoop进入以下目录：

下载地址 百度网 spark

admin 4月前

34 0

windows下安装spark

windows下安装sparkwindows下安装spark1、安装jdk2、安装scala（注意版本）3、下载spark4、安装hadoop5、下载winutils（win

Windows spark

admin 5月前

86 0

基于spark的短视频推荐系统的设计与实现毕业设计-附源码 53097

摘要随着互联网技术的发展和移动设备的普及，短视频平台成为人们获取信息和娱乐的重要渠道。然而，面对海量的短视频内容，用户往往面临选择困难和信息过载的问题。因此&#x

毕业设计 源码系统视频 spark

admin 7月前

124 0

spark数据倾斜原因与解决方法大总结

总结自：https:wwwblogsxiaodfp6055803.html 数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜&#xff

解决方法 原因数据 spark

admin 7月前

90 0

Spark学习之路 -网站地址

学习spark的网站地址：真心不错 https:wwwblogsqingyunzongp8899715.html https:wwwblogsqingyunzongcategory1202252.h

之路地址网站 spark

admin 7月前

70 0

Spark程序的入口之SparkContext

今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得: new sparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。SparkContext 允许d

入口程序 spark SparkContext

admin 7月前

93 0

spark-submit 提交到yarn上报错:NN上的资源不够用:Resources are low on NN.

spark-submit提交到yarn上报错:705013485_0008. Name node is in safe mode.Resources are low on NN. Please add or free up more re

报错 不够用 资源 submit spark

admin 7月前

81 0

spark driver 连接RM报错，不断尝试重连

记录一次生产异常，spark driver 连接RM报错，不断尝试重连接，报错如下：210416 17:00:05 INFO RetryInvoc

报错 spark Driver RM

admin 7月前

65 0

在Windows10 上超详细搭建spark 开发环境

http:note.youdaonoteshare?id3287f13ad5168e6d641fa260518dbeed&sub1F84992EF3584CF9A821D49FCDFCFD8B 这个是我的有道云比较分享出来的

环境详细 spark

admin 8月前

79 0

Spark环境搭建-Windows

Spark环境搭建-Windows 一、搭建环境简介。 1.1、相关材料的准备 • 以下是我们所要用到的环境，所有的安装包都可以到官网下载，也可以私信我的。 Python使用官方版的python- 3. 7. 2 版本 JDK使用 1

环境 spark Windows

admin 10月前

92 0

Windows下Spark开发环境的搭建

1.Spark概述 Spark是一个快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发。Spark提供了一种基于内存的分布式计算模型，能够在大规模数据集上进行高效的数

环境 Windows spark

admin 2025-3-18

106 0

spark大数据入门（一）如何在windows下部署spark开发环境

spark机器学习： spark现如今在大数据领域有着很重的地位，lz最喜欢的是基于spark之上的机器学习，也就是MlIB，这是基于分布式环境下的机器

入门环境数据 如何在 spark

admin 2025-3-6

108 0

Windows中下载并安装spark

前提：需要安装了jdk和python 步骤：安装spark+hadhoop（这两个要同时安装spark才可以运行）下载并安装spark 1.从官网http:spar.apache上下载最新的版本，保存在你喜欢的位置（在我这，我把

下载并安装 Windows spark

admin 2025-2-20

73 0

用Windows7+IDEA+SBT搭建Spark源代码调试与阅读环境

Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此&#xff

源代码 环境 IDEA spark sbt

admin 2025-2-11

91 0

spark异常：Consider boosting spark.yarn.executor.memoryOverhead

记录spark异常 1. spark内存溢出：数据倾斜问题 Container killed by YARN for exceeding memory limits… Consider boosting spark

异常 Boosting spark memoryOverhead executor

admin 2025-1-31

73 0

spark执行后报错physical memory used. Consider boosting spark.yarn.executor.memoryOverhead

使用spark运行数据处理事，虽然可以成功运行，但是看spark监控有fail出现，观察日志，发现有报错信息 [ERROR] method:org.ap

报错 memory physical spark executor

admin 2025-1-31

89 0

Consider boosting spark.yarn.executor.memoryOverhead

前言本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专

spark Boosting yarn memoryOverhead executor

admin 2025-1-31

98 0

spark相关

文章目录简介安装hdfs命令概念流程RDD函数运行模式standalone运行模式yarn运行模式流处理监控端口监控文件停止任务问题最后更新 2022.03.09 简介分布式计算的前提是计算的数据分区后各区无状态&#

spark

admin 2025-1-31

68 0