admin 管理员组文章数量: 1184232
1、查看是否安装好了Java运行环境(JRE)和java开发工具包（JDK）
(1) 打开终端cmd，输入：java -version，如果成功显示版本号, 则代表java运行环境已安装成功。
C:\Users\86158>java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
(2) 打开终端cmd，输入: javac -version，如果成功显示版本号, 则代表java开发工具包已安装成功。
C:\Users\86158>javac -version javac 1.8.0_131
java -version:
这个命令用于显示当前Java运行时环境（JRE）的版本信息。它调用的是Java虚拟机（JVM），用于执行Java程序。输出通常包括Java的版本号、JVM的实现版本、JVM的运行时环境版本等信息。
javac -version:
这个命令用于显示当前Java开发工具包（JDK）的版本信息。它调用的是Java编译器，用于将Java源代码（.java文件）编译成字节码（.class文件）。输出通常包括Java编译器的版本号、JDK的实现版本等信息。
总之，java -version 显示的是运行Java程序所需的环境信息，而javac -version显示的是编译Java源代码所需的工具信息。如果只安装了JRE而没有安装JDK，那么javac -version命令会失败，因为它需要Java开发工具集（包括编译器）来执行。
2、如果没有安装好以上的环境，就需要安装java运行环境和java的jdk编译器。
Java运行环境（JRE）和 Java开发工具包（JDK）通常是分开安装的。
两个安装包的下载地址：
网址：https://dl.360safe/software_installer_download/Java_1038_b32bf.exe
链接: 百度网盘 百度网盘 请输入提取码 提取码：7gvo
这里有2个坑是需要注意的：
（1） java运行环境jre的版本和 开发工具包jdk的版本必须匹配，否则后面在给hadoop配置虚拟环境时会报错，或配置不成功。（上面提供的下载地址，版本是匹配的，作者验证过了）。
(2) 在安装java运行环境jre 和 开发工具包jdk的时候，安装路径不要出现中文，也不要出现空格。否则后面在给hadoop配置虚拟环境时会报错，或配置不成功。（作者也是参考了很多攻略，踩了坑才得出总结的）
3、给java配置环境变量
安装完成后，需要设置 JAVA_HOME 环境变量，并确保 javac 命令可以通过系统的PATH变量访问。
这里只介绍Windows系统环境配置。
（1）在电脑中找到 “编辑系统环境变量” 或 “环境变量” 的窗口。
（2）点击环境变量，找到系统环境变量，点击“新建”来创建一个新的系统变量。输入：
-
变量名：JAVA_HOME
-
变量值：JDK的安装路径（例如，D:\apps\jdk1.8.0_131）
（3）在“系统变量”区域找到名为“Path”的变量，选择它然后点击“编辑”（或鼠标双击它），在“编辑环境变量”窗口中，点击“新建”，然后添加 %JAVA_HOME%\bin 。点击“确定”保存设置。
配置完成后，按照本文前面的第1条，“查看是否安装好了Java运行环境(JRE)和java开发工具包（JDK）”，进行验证。
4、 安装hadoop
（1）下载hadoop安装包：hadoop-3.4.1.tar.gz，下载地址
Index of /apache/hadoop/common/stable
（2）解压下载好的文件hadoop-3.4.1.tar.gz，把解压的文件夹hadoop-3.4.1放在安装目录下，例如路径为：
D:\apps\hadoop\hadoop-3.4.1
（3）由于Hadoop在Windows上运行，需要一些Linux命令的支持，需要下载一个名为winutils.exe的程序和hadoop.dll 文件，winutils.exe提供了这些命令的支持。下载 winutils.exe 和 hadoop.dll 文件，将它们复制到Hadoop的bin目录下D:\apps\hadoop\hadoop-3.4.1\bin，替换原有的文件。
下载地：百度网盘 请输入提取码 提取码：61yf
（4）更新 hadoop-env.cmd文件。
打开 D:\apps\hadoop\hadoop-3.4.1\etc\hadoop\hadoop-env.cmd 文件，修改3个地方，确保以下内容正确设置。
第1：set JAVA_HOME= ，的路径修改为jdk的安装路径；
第2：set HADOOP_HEAPSIZE= ，设置为 1024；
第3：在set HADOOP_OPTS=%HADOOP_OPTS% -Djava.preferIPv4Stack=true 的后面增加 -Xm1024m。
set JAVA_HOME=D:\apps\jdk1.8.0_131 set HADOOP_HEAPSIZE=1024 set HADOOP_OPTS=%HADOOP_OPTS% -Djava.preferIPv4Stack=true -Xm1024m
5、配置Hadoop的环境变量
hadoop安装完成后，需要设置环境变量，并确保hadoop命令可以通过系统的PATH变量访问。
这里只介绍Windows系统环境配置。
（1）在电脑中找到 “编辑系统环境变量” 或 “环境变量” 的窗口。
（2）点击环境变量，找到系统环境变量，点击“新建”来创建一个新的系统变量。输入：
-
变量名：HADOOP_HOME
-
变量值：hadoop的安装路径（例如，D:\apps\hadoop\hadoop-3.4.1）
（3）在“系统变量”区域找到名为“Path”的变量，选择它然后点击“编辑”（或鼠标双击它），在“编辑环境变量”窗口中，点击“新建”，然后添加 %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin 。点击“确定”保存设置。
（4）验证是否安装成功。配置完成后，打开终端cmd，进入到进入到hadoop的安装目录：D:\apps\hadoop\hadoop-3.4.1\bin>，输入hadoop version，如果显示Hadoop的版本号，就表示安装成功了。
D:\apps\hadoop\hadoop-3.4.1\bin>hadoop -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
6、启动Hadoop服务
（1）格式化HDFS：
在cmd中，进入到路径D:\apps\hadoop\hadoop-3.1.0\bin，或者直接在对应的文件夹里面输入cmd，输入hdfs namenode –format命令。对Hadoop分布式文件系统（HDFS）的NameNode进行格式化。NameNode是HDFS的主节点，负责管理文件系统的命名空间和控制对文件的访问。格式化NameNode是Hadoop集群启动前的准备工作，它会清除NameNode上的所有元数据信息，因此这个操作需要谨慎执行，因为它会删除所有存储在HDFS上的数据。
D:\apps\hadoop\hadoop-3.4.1\bin>hdfs namenode –forma 2024-10-31 23:29:13,767 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = WangLing0121/192.168.56.1 STARTUP_MSG: args = [–forma] STARTUP_MSG: version = 3.4.1
（2）启动Hadoop的各个守护进程：
进入到D:\apps\hadoop\hadoop-3.1.0\sbin目录（注意是sbin而不是bin），这个目录包含了Hadoop的脚本工具，用于启动和停止Hadoop的各种守护进程。
输入start-dfs.cmd命令，启动Hadoop的分布式文件系统（DFS）相关的守护进程，包括NameNode和DataNode。NameNode负责管理文件系统的命名空间和客户端对文件的访问，DataNode负责存储实际的数据。
输入start-yarn.cmd命令，启动Hadoop的资源管理器（YARN）相关的守护进程，包括ResourceManager和NodeManager。ResourceManager负责集群的资源管理和作业调度，NodeManager负责管理单个节点上的资源和任务执行。
D:\apps\hadoop\hadoop-3.4.1\sbin>start-dfs.cmd D:\apps\hadoop\hadoop-3.4.1\sbin>start-yarn.cmd starting yarn daemons
这些步骤完成后，Hadoop集群就会启动并运行，可以开始处理分布式计算任务。这些窗口显示的是守护进程的日志输出，它们对于监控集群状态和排查问题非常有用，因此不应该关闭。
版权声明：本文标题：Windows环境下安装Hadoop全过程（一条龙服务） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1762981371a3203216.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论