正文

轻松上手Hadoop：Windows系统安装与配置全攻略

/0 浏览量
0331

引言

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。对于初学者来说，了解如何在Windows系统上安装和配置Hadoop是一个很好的起点。本文将带你一步步完成Hadoop在Windows系统上的安装与配置。

1. 环境准备

在开始之前，请确保你的Windows系统满足以下要求：

  • 操作系统：Windows 7/8/10（64位）
  • 硬件要求：至少4GB内存（推荐8GB以上）
  • 软件要求：Java开发工具包（JDK）

2. 安装Java

Hadoop依赖于Java运行环境，因此首先需要安装JDK。

  1. 下载JDK：访问Oracle官网下载适合Windows系统的JDK版本。
  2. 安装JDK：双击下载的安装包，按照提示完成安装。
  3. 配置环境变量：
    • 右键点击“此电脑”选择“属性”。
    • 点击“高级系统设置”。
    • 在“系统属性”窗口中，点击“环境变量”。
    • 在“系统变量”中，找到JAVA_HOME变量，如果没有则新建一个，变量值为JDK安装路径（例如：C:\Program Files\Java\jdk1.8.0_231）。
    • 在“系统变量”中，找到Path变量，编辑其值，在末尾添加%JAVA_HOME%\bin。

3. 下载与解压Hadoop

  1. 下载Hadoop：访问Apache Hadoop官网下载适合Windows系统的Hadoop版本。
  2. 解压Hadoop：将下载的Hadoop压缩包解压到指定目录（例如：C:\hadoop-3.3.4）。

4. 配置Hadoop

  1. 修改hadoop-env.sh：

    • 打开C:\hadoop-3.3.4\etc\hadoop\hadoop-env.sh文件。
    • 将export JAVA_HOME变量的值修改为你的JDK安装路径。

  2. 修改core-site.xml：

    • 打开C:\hadoop-3.3.4\etc\hadoop\core-site.xml文件。
    • 找到<configuration>标签，添加以下内容： 
      
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/C:/hadoop-3.3.4/tmp</value>
</property>

  3. 修改hdfs-site.xml：

    • 打开C:\hadoop-3.3.4\etc\hadoop\hdfs-site.xml文件。
    • 找到<configuration>标签，添加以下内容： 
      
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

  4. 修改mapred-site.xml：

    • 打开C:\hadoop-3.3.4\etc\hadoop\mapred-site.xml文件。
    • 找到<configuration>标签，添加以下内容： 
      
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

  5. 修改yarn-site.xml：

    • 打开C:\hadoop-3.3.4\etc\hadoop\yarn-site.xml文件。
    • 找到<configuration>标签，添加以下内容： 
      
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>

5. 格式化HDFS

在开始Hadoop服务之前，需要格式化HDFS。

  1. 打开命令提示符。
  2. 切换到Hadoop的bin目录：cd C:\hadoop-3.3.4\bin。
  3. 执行以下命令：hdfs namenode -format。

6. 启动Hadoop服务

  1. 启动HDFS：start-dfs.sh。
  2. 启动YARN：start-yarn.sh。

7. 验证Hadoop安装

  1. 打开浏览器，访问http://localhost:50070，查看HDFS Web界面。
  2. 打开命令提示符，执行以下命令：jps。
  3. 应该看到以下进程：
    • NameNode
    • SecondaryNameNode
    • ResourceManager
    • NodeManager

总结

通过以上步骤，你已经在Windows系统上成功安装和配置了Hadoop。接下来，你可以尝试运行一些简单的Hadoop程序，进一步学习和掌握Hadoop技术。祝你学习愉快！

-- 展开阅读全文 --