解决运行 Hadoop MapReduce 任务时错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

近来在新安装了 Hadoop 后运行 HDFS 的任务没问题,但一运行 MapReduce 任务时就出错,提示“错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”。但是在 Hadoop 的 classpath 中明明有该主类所在的包“hadoop-mapreduce-client-app-x.x.x.jar”。查阅了谷歌之后发现还要在 mapred-site.xml 文件中添加 mapreduce 程序所用到的 classpath。在此记录一下,遇到同样问题的朋友可以试一下下面的方法。 想看更多?点我点我 “解决运行 Hadoop MapReduce 任务时错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”

基于 IDEA 开发 Hadoop 程序

安装好 Hadoop 之后我们搞 Hadoop 开发总不能只用 vim 吧 :(不高兴) 选择一个顺手的 IDE 是最好的选择,Java 的 IDE 有名的当然是 Eclipse 和 IntelliJ IDEA 了。前者是免费的,而后者呢,虽然专业版是收费的,但是有开源的社区版。对于高级一点的 Java 开发, IDEA 是首选,关于 IDEA 的 专业版,我们可以通过学生邮箱认证来免费使用(关于我们学校申请学生邮箱的文章和学生优惠信息在我之前的问文章里:喜大普奔,HAUT学生邮箱开放注册(内附一些学生优惠)Github Student Pack的申请方法(无需edu邮箱)[内含福利]

这里我已经用学生邮箱申请了一个 JetBrains 账号,凭借着这个账号就可以免费使用 JetBrains 旗下的所有 IDE,每一有效期一年,可以续期,优惠还是挺大的。好了,不打广告了,下面开始正题:基于 IDEA 开发 Hadoop 程序(多图预警 :(滑稽) )。

想看更多?点我点我 “基于 IDEA 开发 Hadoop 程序”

Ubuntu16.04 安装配置 Hadoop3.0.0 —— 集群模式

这篇博客是上一篇:Ubuntu16.04 安装配置 Hadoop3.0.0 —— 单机模式和伪集群模式 的第二部分,即配置 Hadoop 的集群模式。那么接下来的步骤就接着第一部分,假设集群中所有节点都已经按照第一部分配置过了。所以有需要的伙伴们还请先看一下上一篇。 :(小红脸)

其实本来我是打算一下子写完的,谁知到内容太多,编辑器后台占用了太多的 CPU ,导致我网站所在的虚拟主机被服务商给关停了 :(惊哭) 虽然我严重怀疑它的 CPU 是虚标的,但那也没办法,谁让那是免费的虚拟主机呢 :(犀利) 我连夜把网站迁到一位大佬的服务器上才完成了第一部分的教程,虽然延迟高了一点,不过资源不受限了。好了,不发牢骚了,开始第二部分:集群模式的教程。

想看更多?点我点我 “Ubuntu16.04 安装配置 Hadoop3.0.0 —— 集群模式”

Ubuntu16.04 安装配置 Hadoop3.0.0 —— 单机模式和伪集群模式

最近在上大数据课程,老师让自己搞一个 Hadoop 的集群,费了好大劲算是配置好了三个机器的 Hadoop 集群,这里特地记录一下。

本篇是整个配置的第一部分,即单机模式和伪分布式模式,第二部分集群模式的配置见:Ubuntu16.04 安装配置 Hadoop3.0.0 —— 集群模式

环境:Ubuntu 16.04 x64;JDK1.8;Hadoop 3.0.0

2018-3-29 更新:修复设置 Java和Hadoop环境变量的问题,之前配置过的可能需要重新配置

想看更多?点我点我 “Ubuntu16.04 安装配置 Hadoop3.0.0 —— 单机模式和伪集群模式”