vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接 安装与问题处理

深入理解数据库原理
以实战为基础,以数据库原理为基础,结合实战,深入理解数据库原理。
wangxiaoming

vmare  Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接

搭建和费劲,这里先踩踩坑,以后也少遇到些问题,搭建也顺利,有兴趣的, 需谨慎

最近要上Hadoop 了,这里稍微总结下 hadoop 开发环境,因为不是边操作,边写博客,可能没那么细,之后有机会搭建,会重新补全,

但是这里会列出安装过程中遇到都问题与解决方案

vmare ubuntu 安装

1、安装vmare:

这个给出网址:请参照:Vmare安装

注意 注册码:1F04Z-6D111-7Z029-AV0Q4-3AEH8/

可能遇到问题:

解决办法:

 

关掉防火墙 一类安全软件

如果参考此教程安装不成功怎么办 用最新的vmare 再参考教程安装

如果安装不成功考虑用最新版VMware试试

VMware 2017 v14.x 永久许可证激活密钥
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA
CV7T2-6WY5Q-48EWP-ZXY7X-QGUWD

 

我之前采用的是12.x安装各种问题,纠结了两天实在搞不得,换14.x

 

2、下载ubuntu:ubuntu下载

 

3、vmare 下安装ubuntu :

给出网址:Vmare下安装ubuntu

没啥说都,重点说是可能遇到的问题:

问题:

 

在Vmware里安装完Ubuntu16.10,启动时出现'SMBus Host Controller not enabled'错误提示,进不到图形界面。
网上搜了一下,解决办法是在图形界面里进终端窗口,编辑blacklist.conf文件,禁止i2c_piix4驱动的加载。
但现在系统还没加载完,进不去终端窗口,如何处理呢?

解决办法如下(亲测可用):

在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法:
1.在启动Ubuntu的时候按住左Shift键;
2.Ubuntu开机时将显示GRUB启动选项;
3.接下来选择Ubuntu的高级选项(Advanced options for Ubuntu);
4.然后进入Ubuntu的恢复模式(Ubuntu, with Linux 4.7.x.x-generic (recovery mode));
5.在Recovery Menu中选择root进入root shell;
6.输入如下命令:

代码:  

mount -o remount,rw /

7.打开blacklist.conf

代码: 

  vi /etc/modprobe.d/blacklist.conf


8.在文件最后添加一行

代码:  

blacklist intel_powerclamp


9.重启

代码:  

reboot

 

 

上面解决不了:

 

解决办法2: 

 

 

piix4_smbus ****host smbus controller not enabled
解决方法:
#root@Nagios ~# lsmod | grep i2c_piix4  
 i2c_piix4              12574  0  
 i2c_core               31274  1 i2c_piix4  
 
#root@Nagios ~:vi  /etc/modprobe.d/blacklist.conf 
 blacklist i2c_piix4  
 
#root@Nagios ~:reboot


安装完成之后: 会发现屏幕太小: 

 

如何解决:

安装Vmare Tool:安装VMareTool

操作就不细说:因为我这已经安装了,如果没安装,会有安装VmareTool 提示:

安装搜狗输入法:搜狗输入法安装

1、如下

 

2. 等一会之后  ubuntu 界面上 会出现 Vmare  驱动器之类的 :Vmtool安装

要注意的问题是吧驱动器里面都tar.gz  赋值到桌面后解压

然后 运行  :

 

vmware-install.pl

 

进行安装。

 

就可以解决自适应本地屏幕大小都问题。

 

如果还有问题:

vmare 安装Ubuntu无法进入安装界面

 

解决办法:
以管理身份打开cmd窗口 运行: netsh winsock reset , 重启系统生效,之后就可以进入安装界面了

如果一台机器上的Winsock协议配置有问题的话将会导致网络连接等问题,就需要用netsh winsock reset命令来重置Winsock目录借以恢复网络。这个命令可以重新初始化网络环境,以解决由于软件冲突、病毒原因造成的参数错误问题

如果还是不行 https://jingyan.baidu.com/article/0320e2c1ef9f6c1b87507bf6.html点击打开链接

检查下workStation版本选的啥 ubuntu 16.04 WorkStation 选择10 即可兼容 11

 

不要安装虚拟机过程中插U盘

 

ubuntu  安装 hadoop

环境好了:ubuntu 安装hadoop:ubuntu安装hadoop

Jdk地址:JDK地址  我这里下载jdk 1.8  1.6 与1.8区别,有时间会总结

hadoop下载地址:hadoop下载  这里下载 2.7.3

 

问题处理:

ubuntu安装openssh-server 报依赖错误的解决过程

 下列软件包有未满足的依赖关系:
 openssh-server
 : 依赖: openssh-client (= 1:6.6p1-2ubuntu1)
E:
 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系。

 

sudo apt-get install openssh-client=1:6.6p1-2ubuntu1

 

问题处理1: Vmare ubuntu 这个IP改成虚拟机真实的

 

#127.0.0.1	localhost
#127.0.1.1	wangxiaoming-virtual-machine
192.168.204.128	localhost
192.168.204.128	wangxiaoming-virtual-machine
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

 

 

 

 

 

 

 

 

根据上面的连接会安装成功:但是也有问题 hadoop shell 命令:hadoop shell 命令

正确应该是:

hdfs dfs -mkdir -p /user/hadoop

 

 

 

-p 前面少了 -mkdir 

mkdir 是创建文件夹,如果你想看你创建都文件夹,进行如下操作:hdfs dfs -ls /user/   这个注意 最后使用绝对路径, 否则或包车,no directory

 

eclipse 配置hadoop 博主eclipse 版本是4.4.1 

eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop

如果你不想用ant 去编译 githup 上hadoop 源码的话:

需要几个文件:

hadoop- eclipse 插件:hadoop eclipse 插件

下载之后放到eclipse 下eclipse plugins 文件夹下

 

把下载的Hadoop 2.7.3 在 Windows上解压后,参照博客:hadoop配置eclipse

重启eclipse ,你的eclipse 出现map reduce 表示成功。

 

到 下载:

具体操作,见博客:dll文件放置

除了这个配置,还要讲hadoop.dll 放到 system32 下

否则会报错:

D:\tmp\hadoop-DELL\mapred\staging\DELL6563393 null

配置eclipse:eclipse 配置

简明eclipse hadoop配置:简明hadoop配置

具体我就不说了:

搭建好了可看下:

 

 ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount input output 
<?xml version="1.0" encoding="UTF-8"?>  
<beans xmlns="http://www.springframework.org/schema/beans"  
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
    xmlns:hadoop="http://www.springframework.org/schema/hadoop"  
    xsi:schemaLocation="http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd  
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.1.xsd">  
 
    <!-- 配置Configuration file-system-uri="${hd.fs}" -->  
    <hadoop:configuration  id="configuration"  resources ="file:/CPCN/Payment/StatementExternalBatch/config/core-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/hdfs-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/yarn-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/mapred-site.xml"/>
    <!-- 配置FileSystem  uri="${hd.fs}"-->  
    <hadoop:file-system user="${hd.user}" id="fileSystem" configuration-ref="configuration" />
    
    <!--  原始Bean的注入方式  这个方式无法设置uri 会导致一file not exit -->
    <!--  <bean id="configuration" class="org.apache.hadoop.conf.Configuration">
    </bean>  --> 
    <!--  <bean id="fileSystem" class="org.apache.hadoop.fs.FileSystem"  factory-method="get>  
        <constructor-arg name="uri" value="${hd.fs}"/>   
        <constructor-arg name="conf" ref="configuration"/>   
        <constructor-arg name="user" value="hadoop"/>  
    </bean>    --> 
    
    <bean id="smartDfs" class="cpcn.payment.tool.lang.hdfs.SmartDfs">
        <property name="fileSystem" ref="fileSystem" />
    </bean>
    
</beans>  

去掉

file:/CPCN/Payment/StatementExternalBatch/config/yarn-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/mapred-site.xml

 


 

 

 

给个demo吧:

看我的配置

   

其次:

core-site.xml  不用localhosy 用:

 

具体ip 从哪来 自己 ifconfig ,我这个就不细说了 考虑安全问题,我就不贴图了

 

eclispse中配置:

配置2:

 

上面hadoop.tmp.dir 中 和core-site.xml 配置一样

hdfs-site.xml 配置:

 

 

 

到此就结了,可能细化要分成好几篇才能写完,大致粗的描述下。

单机运行

wangxiaoming CSDN认证博客专家 架构 Spring Boot Redis
博客是很好的总结和记录工具,如果有问题,来不及回复,关注微信公众号:程序员开发者社区,获取我的联系方式,向我提问,也可以给我发送邮件,联系 1275801617@qq.com
©️2020 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值