XP系统下配置Eclipse集成Hadoop开发

一、目的:
由于Hadoop只可以在Linux景况下运营,所以对于在windwos系统下选择IDE职业的开辟人士来说,调节和测量试验是件劳动的劳作,所以大家后日要布局的Hadoop开荒条件是在Windows
XP系统下,并集成eclipse使开采人士在做hadoop开荒时更便于调节和测量检验。

环境: Ubuntu 10.10 
JDK1.6.0.27  Hadoop
0.20.2

二、本身配置的版本音讯:
windows XP系统,
jdk1.6.0_05,
eclipse-jee-indigo-win32 Release 3.7.0,
cygwin 1.7.9-1,
hadoop-0.20.2,

一. ubuntu 下 JDK 的安装:

三、配置步骤: 1、安装cygwin:
cygwin的材质超多,参照他事他说加以侦察http://www.linuxidc.com/Linux/2011-02/32324.htm。

  1. 下载jdk-6u27-linux-i586.bin

  2. 拷贝到/usr/java,设置文件的操作权限

  3. $ ./jdk-6u27-linux-i586.bin初阶设置

  4. 设置景况变量 vi /etc/profile 在文件最终增加

2、JAVA安装
对此JAVA的安装与情况计划这里也不再详述,假若不精晓的话,参谋http://www.linuxidc.com/Linux/2009-12/23735.htm。
JAVA_HOME=C:/Java/jdk1.6.0_05

JAVA_HOME=/usr/Java/jdk1.6.0_27

3、配置Hadoop
3.1、配置hadoop-env.sh文件,设置export JAVA_HOME=C:/Java/jdk1.6.0_05

PATH=$JAVA_HOME/bin:$PATH

3.2、配置HADOOP_HOME=D:adsitcloudhadoop-0.20.2

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

3.3、配置core-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/adsitcloud/temporary</value>
</property>
</configuration>

export PATH JAVA_HOME CLASSPATH

3.4、配置hdfs-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
</configuration>

  1. 设置客商设置的JDK为私下认可JDK,执行

3.5、配置mapred-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<configuration>
<property>
   <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
</property>
</configuration>

$ update-alternatives –install /usr/bin/java java
/usr/lib/jvm/java/jdk1.6.0_12/bin/java 300

3.6、Hadoop运维和部分主干命令
在cygwin遭遇中,步向Hadoop安装目录,
cd /cygdrive/d/adsitcloud/hadoop-0.20.2
a、格式化hadoop命名节点:bin/hadoop namenode -format
b、运转Hdfs和MapReduce,在这里处能够全方位开发银行:bin/start-all.sh
c、以下是基本命令
bin/hadoop dsfadmin –report  
查看运营情状,验证配置是或不是中标,查看datanodes中平时和不正规的个数
bin/hadoop dfs –mkdir yesq   成立名字为yesq的目录
bin/hadoop dfs –put .bin/*.txt yesq   
把上一目录下具有的txt文件上传到yesq目录
bin/hadoop dfs –ls yesq 
列出yesq目录下的文件,输出文件列表音讯,当时得以看看刚上传的txt文件。表时早已配备成功。

$ update-alternatives –install /usr/bin/javac javac
/usr/lib/jvm/java/jdk1.6.0_12/bin/javac 300

3.7、输入以下网站查看是否配备成功。

点击:Browse the
filesystem

$ update-alternatives –config java

图片 1

  1. 输入 java -version 成功安装

二.ubuntu下安装ssh:

  1. $ sudo apt-get install openssh-server

  2. 启动ssh    /etc/init.d/ssh start

  3. $ ps -e | grep ssh 来验证是还是不是运行sshserver

  4. 免密码化

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

三.ubuntu 下安装 hadoop:

  1. 下载hadoop-0.20.2.tar.gz,放在/usr/hadoop
    下载地址

2.  解压$ tar zxvf hadoop-0.20.2.tar.gz

  1. 修正hadoop配置文件

conf/hadoop-env.sh  修改JAVA_HOME选项:

export JAVA_HOME=/usr/java/jdk.1.6.0_27

  1. 伪布满式单机配置

发表评论

电子邮件地址不会被公开。 必填项已用*标注