预览加载中,请您耐心等待几秒...
在线预览结束,喜欢就下载吧,查找使用更方便
如果您无法下载资料,请参考说明:
1、部分资料下载需要金币,请确保您的账户上有足够的金币
2、已购买过的文档,再次下载不重复扣费
3、资料包下载后请先用软件解压,在使用对应软件打开
1.说明:本实验是在4台平台相同的虚拟机上进行的,其ip和主机名分别为192.168.6.136server.torque.com、node1.torque.com、192.168.6.138node2.torque.com、192.168.6.139node3.torque.comnode3。HOD是利用预先安装好的Hadoop集群来完成安装的。2.准备工作:1)分别在4台虚拟机的/etc/hosts文件中写入如下内容192.168.6.136server.torque.comserver192.168.6.137node1.torque.comnode1192.168.6.138node2.torque.comnode2192.168.6.139node3.torque.comnode32)为root设置从server到node*的无密码访问=1\*GB3①ssh-keygen-tdsa之后一路回车即可=2\*GB3②scp~/.ssh/id_dsa.pubHYPERLINK"mailto:root@node1.torque.com:/root/.ssh"root@node1.torque.com:/root/.sshsshnode1.torque.comcd/root/.sshcatid_dsa.pub>>authorized_keys=3\*GB3③对node2和node3重复第=2\*GB3②步3.安装Torque注:1)~4)和6)步是在server上进行的1)下载torquewgetHYPERLINK"http://www.adaptivecomputing.com/resources/downloads/torque/torque-2.5.1.tar.gz"http://www.adaptivecomputing.com/resources/downloads/torque/torque-2.5.1.tar.gz2)解压tar–zxvftorque-2.5.1.tar.gz3)安装cdtorque-2.5.1./configuremakemakeinstalltorque被默认安装在/var/spool/torque中makepackages生成用于客户端安装的包,即在node1和node2以及node3上安装的包,之后利用scp将生成的torque-package-mom-linux-i686.sh和torque-package-clients-linux-i686.sh拷贝到node1和node2以及node3上./torque.setuproot4)配置cd/var/spool/torque/server_privvinodes#添加如下内容server.torque.comnp=1hadoop_clusternode1.torque.comnp=1hadoop_clusternode2.torque.comnp=1hadoop_clusternode3.torque.comnp=1hadoop_clustercd/var/spool/torque/mom_privviconfig$pbsserverserver.torque.com$logevent255pbs_mom-c/var/spool/torque/mom_priv/configqterm-tquickpbs_serverpbs_sched5)分别在node1~node3上进行客户端的安装./torque-package-mom-linux-i686.sh–install./torque-package-clients-linux-i686.sh–installcd/var/spool/torque/mom_privviconfig$pbsserverserver.torque.com$logevent255/usr/local/sbin/pbs_mom-c/var/spool/torque/mom_priv/config6)验证安装是否成功pbsnodes7)为HOD创建队列qmgrcreatequeuehadoop_qsetqueuehadoop_qqueue_type=Executionsetqueuehadoop_qresources_default.nodes=hadoop_cluster……4.安装python(在所有节点上都需要安装)1)下载wgetHYPERLINK"http://download.chinaunix.net/down.php?id=34747&