文档规定:以红色加粗字体表示命令,绿色加粗字体表示文档配置内容 1.所需软件 基础软件 VMware® Workstation 12 Pro CentOS-6.5-x86_64-bin-DVD1.iso SecureCRT 7.3(可用XShell,putty等Shell软件替代) 本教程假设读者已安装以上三个软件,在上面的基础上进行分布式开发环境的配置,如若不懂得如何安装上面的软件,请自行百度。 安装好的master节点的设备配置 分布式平台所需软件 从对应官网上下载Hadoop+Zookeeper+HBase完全分布式开发平台所需要的软件包 jdk-8u101-linux-x64.tar.gz hadoop-2.6.4.tar.gz eclipse-jee-neon-2-linux-gtk-x86_64.tar.gz hadoop-eclipse-plugin-2.6.4.jar zookeeper-3.4.9.tar.gz hbase-1.2.4-bin.tar.gz 2.配置基础集群 本部分包括: 2.1 SecureCRT的使用 2.2 jdk的配置 2.3集群的连接 2.4 SSH互信的配置 在VMware Workstation中新建虚拟机, 将虚拟机命名为hadoop待用(建议设置密码的时候尽量简单,因为密码经常要输入,太长了输入很烦,具体步骤自行百度)。 已经安装好的CentOS 6.5的系统如下 输入自己的密码后可进入CentOS系统 2.1 SecureCRT的使用 进入系统后右键点击进入Open in Terminal进入终端, 输入 ifconfig 再按回车键查看CentOS的ip地址 得到本机的ip为 192.168.60.147 使用SecureCRT软件连接到CentOS 打开软件点击File目录下的Quick Connect 输入CentOS的ip地址和用户名,点击Connect 输入password,点击Save… Continue Reading Step by step Hadoop-2.6.4 + Zookeeper-3.4.9 + Hbase-1.2.4完全分布式开发环境配置

文档规定:以红色加粗字体表示命令,绿色加粗字体表示文档配置内容 su 按照提示输入密码 进入root权限,使用 yum –y install ftp vsftpd 命令下载ftp及vsftpd软件 下载完成 使用 mkdir /ftp 命令新建/ftp的文件夹 再使用 mkdir /ftp/open 命令新建公开目录open 在open文件夹下新建open.txt文件并将opentest写进其中 echo opentest > /ftp/open/open.txt 再在/tmp目录下新建filetest1.txt文件并将filetest写入其中 echo filetest > /tmp/filetest1.txt 使用touch命令在/ftp/open目录下创建 anontext.txt文件 使用rpm命令查找包含了vsftpd的配置文件 rpm –qc vsftpd 切换到/etc/vsftpd目录 将原用的配置文件备份为vsftpd.conf.origion 创建密码明文文件 cd /etc/vsftpd cp vsftpd.conf vsftpd.conf.origion vi /etc/vsftpd/vftpuser.txt 按i键进行编辑,单行写入用户名,双行写入密码 user1 123 user2 123… Continue Reading Step by Step 在CentOS 7环境下配置FTP服务器

文档规定:红色加粗字体表示命令行,绿色加粗字体表示文档中的配置内容 配置准备: 操作系统 CentOS Linux release 7.3.1611 (Core) 目标服务器 0144220_yr_worker1 192.168.60.166 源服务器 0144220_yr_master 192.168.60.165 要完成的任务: 将源服务器/data目录下的文件实时同步到目标服务器上,让两边的文件保持一致 1.配置SELinux和firewalld (两台服务器均要配置) A.编辑selinux的配置文件,使其处于disabled的状态 vi /etc/selinux/config 注释掉SELINUX=enforcing和SELINUXTYPE=targeted 新增SELINUX=disabled 保存并退出 让修改的配置文件生效 setenforce 0 B.开放rsync所需要的873端口 firewall-cmd ‐‐zone=public ‐‐add-port=873/tcp ‐‐permanent 重新加载防火墙规划并保持状态信息,即将持久配置(配置文件中的信息)应用为运行时配置 firewall-cmd ‐‐reload 再在worker1节点上重复上述步骤。 2.目标服务器配置 0144220_yr_worker1 192.168.60.166 A.安装rsync服务与xinetd服务 yum install –y rsync xinetd B.安装完上述软件后,对rsync进行配置 vi /etc/rsyncd.conf 新增如下配置文件(不要复制注释) uid… Continue Reading Step by Step CentOS 7 Rsync + Sersync实时数据同步配置