大数据从安装开始 - 迅博思语资讯移动站

大数据从安装开始

2024-10-31 17:23

Windows环境下

CentOS 6.5 64位安装介质下载，即，
介质名称：CentOS-6.5-x86_64-minimal
下载链接：http://pan.baidu.com/s/1mi1hhP2
下载密码：fjuj

大数据从安装开始

jdk1.7.80下载，即，
名称：jdk-7u80-linux-x64.rpm
链接：http://pan.baidu.com/s/1qYqjITu
密码：w4a8

VMware-workstation-full-14.0.0
名称：VMware-workstation-full-14.0.0.24051
链接：http://pan.baidu.com/s/1gfCgE0z 密码：7t9r

zookeeper
名称：zookeeper-3.4.10.tar.gz
链接：http://pan.baidu.com/s/1gfCgE4b 密码：gf7c

hadoop
名称：hadoop-2.5.2.tar.gz
链接：http://pan.baidu.com/s/1qYwVvEs 密码：v675

SSH免密码登陆的配置，即，

31D0C07ABACF2A308AC9DEF6DC8DD0FB.png

============================SSH免密码登陆===========================
1、生成公钥/私钥对
$ssh-keygen -t rsa
-》-t代表指定加密类型
-》rsa代表加密类型中的一种
-》可以直接ssh-keygen
-》因为系统默认的就是rsa类型
在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥发送
拷贝公钥至authorized_keys文件
$ssh-copy-id hadoop-cluster01
3、一般不建议使用start-all.sh脚本
4、Linux中的用户主目录权限一般为700或者是755
5、.ssh一般权限为700或者755
6、不要随意更改用户主目录的权限和.ssh目录权限的公钥和密钥文件的权限，随意更改会直接导致免密码登陆设置的失败

本地仓库在maven的配置文件的路径，即，

969D2F37821E7AC57246879540A299B6.png

阿里云的私服路径，即，

C7EE7F760C78FDE2934188078BB459CF.png

hadoop的伪分布式的配置文件，在hadoop-2.5.2/etc/hadoop目录下，即，
1、hadoop-env.sh
2、core-site.xml
3、hdfs-site.xml
4、mapred-env.sh
5、mapred-site.xml
4D93B8C25F0422CA611279D947063949.png
Flume方面的相关文件和jar包
MapReduce的模板：MapReduceModule.java
PV统计的WebPvMapReduce.java
依赖包的pom.xml文件
jdk1.7或者1.8
后面的分别是

1、apache版的apache-hive-0.13.1-bin.tar.gz；
2、CDH版的hive：hive-0.13.1-cdh5.3.6.tar.gz
3、hive连接mysql的驱动包：mysql-connector-java-5.1.27-bin.jar
4、mysql-5.7.19.tar.gz的安装tar包，即