1.Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程
2.å¦ä½å¨ubuntuä¸å®è£
hadoop
3.hadoop å®è£
å
çåºå«ãå¨çº¿ç谢谢åä½ã
Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程
集成Hadoop 3.3.5与Hive 4.0.0-beta-1、源码Tez 0..2和Iceberg的源码过程中,尽管资料匮乏且充满挑战,源码但通过仔细研究和实践,源码qq空间源码最终成功实现了。源码以下是源码云端检测源码关键步骤的总结:前置准备
Hadoop 3.3.5:由于Hive依赖Hadoop,确保已安装并配置。源码
Tez 0..2:作为Hive的源码计算引擎,需要先下载(Apache TEZ Releases)并可能因版本差异手动编译以适应Hadoop 3.3.5。源码
源码编译与配置
从release-0..2下载Tez源码,源码注意其依赖的源码Protocol Buffers 2.5.0。
修改pom.xml,源码调整Hadoop版本和protobuf路径,源码php材料源码同时配置Maven仓库。源码
编译时,源码可以跳过tez-ui和tez-ext-service-tests以节省时间。热点指标源码
安装与配置
将编译后的Tez包上传至HDFS,并在Hadoop和Hive客户端配置tez-site.xml和环境变量。
Hive集成
Hive 4.0.0-beta-1:提供SQL查询和数据分析,wampserver读取源码已集成Iceberg 1.3无需额外配置。
下载Hive 4.0.0的稳定版本,解压并配置环境变量。
配置Hive-site.xml,包括元数据存储选择和驱动文件放置。
初始化Hive元数据并管理Hive服务。
使用Hive创建数据库、表,以及支持Iceberg的分区表。
参考资源
详尽教程:hive4.0.0 + hadoop3.3.4 集群安装
Tez 安装和部署说明
Hive 官方文档
Hadoop 3.3.5 集群设置
å¦ä½å¨ubuntuä¸å®è£ hadoop
1ãå建hadoop管çåå¸å·
ç´æ¥å¨ç»ç«¯æ§è¡å¦ä¸å½ä»¤è¡ï¼
1 sudo adduser hadoop
ç¶åè¦æ±ä½ 设置hadoopå¸æ·å¯ç ï¼è¿ä¸ªå½ä»¤æ¯æ·»å ä¸ä¸ªå为hadoopçæ åå¸æ·ï¼æ们éè¦çæ¯ç®¡çåå¸å·
å¯ä»¥ç´æ¥å¨å¾å½¢çé¢ä¸ä¿®æ¹hadoopæéï¼å°é¼ æ ç¹å»å³ä¸è§çä¸ä¸ªäººå¤´å¤ï¼æµ®ç°å表ï¼ç¹å»âç¨æ·è´¦æ·âï¼è§£éï¼ç¶åæ´æ¹ä¸ºç®¡çåæé
2ãå®è£ sshæå¡
sshå¯ä»¥å®ç°è¿ç¨ç»å½å管çï¼è¯¦ç»æ åµè¯·googleç¾åº¦
ubuntué»è®¤å¹¶æ²¡æå®è£ sshæå¡ï¼å¦æéè¿sshé¾æ¥ubuntuï¼éè¦èªå·±æå¨å®è£ ssh-serverãå½ä»¤è¡ï¼
1 sudo apt-get install ssh openssh-server
3ãsshæ å¯ç éªè¯ç»å½
å建ssh-keyï¼è¿éæ们éç¨rsaæ¹å¼ï¼å½ä»¤è¡å¦ä¸ï¼
1 ssh-keygen -t rsa -P ""
åºç°ä¸ä¸ªå¾å½¢ï¼åºç°çå¾å½¢å°±æ¯å¯ç ï¼ä¸ç¨ç®¡å®
1 cat ~/.ssh/id_rsa.pub >> authorized_keys
ç¶åå³å¯æ å¯ç éªè¯ç»å½äºï¼å¦ä¸ï¼
1 ssh localhost
éåºå½ä»¤è¡ä¸ºï¼
exit
4ã解åhadoopæºç å
ç»ç«¯ä¸è¿å ¥hadoopæºç å æå¨ç®å½ï¼ä½¿ç¨å¤å¶å½ä»¤æhadoopæºç å å¤å¶å°/home/hadoopä¸
1 cp hadoop-1.2.1.tar.gz /home/hadoop
ç¶å解å,å½ä»¤è¡å¦ä¸
tar -xzvf *.tag.gz
5ãé ç½®hadoopçhadoop/confä¸çhadoop-env.shï¼core-site.xmlï¼mapred-site.xmlï¼hdfs-site.xml
é ç½®hadoop-1.2.1/conf/hadoop-env.shï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh
ctrl + f æç´¢å°JAVA_HOME
æåé¢ç#å»æï¼å ä¸æ¬ç³»ç»jdkè·¯å¾ï¼ä¿åéåº
é ç½®hadoop-1.2.1/conf/core-site.xmlï¼å½ä»¤è¡ï¼
gedit /home/hadoop/hadoop-1.2.1/conf/core-site.xml
å¨hadoopæ°å»ºhadoop_tmpç®å½ï¼
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
é ç½®hadoop-1.2.1/conf/mapre-site.xmlï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration>
é ç½®hadoop-1.2.1/conf/hdfs-site.xmlï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
è³æ¤hadoopçå®è£ é 置已ç»å®æ¯ï¼ç¨åçæ¯hadoopçå次è¿è¡æä½
6ãæ ¼å¼åhdfsæ件系ç»
è¿å ¥hadoop-1.2.1
/bin/hadoop namenode -format
7ãå¯å¨hadoopæå¡
/bin/start-all.sh
åºç°å¦ä¸ç»é¢
jps
jpsæ¯æ¥çjavaèææºè¿è¡çjava线ç¨
ç¶ååºç°å¦ä¸ç»é¢
ä¸è®¡jpsï¼æäºä¸ªhadoopç¸å ³çº¿ç¨ï¼æåä½ ï¼hadoopå®è£ é ç½®æåï¼è¿è¡æ£å¸¸ã
ç¶åå¯ä»¥éåºhadoopãï¼ä»¥ååç¨æ¶åå¯å¨ï¼å¯¼å ¥æ°æ®
hadoop å®è£ å çåºå«ãå¨çº¿ç谢谢åä½ã
hadoop-2.6.0-src.tar.gzæ¯æºç å缩æ件ãå¯ä»¥ç¨eclipseå¯¼å ¥ç 究æºç ï¼æè Mavenæ建ç¼è¯æå ã
hadoop-2.6.0.tar.gzæ¯å·²ç»å®æ¹åå¸çå缩å ï¼å¯ä»¥ç´æ¥ä½¿ç¨ãä¸è¿å®ç½ä¸è½½çhadoopåå¸çæ¬åªéåxç¯å¢ï¼è¥è¦xçåéè¦Mavenéæ°æ建ã
*.mds æ¯æè¿°æ件ï¼è®°å½å缩å çMD5ï¼SHA1çä¿¡æ¯ã
2024-12-26 00:51
2024-12-26 00:45
2024-12-26 00:33
2024-12-26 00:08
2024-12-25 23:46
2024-12-25 23:43
2024-12-25 23:25
2024-12-25 23:03