企业官网建设流程全解析

1、问题发现：

在spark环境调试业务过程中，出现table not found问题，重跑之后改问题又消失，后面发现有一定概率出现该问题

2、问题定位：

spark环境中是通过hive-site连接hive hive.metastore，查看hive.metastore.uris配置，发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因，猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri，多次测试后发现，连接到ip1:9083和ip3:9083时，会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083，同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因