我称这种bug是一个典型的“哈姆雷特”bug，就是指那种“报错情况相同但网上却会有各种五花缭乱解决办法”的bug，让我们不知道哪一个才是症结所在。先看导入命令：[root@host25~]#sqoopexport--connect"jdbc:mysql://172.16.xxx.xxx:3306/dbname?useUnicode=true&characterEncoding=utf-8"--username=root--password=xxxxx--tablerule_tag--update-keyrule_code--update-modeallowinsert--export-dir/user/hive/...
继续阅读 >
分类：sqoop
2021
01-03
01-03
解决sqoop从postgresql拉数据,报错TCP/IP连接的问题
问题：sqoop从postgresql拉数据，在执行到mapreduce时报错Connectionrefused.CheckthatthehostnameandportarecorrectandthatthepostmasterisacceptingTCP/IPconnections问题定位过程：1、postgresql5432端口已开放，执行任务的节点能telnet通，并且netcat测试通过2、sqooplist-tables命令可正常执行，sqoopimport报错Connectionrefused.Checkthatthehostnameandportarecorrectandthatthe3、从其它...
继续阅读 >
2021
01-03
01-03
sqoop读取postgresql数据库表格导入到hdfs中的实现
最近再学习sparkstreaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。首先确保环境安装了Hadoop和sqoop，安装只需要下载，解压以及配置环境变量，这里不多说了，网上教程很多。一、配置sqoop以及验证是否成功切换到配置文件下：cd$SQOOP_HOME/conf创建配置环境文件：cpsqoop-env-template.shsqoop-env.sh修改配置文件：conf/visqoop-env....
继续阅读 >
2021
01-03
01-03
解决sqoop import 导入到hive后数据量变多的问题
使用sqoopimport命令从postgresql导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。导入语句为：sqoopimport--connectjdbc:postgresql://*.*.*.*:5432/database_name--usernamename111--passwordpassword111--tabletable111--hive-import--hive-databasedatabase111--hive-tablehive_table111--hive-overwrite--delete-target-dir--hive-drop-import-delims--null-string''--null-non-st...
继续阅读 >
2021
01-03
01-03
sqoop 实现将postgresql表导入hive表
使用sqoop导入数据至hive常用语句直接导入hive表sqoopimport--connectjdbc:postgresql://ip/db_name--usernameuser_name--tabletable_name--hive-import-m5内部执行实际分三部，1.将数据导入hdfs（可在hdfs上找到相应目录），2.创建hive表名相同的表，3，将hdfs上数据传入hive表中sqoop根据postgresql表创建hive表sqoopcreate-hive-table--connectjdbc:postgresql://ip/db_name--usernameuser_name--tabletable_n...
继续阅读 >