Sqoop import --target-dir不起作用，而是将文件放在默认目录中
Sqoop是一个用于在Hadoop和关系型数据库之间进行数据传输的工具。Sqoop import命令用于将关系型数据库中的数据导入到Hadoop集群中。
在使用Sqoop import命令时，如果指定了--target-dir参数但该参数不起作用，而是将文件放在默认目录中，可能是由于以下原因：
- 目标目录已经存在：如果指定的目标目录已经存在，Sqoop将会忽略--target-dir参数，并将文件放在默认目录中。可以尝试删除目标目录或选择一个新的目标目录。
- 权限问题：如果当前用户没有足够的权限将文件写入指定的目标目录，Sqoop将会将文件放在默认目录中。可以尝试使用具有足够权限的用户执行Sqoop命令，或者更改目标目录的权限。
- 参数错误：可能是由于指定的--target-dir参数格式不正确或其他参数错误导致Sqoop无法正确解析目标目录。可以检查参数是否正确，并确保目标目录的格式符合要求。
对于Sqoop import命令，其概念是将关系型数据库中的数据导入到Hadoop集群中，可以用于数据仓库、数据分析、数据挖掘等场景。腾讯云提供了TencentDB for MySQL和TencentDB for PostgreSQL等数据库产品，可以与Sqoop结合使用进行数据导入。
腾讯云相关产品和产品介绍链接地址：
- TencentDB for MySQL：https://cloud.tencent.com/product/cdb
- TencentDB for PostgreSQL：https://cloud.tencent.com/product/pg
相关·内容
Sqoop导入脚本：
sqoop import --connect jdbc:mysql://localhost/retail_db --username root --password cloudera--target-dir /user/cloudera/retail_db/products_test --table products --hive-import --create-hive-table--hive-table re
浏览 198提问于2017-07-05得票数 1
正如标题所暗示的那样，是否有一种方法可以让Sqoop在导入期间创建目标目录？或者，在将目标dir发送到HDFS之前，目标dir始终必须存在。
谢谢。
浏览 0提问于2018-12-07得票数 2
回答已采纳
我想使用sqoop import从Mysql导入数据，但我的要求是我想使用4个映射器，但它应该只在hdfs目标目录中创建一个文件，有什么方法可以做到吗？
浏览 2提问于2016-10-25得票数 0
2回答
我使用以下命令从MySQL导入了一个名为sqooptest的表，从一个名为sqoopex8的数据库导入了一个表：--connect jdbc:mysql://localhost接下来，直观地看了看互联网，我发现MySQL将所有的数据库都保存在/var/lib/mysql中。显然，我无法访问它，所以我必须从终端(CLI)访问它。当我这样做的时候，我发现我所有的dbs都在那里。现在，我这样做了：
sqoop import
浏览 2提问于2016-04-23得票数 1
我能够成功地运行sqoop导出
sqoop export --connection-param-file /user/xgr0naru/sqoop.properties --connect jdbc:oracle:thin:@//XXx --用户名xx --密码xx --表导出目录/data/raw/oltp/cogen/oraclexport/TZ5CK/2015-08-18/ --输入字段终
浏览 1提问于2015-09-15得票数 1
1回答
我正在使用以下命令将数据从sqlserver导入Azure blob存储
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true--password "password" --query "select top 5 * from employ where \$CONDITIONS" --delete-target-dir --target-diris not present, hence n
浏览 0提问于2018-01-30得票数 0
5回答
无法导入表
、、
我在sqoop上运行命令。sqoop import --connect jdbc:mysql://localhost/hadoopguide --table widgets
我的sqoop版本：Sqoop 1.4.4.2.0.6.1所有的路径，如HADOOP_HOME，HCAT_HOME，SQOOP_HOME都是正确设置的。通过在sqoop中运行list-database、list -table命令，我可以从mysql数据
浏览 7提问于2014-02-06得票数 3
我无法理解sqoop中以下命令之间的区别。如果有人能用一些小例子来解释，那就更好了。谢谢
浏览 4提问于2016-05-24得票数 11
回答已采纳
3回答
我使用sqoop将数据从mysql导入到hadoop中的csv格式，当使用表参数时效果很好。但是，当我使用查询参数时，它只能导入第一列，其他列就会丢失。--connect jdbc:mysql://127.0.0.1:3306/sqoop \--password root \
--query' select age, job from person where $C
浏览 2提问于2015-07-20得票数 1
7回答
/sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -table user-hive-import --hive-home /opt/hive//sqoop import -connect jdbc:mysql
浏览 1提问于2011-07-01得票数 1
7回答
sqoop导入多个表
、、、
我们使用的是Cloudera CDH 4，并且我们能够按照预期将表从Oracle数据库导入到HDFS仓库中。问题是我们的数据库中有上千个表，而sqoop一次只支持导入一个表。将多个表导入HDFS或Hive有哪些选项？例如，一次将200个表从oracle导入HDFS或Hive的最佳方式是什么？到目前为止，我看到的唯一解决方案是为每个表导入创建一个sqoop作业，然后分别运行它们。由于Hadoop是为处理大型数据集而设计的，因此似乎应该有更好的方法。
浏览 1提问于2013-06-19得票数 8
回答已采纳
当使用--import-all-tables时，为什么target-dir不工作？sqoop import-all-tables --connect jdbc:mysql://localhost/retail_db --username root --password cloudera--warehouse-dir /user/cloudera/retail_db
sqoop import-all-tables --conne
浏览 15提问于2017-07-03得票数 1
2回答
我正在尝试对hive表执行sqoop增量导入(lastmodified)。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。
浏览 3提问于2017-11-13得票数 2
回答已采纳
我首先通过以下方式导入表--usernameraj --password root --target-dir /find1/1t -m 1sqoop job --createtasy \
-- import --connect
浏览 0提问于2017-11-05得票数 0
2回答
我们可以使用sqoop将数据导入到hdfs和配置单元中吗？--null-string '\\N' --null-non-string '\\N' --target-dir test_hive_root/2 管理员 sqoop import --connect--hive-table posts1 --hive-drop-import-delims --null-string '\\N' --null-
浏览 24提问于2019-02-19得票数 2
回答已采纳
2回答
我一直认为，如果不在-m中指定sqoop import属性，默认情况下将创建4个映射器。但是，在我的例子中，创建了6个映射器。有人能解释一下吗？这是sqoop命令：
sqoop import --connect jdbc:mysql://localhost/cloudera --target-dir hdfsout --split-by employeename在hdfs中，6个映射部件
浏览 6提问于2016-06-26得票数 1
回答已采纳
启动sqoop(1.4.7，Hadoop-3.1.3)时，我的Ubutnttu(18.0.4)机器出现以下错误错误：
浏览 9提问于2020-05-02得票数 0
4回答
我正在从Oozie工作流执行sqoop作业。我可以在sqoop命令中创建具有静态名称的目标目录，如下所示。-- --target-dir /user/test/Employee/20150126</command> <ok to="end" />我试着跟随，但不起作用。-- --targe
浏览 0提问于2015-01-26得票数 2
我已经将我的数据库密码存储在Hadoop CredentialProvider中。-Dhadoop.security.credential.provider.path=jceks://hdfs/user/vijay/myPassword.jceks
--tablemyTable -m 1 --target-dir /user/
浏览 7提问于2016-04-05得票数 3
回答已采纳
我正在尝试使用hadoop集群中的SQOOP将表从RDBMS导入到HIVE中，我收到以下错误，您能提供解决方案吗？bin/sqoop-import --connect jdbc:mysql://localhost:3306/hadoop -username root -password root --tablesalaries --hive-table salaries --create-hive-table --hive-import
浏览 1提问于2014-06-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
