我最近开始在Linux上开发sqoop - hive/hadoop。我必须将配置单元数据从一个表导入到oracle表中。我使用简单的sqoop导出来完成此操作。我在hive表中有600万行。这个命令给我的性能非常差，并且需要很长时间(85分钟)才能完成工作。查询->
sqoop export --connect jdbc:oracle:thin:@server:port:db--username user --password password--export-dir
浏览 1提问于2013-08-14得票数 2
2回答
这里有人使用过sqoop和hp vertica吗？我还发现，在插入数据时，sqoop不支持针对vertica的upsert。sqoop export -Dsqoop.export.records.per.statement=1 --driver
浏览 4提问于2015-11-16得票数 0
1回答
如果这是我的数据框： > length <- rep(11:17, 200)[1] 14[1] 2.001 如何从数据帧(长度)中随机抽取一个子样本，但具有几乎相同的平均值和标准差？
浏览 16提问于2021-07-06得票数 0
回答已采纳
我有一个postgresql数据库，用于生产服务器。我想设置一个Hadoop/Spark集群来运行mapreduce作业。为此，我需要将postgres数据库中的数据加载到hdfs。简单的方法是使用一个批处理作业，该作业每天一次将数据库(120 to )的内容转储到HDFS。这将是浪费和昂贵的。由于大多数数据不会从一天到第二天发生变化，理论上每天只发送diffs会更便宜、更高效。我读过一些关于sqoop的文章，它似乎提供了我想要的功能，但它需要对数据库和应用程
浏览 1提问于2014-12-02得票数 0
当我安装sqoop时，它会给出这个错误。sqoop：(Derektest)-connect bin/sqoop列表-数据库✗jdbc:mysql://localhost/ -用户名根-p用法: readlink-nbin/sqoop-list-数据库:第26行: /Users/apple/sqoop:是一个目录
b
浏览 3提问于2015-09-15得票数 1
1回答
用蜂巢进行数据测试
、、、
我们的项目中要求数据从Source加载到HDFS目标目录。我们怎么能做到这一点，其中是否有任何自动化的范围。
我是这个Hadoop技术的初学者。请帮帮我
浏览 1提问于2014-05-22得票数 1
回答已采纳
1回答
嗨，我通过sqoop连接器将数据从mysql加载到hdfs。现在，如果现有数据之间的行被更新，是否有任何查询来更新sqoop中现有行的数据值。我知道增量更新吗?在增量更新中是否也会更新现有行？我是sqoop新手吗？
浏览 0提问于2016-07-22得票数 0
1回答
我试着用存储在熊猫DataFrames中的平均值和标准差从正态分布中抽取样本。，具有相同的形状，但使用相应的平均值和标准差从正态分布中取样的值。即，这个新数据的位置0,0将从mean=0和standard deviation=10等正态分布中取样。self.means[i],self.stds[j]):将为我从发行版中抽取样本，但我很难将数据与dfs的平均
浏览 3提问于2016-03-18得票数 3
回答已采纳
2回答
我有一个sqoop作业，它需要将数据从oracle导入到hdfs。我使用的sqoop查询是
sqoop import --connect jdbc:oracle:thin:@hostname:port/service --username sqoop --passwordsqoop --query "SELECT * FROM ORDERS WHERE orderdate = To_date('10/08/2013',
浏览 2提问于2015-06-08得票数 0
回答已采纳
1回答
在一个场景中，如果有一个sqoop作业，我们使用它一次导入250行数据，然后再导入250行数据，那么有什么方法可以知道sqoop作业的哪个执行导入了哪些数据呢？
浏览 1提问于2019-03-08得票数 0
3回答
我试图使用sqoop将数据从存储在hdfs中的文件导出到vertica。对于大约10K的数据，文件将在几分钟内加载。但是，当我尝试运行数据集时，它大约在15分钟内就会在.5%周围加载。
浏览 8提问于2014-12-02得票数 1
当使用Sqoop将数据从Impala加载到Vertica时，我得到了以下错误。错误: java.io.IOException:无法导出数据，请检查失败的地图任务日志在org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.javaapache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:84) .另有10行是由: java.sql.Batch
浏览 6提问于2015-10-20得票数 4
回答已采纳
1回答
动态Sqoop查询和调度
、、、、
我的Sqoop查询存储在DB中。我需要获取该查询并执行它。实习生查询将获取oracle表并存储在HDFS中。谁能让我知道如何从数据库中检索行(包含sqoop查询)并执行它。我是Hadoop/Sqoop/Hive的新手。
浏览 1提问于2014-08-14得票数 0
我遵循这个 (在我安装了MapR yum之后)并安装了sqoop，如下所示：如果我尝试在某些数据中使用sqoop，甚至只发出命令sqoop，我就会收到以下错误：
/opt/mapr/sqoop/sqoop-1.4.4/bin/configure-sqoop:第47行: /opt/mapr/
浏览 5提问于2014-04-23得票数 0
我试图将数据从MySQL表导入到Hive外部表，并为此使用Sqoop。sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root -P --split-by
浏览 3提问于2017-07-17得票数 1
回答已采纳
1回答
我正在尝试将HDFS导出到MYSQL数据库。我找到了各种不同的解决方案，但没有一个有效，我甚至试图从文件中删除WINDOWS-1251字符。请注意，可以通过在单元中查询SELECT * FROM airqualitydata来可视化这些数据。但是，它也在放置标题行。另外，当运行两次(我认为它应该覆盖数据)时，它会导致数据被放在表中两次。(没有标题行)。(Sqoop.java:225)
at org.apache.sqoop.Sq
浏览 11提问于2021-09-12得票数 1
回答已采纳
3回答
如何改变sqoop亚稳态？
、、、、
我正在使用sqoop 1.4.2版本。我正在尝试将sqoop转移区从默认的hsqldb更改为mysql。 at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.ru
浏览 4提问于2014-06-06得票数 5
回答已采纳
使用sqoop作业，我们可以使用HBase对--lastval进行增量加载。
但是，我们如何对shell脚本进行同样的处理，以及在自动化脚本时如何获得--lastval呢？
浏览 2提问于2016-09-28得票数 2
回答已采纳
我想导入一些选定的行从外部表到HDFS目录使用sqoop下面是MYSQL数据库中的表行，列名是名称，银行，工资，公司Raja,AXIS,80000,TCSRaj,HDFC,70000,TCS我所需要的就是在sqoop命令中有多个where条件。如何在sqoop命令中有多个where条件。sqoop import --connect jdbc:mysql://
浏览 0提问于2014-06-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
