2回答
谁能告诉我如何在事务下向SQL Server大容量插入数据？我有一个程序将数据从一个文件导入到数据库的多个表中。我使用SQL Server和Entity Framework将这些记录导入到事务下的数据库中。请告诉我这是一个好的跟随方式吗？
为此，我使用了Entity Framework。我需要先将数据从文件插入到子表中。如果由于某种原因在子表中插入记录导致错误，我将不得不回滚事务并继续使用文件中另一条记录
浏览 0提问于2014-01-25得票数 3
2回答
我正在寻找一种方法来复制表，可能是从到Cassandra (Datastax)的整个数据库。我不需要实时，但可以是30秒的延迟。到目前为止，研究还没有给我很多好的选择。我正在考虑使用Talend/Pentaho来安排作业，可能也是sqoop，但是在加载到Cassandra之前，我仍然需要一个ETL工具来完成一些转换。因此，我想从Server中提取数据，对数据执行一些火花转换，然后加载到Cassandra中。
到目前为止，只有实时复制，我见过涉及水槽插件，但hdfs。卡桑德拉
浏览 1提问于2015-08-28得票数 1
回答已采纳
2回答
适合于近实时ETL体系结构的工具
、、、、
我们有一个系统，其中我们的主要数据存储(和“普遍的真理来源”)是Postgres，但我们复制的数据在实时和夜间的总和。我们的ETL管道已经变得足够广泛，我们开始研究像和这样的工具，但是从我最初的研究中可以看出，这些工具几乎完全是用于批量装载的。是否有任何工具可以处理一个ETL进程，既可以处理大批ETL进程，也可以处理实时、大容量、单独记录复制？气流或路易吉能处理好这件事而我只是错过了吗？
谢谢!
浏览 8提问于2016-10-13得票数 3
回答已采纳
我正在做一个数据库迁移工作。我必须将MSSQL中的数据库复制到MySql数据库。可以想出一个小java实用程序来将表结构从MSSQL复制到MySql数据库。现在，我必须将所有数据从MSSQL复制到MySql。我尝试使用java中的resultset从表中获取所有数据，但它只能获取一小部分数据。有没有其他的解决方案可以将所有的数据从表到结果集，或者到我可能使用的其他类似的结构，以将相同的数据插入到mysql Db中。一个表有超过2,50
浏览 1提问于2009-09-16得票数 0
回答已采纳
我正在尝试将SSIS连接到AWS RDS SQL Server实例。每当我试图通过Server代理运行包时，都会遇到以下错误消息：根据我在网上所能找到的，建议创建一个代理帐户。这似乎是不可能的，因为我无法在AWS RDS实例中创建凭据。
我想做的事有可能吗？如果是，如何配置用户/包以正确运行？
浏览 0提问于2016-02-25得票数 1
但是，当我从另一个应用程序(Reporting 2005)调用它时，它会引发以下错误：
您没有使用大容量
浏览 3提问于2014-04-08得票数 1
3回答
我们有一个ETL进程，它将大量数据插入到表中。该数据库被设置为简单恢复模型，事务日志正在大量增长。我在想，将这个数据库设置为大容量日志恢复模型会有帮助吗？我们每天都要进行全面备份。那么，与简单恢复模型相比，是否存在一些未登录大容量日志恢复模型的操作？
浏览 0提问于2012-02-17得票数 5
回答已采纳
我尽量不使用copy命令，因为它的数据库非常大。我正在使用talend etl开源工具，但还没有找到任何解决方案。
浏览 4提问于2017-08-02得票数 2
我计划使用几个ETL来“填充”Cassandra中的同一行，也就是说，如果表被定义为： key text, column2text, column4 text, )
很少有ETL会在不同的时间内填写第1-4列中的适当值。我知道Cassandra对写吞吐量进行了高度优化，因为它从不修改磁盘上的数据，只会附加到现有文件或创建新文件。知道了这一点，而且不深入到实现中，我担心如果一个<e
浏览 1提问于2015-08-20得票数 0
回答已采纳
1回答
使用ETL进行集合
、、、
例如，ETL是否可以用于执行聚合，以降低数据在任意时间范围内对AVG、MIN、MAX等的分辨率？例如，考虑到过去一个月外部温度的2000+数据点，使用ETL工作将该分辨率降低到过去一个月平均日平均值的30个数据点。(撇开这类数据的实际用例不谈，只是一个例子)。其思想是执行聚合，以降低数据的分辨率，使图表等更快地显示大数据集的长时间范围，因为我们不需要每个单独的数据点，然后我们必须动态地对这些图表进行聚合。到目前为止，我的研究只建议使用
浏览 2提问于2017-05-19得票数 0
回答已采纳
2回答
我们有一个ETL进程，它将大量数据插入到表中。该数据库被设置为简单恢复模型，事务日志正在大量增长。我在想，将这个数据库设置为大容量日志恢复模型会有帮助吗？我们每天都要进行全面备份。那么，与简单恢复模型相比，是否存在一些未登录大容量日志恢复模型的操作？
浏览 0提问于2014-11-06得票数 1
除了编码器首选项之外，还有什么理由使用一系列的WITH(SELECT。。。)Snowflake中的语句/子句，而不是创建几个临时表。是否有性能或其他问题会导致其中一种方法优先于另一种方法？
浏览 0提问于2020-09-02得票数 1
2回答
ETL似乎是一项相当常见的任务。我基本上是在阅读一些ETL错误，这些错误是设计人员在上使用非常大的数据所犯的。关于以下几点，我需要一些实际的见解b)同时采购多个系统，这取决于不同的数据系统。( d)相信“我需要一次处理所有数据，因为这是最快的方法。”
有什么帮助吗？
浏览 9提问于2013-10-31得票数 3
回答已采纳
2回答
我有一个生产中的数据库，我想运行一个ETL进程来删除数据库的一些记录(2亿)，但是由于数据库是完全模型的，所以每次我尝试运行ETL时，日志文件就会离开空间。当然，在开始这个过程之前，我将备份数据库。在这方面的任何援助都将不胜感激。
浏览 2提问于2018-05-02得票数 0
回答已采纳
我倾向于使用大量数据的方法，即：
数据库连接器到NetSuite (例如OBDC)CSV导出(以某种方式)我听说你可以进行保存的搜索--比如创建“所有客户”搜索，然后每天晚上自动执行这个搜索，以导出到CSV所有的NetSuite API看起来都很好，但我只是不明白它们如何可靠地处理每天这么大的数据集，而且不会遇到限制、超时或其他任何问题。编辑1:我读过，有些人为(昂贵的) SuiteAnalytics Connect add-on module付费，并获得了对数据的ODBC连接访问权。他们还说，你可能可以
浏览 2提问于2020-04-01得票数 0
回答已采纳
1回答
由于超时错误，ETL问题失败
、、、、
我们有一个ETL作业，每天早上02:00运行。ETL通过链接服务器连接到PROD服务器来运行提取程序。在指向ETL的此数据库服务器的每个数据库上执行更新。注意:但是特定的脚本只会在提取过程中引发问题。当ETL只针对特定脚本失败时，我还应该检查其他什么。有许多脚本运行此ETL
浏览 0提问于2017-04-05得票数 1
2回答
我有一组非常大的XML文件，我想在进行一些数据调整之后将它们导入dynamodb。
这是否可以通过AWS数据管道或其他工具实现？目前，这是通过运行ETL进程的程序手动完成的。
浏览 2提问于2015-08-05得票数 1
我正在努力连接一个覆盆子Pi (3B+)到Google，并将传感器的数据发送到谷歌IoT核心。但我在这件事上找不到任何内容。如果有人能帮我处理同样的事情，我会非常感激的。PS:我已经学习了Google本身的交互式教程，并将一个模拟的虚拟设备连接到Cloud并发送数据。我真的在寻找一个教程，这有助于我连接物理覆盆子Pi。
谢谢
浏览 1提问于2019-07-22得票数 0
回答已采纳
我想复制数据从甲骨文到postgresql数据库使用脚本.But我有一个列tel，它在两个数据库中有不同的类型，一个是varchar，另一个是大整数，我如何才能转换隐含的数据这里是etl文件。<etl>
&l
浏览 13提问于2017-08-07得票数 0
回答已采纳
2回答
如果ETL进程试图检测Server中系统版本表中的数据更改，方法是将由rowversion列定义的行包含在rowversion“增量窗口”中，例如：。。@previous_etl_cycle_rowversion和@current_etl_cycle_rowversion的值是从
浏览 7提问于2020-05-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
