我可以将模型保存到ETL的多个表中吗？我有临时表和终结表
可以将模型保存到ETL的多个表中。ETL（Extract, Transform, Load）是一种数据处理过程，用于从源系统中提取数据，对数据进行转换和清洗，最后将数据加载到目标系统中。在ETL过程中，可以使用多个表来保存模型。
临时表是在ETL过程中用于存储临时数据的表，通常用于数据清洗、转换和处理的中间结果。临时表可以用于存储临时计算结果、中间数据等，以便后续的数据处理步骤使用。
终结表是ETL过程中的最终目标表，用于存储经过清洗、转换和处理后的最终结果。终结表通常是用于存储可供分析、查询和报告的数据，可以是数据仓库中的维度表或事实表。
将模型保存到ETL的多个表中可以有以下优势：
- 数据分离：将模型保存到多个表中可以将数据按照不同的维度进行分离，提高数据的可管理性和可维护性。
- 灵活性：通过将模型保存到多个表中，可以根据需求对不同的表进行灵活的查询和分析，提高数据的灵活性和可用性。
- 数据处理效率：将模型保存到多个表中可以提高数据处理的效率，通过并行处理多个表，可以加快数据的清洗、转换和加载过程。
在腾讯云的产品中，可以使用腾讯云数据库（TencentDB）来保存模型数据。腾讯云数据库提供了多种类型的数据库，包括关系型数据库（如MySQL、SQL Server）、NoSQL数据库（如MongoDB、Redis）等，可以根据具体需求选择适合的数据库类型来保存模型数据。
推荐的腾讯云相关产品：
- 腾讯云数据库MySQL：适用于关系型数据存储，提供高可用、高性能的MySQL数据库服务。产品介绍链接：https://cloud.tencent.com/product/cdb
- 腾讯云数据库MongoDB：适用于NoSQL数据存储，提供高可用、高性能的MongoDB数据库服务。产品介绍链接：https://cloud.tencent.com/product/cynosdb-for-mongodb
- 腾讯云云数据仓库CDW：适用于大数据分析和数据仓库场景，提供高性能、弹性扩展的数据仓库服务。产品介绍链接：https://cloud.tencent.com/product/cdw
通过使用腾讯云的数据库产品，可以方便地将模型保存到ETL的多个表中，并实现数据的高效处理和存储。
相关·内容
1回答
我试着找出使用临时表对Oracle数据库有哪些性能影响。我们希望在ETL过程中使用这些表来保存临时结果。此时，我们使用物理表实现此目的，并在ETL过程开始时截断该表。我知道截断过程非常昂贵，因此我想如果使用临时表会更好。
在这种情况下，如果使用临时表可以提高性能，你们中有谁有过经验吗？
在这个问题上，只有一些关于SQL Server的答案，就像这个。但我不知道这些建议是否也适用于Oracle数据库。
如果任何人都能列出这个特性的优点和缺点，并指出这个特性可以应用在哪些场景中，那就太好了。
提前谢谢。
浏览 1提问于2016-05-23得票数 1
目前，我已经看到了一个ETL过程，其中一个用户创建了用于存储中间结果的表，然后在ETL进程的末尾删除这些表。
乍一看，这似乎不是正确的方法，因为我一直都知道这应该通过临时表来完成，但是当涉及到向用户解释为什么他应该使用临时表而不是普通的表时，我找不到任何理由。
浏览 0提问于2022-06-24得票数 0
回答已采纳
1回答
有人能帮助我理解如何将数据从BQ (OLAP)转移到(OLTP)吗？这将是一个一次性的回填过程，然后每个月重复一次。在进入细节之前，我想指出的是，我们还没有准备好为CloudSQL或BigData投资，所以我们决定，由于公共站点将从relationalDB读取处理过的数据，所以我们决定可以将BQ中存在的分析数据转移到relationalDB。
我想到两种方法：
Microservice可以有一个石英作业，它可以读取be中的数据以添加到relationalDB中，但是，这会有多高的效率呢？
ETL处理读取and中的数据并保存到relationalDB中。
将数据从BQ保存到云存储中，
浏览 5提问于2020-10-09得票数 0
我有一个OLTP数据库，我正在使用SQL (ETL)加载到另一个数据库中。为此，在第二个数据库数据库中，我基于事实和维度创建了星型模式模型。
技术: MS-SQL
事实:销售
维度:客户、客户、座席
注意:源系统中没有日期修改字段，源系统中可以删除行。
我有一个代理作业，它每15分钟运行一次，以执行以下操作:对于每个表，我将数据从OLTP数据库加载到相应的临时表中(对于每个维度表和事实表)。然后将分段dim表合并到dim表中。然后更新分段事实表以包括维度的代理键。然后使用merge将分段事实数据表与事实数据表同步。这很耗费资源，因为我必须在每次etl运行时将整个数据加载到临时表中。因此，我正在
浏览 3提问于2021-11-22得票数 0
我有一个web应用程序，它允许用户运行一些ETL，并通过UI中的SQLAlchemy模型公开最终的表。这些模型使用了auto_load特性的SQLAlchemy：
Base = declarative_base(name='Model')
class Product(Base):
__table__ = Table('product', Base.metadata,
Column('product_number', Text, primary_key=True),
浏览 1提问于2017-09-11得票数 2
回答已采纳
2回答
我正在我的公司使用一个遗留数据库，它有一个非常奇怪的后端数据模型.有一个主表看起来有点像这样：
ID NAME
1 Customer Item
2 Internal Thing
这个设计很好(看起来有点传统)，但是有一些相关的表本质上有一个模式模板，然后当添加一个新项时，会创建一系列表，并将新的记录ID字段连接到它的末尾(即TABLETEMPLATE_1、TABLETEMPLATE_2)。
以下是我的困境：
此后，我们开发了一个系统，将数据存储到更高的级别，采用更传统的表设计(没有动态表；所有表和约束都存在于数据模型中，这种关系形式通过外键约束来处理)。问题是，有些
浏览 2提问于2015-09-10得票数 0
回答已采纳
我们的数据仓库团队正在评估BigQuery作为一种数据仓库列存储解决方案，并对其特性和最佳使用提出了一些问题。我们现有的etl管道通过队列异步地消耗事件，并将事件等效地保存到我们现有的数据库技术中。幂等结构允许我们在没有重复风险的情况下，偶尔重播几个小时或几天的事件，以纠正错误和数据中断。
在测试BigQuery时，我们尝试使用具有唯一密钥的实时流插入api作为insertId。这为我们提供了在短窗口上重新插入的功能，但是稍后数据的重新流会导致重复。因此，我们需要一个优雅的选项来消除实时/近实时的欺骗，以避免数据差异。
我们有几个问题，希望得到任何一个问题的答案。对于在ETL体系结构中使用Bi
浏览 3提问于2017-03-27得票数 3
回答已采纳
我正在使用talend实现ETL作业，在ETL的中间，我想删除临时postgresql表。我可以使用哪个talend组件？
浏览 4提问于2017-04-19得票数 0
回答已采纳
我经常在我的OWB映射中将数据暂存到表中，因为它提高了性能，而不仅仅是等到映射结束才将数据放入表中。我在这些临时表上设置了一些索引，以便与我的JOINERs中的WHERE子句保持一致，以尝试进一步提高速度。然而，我是在搬起石头砸自己的脚吗？这些中间表上的索引是否会对加载性能产生负面影响？
浏览 2提问于2011-12-07得票数 0
回答已采纳
我正在使用Server 2014 Enterprise。
我有一个包同时调用两个执行包任务(进程外)。反过来，每个子包在并行执行包任务(进程外)中操作26个线程，以便将数据从数据库表导出到CSV...typical ETL。
有时，包将无法执行并引发以下错误：
从项目引用包xxxxx.dtsx执行包时出错0xC0014061。在保存到此目标时，不能使用保护级别ServerStorage。系统无法验证目标是否支持安全存储能力。在保存到此目标时，不能使用保护级别ServerStorage。系统无法验证目标是否支持安全存储能力。
此错误为间歇性。
它与单个包无关，也不总是在同一个包上出错。我
浏览 2提问于2016-08-28得票数 1
我有一个表etl_control，它每天存储latest_id of x_data表。现在，我需要获得每天的行数。我的想法是运行一个查询，根据条件x_data.id <= etl_control.latest_id获取每天的计数，并获取计数。
表结构如下。
etl_control：
record_date | latest_id |
---------------------------------
2016-11-01 | 55 |
2016-11-02 | 125 |
2016-11-03 |
浏览 2提问于2016-11-28得票数 0
回答已采纳
我正在优化一个mysql查询，该查询将两个表连接在一起，并具有一些where子句和一个order by。
我注意到(使用explain)在计算查询的过程中创建了一个临时表。(因为我对表中的字段进行分组，而该表不是联接队列中的第一个表)
我真的很想知道这个临时表是否正在被写到磁盘上，而解释结果并没有告诉我。
如果能够知道临时表中到底有什么内容，那就更好了。我的where子句中的一些限制是针对索引列的，而另一些则不是，所以我认为mysql可能没有最佳地将行挑选到临时表中。
具体来说，我的查询基本上是这样的: select ...从连接b其中..。在索引和非索引列上都有对A和B的限制。问题是从a中选
浏览 0提问于2013-04-10得票数 1
1回答
我正在尝试将我们的ETL Hive脚本之一转换到Spark，Hive ETL脚本在那里维护一个表，在新的同步之前，每天晚上都需要删除部分数据。Hive接受主表，使用insert覆盖删除大于3天的数据。基本上，使用不超过三天的数据创建一个临时表，然后覆盖主表。
有了Spark (使用Scala)，我就会在无法写入同一个源的情况下得到这个错误。这是我的密码：
spark.sql ("Select * from mytbl_hive where dt > date_sub(current_date, 3)").registerTempTable("tmp_mytbl&#
浏览 4提问于2017-10-01得票数 2
回答已采纳
1回答
我试图通过并行运行相同的包来加快我的ETL时间，但我在寻找一种将数据保存到目的地的好方法时遇到了问题。
设置：
OLTP中的Order表。
按月份划分的事实表。
需要PostedDate (付款时间)和ShipDate。
订单可以在下个月发货。
因为这是一个新的数据仓库，所以我每个月都试图并行构建历史数据。
使用SSIS 2014。
目标：
从Order表中提取的每个月数据并行运行的ETL进程。
我到目前为止所做的事：
创建了一个每月循环的存储过程。
SP以唯一的名称动态地为该期间创建一个暂存表。StagingTable__月
然
浏览 2提问于2015-09-17得票数 1
回答已采纳
我想使用Matillion ETL执行从Azure Blob存储到Snowflake表的增量加载。有一个JDBC增量加载组件，但它只适用于一些数据库，而Snowflake不是其中之一。我试着搜索文档，但什么也找不到。有什么建议吗？ 编辑:在my Table Update组件的属性下 ?
浏览 56提问于2021-11-02得票数 1
2回答
在我们的本地环境中，JSON为贷款数据生成数据，并使用核心加密jar进行加密，这个加密的JSON保存到mysql表中，并且从java调用相同的核心加密jar来解密相同的JSON值。现在我们决定将Glue服务用于ETL目的。当来自加密的JSON的数据在Glue执行期间存在时，有人能在这里帮助我调用核心加密吗？
我们如何在AWS Glue ETL Job中处理上述流程？
浏览 2提问于2020-08-11得票数 5
3回答
Oracle 10g临时表
、、、、
我正在尝试将存储过程中使用的永久表转换为全局临时表。我已经查看了这些永久表上的统计数据，有些表中有数千万行数据，如果G的大小为10 GB，则按顺序排列。
所以,
CREATE TABLE my_table (
column1 NUMBER,
column2 NUMBER,
etc...
)
TABLESPACE BIGTABLESPACE
NOLOGGING
NOCOMPRESS
NOCACHE
NOPARALLEL
MONITORING;
应该变成
CREATE GLOBAL TEMPORARY TABLE my_table (
浏览 7提问于2009-12-09得票数 1
回答已采纳
1回答
在我们的项目中，我们使用Django和Django Rest Framework作为主要应用程序，从数据库获取/查询数据并将其发送到前端。这些端点是非常快的，他们应该是。然而，我们需要实现某种ETL模块，它将获取数据、表单、excel文件或客户端CRMs，这将花费更长的时间运行。但是，最终，模型保存在DRF使用的表中，并发送到前端。
这样做的目的是创建单独的应用程序(作为微服务)，可能是在Flask或FastAPI中，甚至在其他技术栈(而不是python)中，这些应用程序只会执行诸如加载数据并将其保存到数据库等ETL工作。如果需要的话，它还会使用其他一些重型工具，如火花或气流。Django会使
浏览 0提问于2021-08-04得票数 1
2回答
临时表的索引和统计
、、、、
我刚刚将我们的数据仓库升级到SQL 2016。我在Query中看到了一些非常有趣的图表(我喜欢这个特性！)下面是我见过的最奇怪的例子。[ 22 ]相同查询的计划。
📷
这让我考虑了ETL过程的性能调优、临时表的优缺点以及如何影响执行计划行为。
我的ETL过程使用了许多存储过程，这些存储过程使用标准表和临时表的混合作为暂存表。#表通常只使用一次，然后删除。有些只是几千行。有些人是数百万。SSMS建议存在缺少的索引，但是在较小的表上，它们是否会产生足够的差异，值得添加它们？更好的统计数字是否足够？
我刚刚读过这是布伦特·奥扎尔的博客关于临时表统计的文章，以及Paul关于存储过程中的临时表的文章
它
浏览 0提问于2016-08-30得票数 7
回答已采纳
1回答
登录update会减慢临时表的更新。同样的日志记录也会发生在表变量上吗？有没有一种方法可以防止这种日志记录，从而加快大型表的更新速度。例如，在ETL中，您不需要回滚功能。
浏览 13提问于2019-08-08得票数 0
回答已采纳
我将表流用于我的ETL管道。我想知道有没有可能手动刷新表流中的数据，而不将其保存到其他表中的任何地方？
浏览 19提问于2021-02-27得票数 2
回答已采纳
我被要求参与将大量报告从SAS迁移到Business。现有的SAS报表都使用Base代码查询事务性数据库；尽管它们被称为报表，但实际上包含了大量的数据操作。
虽然我从未使用过Business，但我知道宇宙能够应用简单的映射(例如，为字段指定不同的名称)、转换(例如连接字段，或者执行求和或平均值)，并且能够连接表。问题是:数据操作在宇宙中能有多广泛？我是否能够模拟使用复杂SQL或多个临时表作为长计算或过程逻辑中的跳板的SAS代码？在什么时候，我需要使用ETL工具来进行这些操作，并在数据库中创建一个底层的“报告层”？
浏览 4提问于2013-09-12得票数 1
回答已采纳
1回答
这是我的一个ETL项目来同步两个数据库，一些表是4G的，所以ETL作业只是加载更新的数据来插入或更新，这工作得很好，但源表将删除一些记录，我也想从我的表中删除。我所做的是： List<long> SourceIDList; // load all ID from source table
List<long> MyIDList; // load all ID from my table
var NeedRemoveIDList = MyIDList.Except( SourceIDList );
foreach(var ID in NeedRemoveIDList)
浏览 11提问于2019-09-14得票数 0
我正在评估雪花的用例报告。我正在考虑ETL的雪管。数据是从S3获取的。S3中的数据包含定期捕获的用户会话的相关信息。在Snowflake中，我希望存储这些数据聚合。根据文档，snowflake只支持基本的转换，在将数据从S3 staging复制到snowflake中的表的过程中不支持group by和join。
我是ETL和snowflake的新手。我想的一种方法是将原始的详细数据从staging加载到snowflake中的临时表中。然后在临时表上运行聚合(group by和join)以将数据加载到最终事实表中。这是实现复杂变换的正确方法吗？
浏览 6提问于2021-01-07得票数 1
我想把我的Gensim doc2vec模型保存到我的笔记本文件夹中，这个文件夹在我的google驱动器中，但是当我运行model.save('doc2vec_model')方法时，它会将模型保存到其他地方。
fname = get_tmpfile(f"doc2vec_{sub}_model_without_tuning")
model.save(fname)
模型存储在/tmp文件夹中。请帮助我将我的模型保存在我的驱动器/笔记本文件夹中
浏览 2提问于2022-04-22得票数 0
2回答
我有一个生产中的数据库，我想运行一个ETL进程来删除数据库的一些记录(2亿)，但是由于数据库是完全模型的，所以每次我尝试运行ETL时，日志文件就会离开空间。
为了避免这种情况，我想将恢复模型更改为简单，在完成了清理表的过程之后，我会再次将恢复放到完整的模型中。
当然，在开始这个过程之前，我将备份数据库。
这样做有什么问题吗，有什么建议吗？
在这方面的任何援助都将不胜感激。
浏览 2提问于2018-05-02得票数 0
回答已采纳
1回答
我尝试使用宏为快照创建一个临时表。但是，宏不返回任何内容。这是我的宏代码：
{% macro notifications_clean() %}
{% if execute %}
{% set nc_sql %}
CREATE TEMPORARY TABLE temp_notifications AS
{% if var('full_load') == true %}
{{ log('Dropping existing snapshot for conforming_notificati
浏览 12提问于2022-08-05得票数 0
我正试图建立一个与星火ETL进程。我的目标是阅读卡桑德拉表，并保存到拼花文件。
到目前为止，我成功地从Cassandra读取了一个完整的表，使用了一个Cassandra连接器(在火花放电中)：
df = app.sqlSparkContext.read.format("org.apache.spark.sql.cassandra")\
.option("table", my_table)\
.option("keyspace",my_keyspace)\
.load()
问题是我的数据正在快速增长，
浏览 1提问于2019-07-22得票数 2
回答已采纳
1回答
我已经统一了事实表和维度表，以及用于web流量数据仓库的SSAS多维数据集，现在我正试图了解特定的活动如何影响不同维度的流量。
如何从ETL的一般方法和数据模型的角度来处理这个过程，因为我认为它是许多关系的一部分。在我目前的ETL解决方案中，web请求来自单个国家的单个设备，所以在构造事实表时，我只需应用适当的维度键。一项运动可以针对几个平台，也可以有几个运动同时开展。
基本上，我要寻找的是能够使用当前的表视图，在这里，我可以按维度分割/骰子流量，但然后将其与可能影响此流量的所有活动并排列出。
浏览 5提问于2014-10-24得票数 0
回答已采纳
2回答
嵌套存储过程连接
、、、、
我有一个存储过程，它只是通过一组其他进程查找导入的文件。主SP每5分钟运行一次，在目录中查找新文件，如果有较新的文件，则将它们导入暂存表。
此时，如果它确实导入了一个新添加的文件，那么还有另一个伴随的SP，即ETL将记录从暂存到另一个生产DB中。ETL (EXEC dbo.ETL)发生在每5分钟运行一次的监视SP中。
我的主要问题是，我是否可以让ETL存储过程独立于监视SP运行？如果ETL SP需要超过5分钟的时间，当再次调用监视SP时，如果5分钟前的最后一次调用仍在运行ETL过程，它会使用另一个连接吗？
IOW，我想每5分钟运行一个SP (SP #1)，调用其他SPs (可能需要5分钟以上或
浏览 0提问于2021-01-31得票数 0
我有一个Server数据库，多用户可以插入它.
但出于许多原因，我希望一次只能有一个用户可以插入。
示例:用户1希望插入100条记录，而用户1正在插入(100条记录未保存到表中)。其他用户不能插入到表中。
我曾想过要用旗子，但我想找到另一种方法。
有任何SQL语句可以做到这一点吗？
感谢您的阅读！
浏览 5提问于2020-02-07得票数 0
回答已采纳
2回答
我们正在创建一个具有复杂代码的SSIS数据源。我读过MultiLine表函数很慢。当数据从一个地方流到另一个地方时，利用存储过程会产生更快的结果吗？
表值函数非常慢
浏览 0提问于2018-12-27得票数 0
回答已采纳
目前我们有两个oracle数据库。一个用于ETL过程，另一个用于OLAP过程。现在我们将把ETL Oracle实例移到MySQL数据库中。但是我们的业务逻辑是用PL/SQL编写的。
除了DB Link之外，是否有任何可能的方法从oracle存储过程访问MySQL表？
提前谢谢。
浏览 1提问于2018-08-17得票数 0
嗨，我需要从我的数据库中读取多个表，并加入这些表。一旦这些表连接起来，我想把它们推送到Elasticsearch。
表是从外部进程连接的，因为数据可以来自多个源。这不是一个问题，事实上，我有3个单独的进程，以每秒平均30000条记录读取3个不同的表。这些记录被连接到一个multimap中，然后为每个键生成一个JsonDocument。
然后有一个单独的进程，读取非规范化的JsonDocuments，并以每秒平均3000个文档的速度将它们扩展到Elasticsearch。
我很难找到一种分担工作的方法。我确信我的Elasticsearch集群每秒可以处理超过3000个文档。我在想，以某种方式分割
浏览 1提问于2016-02-28得票数 1
回答已采纳
1回答
什么是主数据？
、、
这是商业智能、ETL数据集成和数据仓库上下文中的一个术语问题。
我一直都知道数据仓库有事务性的“事实表”，它引用“维度表”。然而，其他一些人正在使用“主数据”一词。这在ETL和数据仓库的上下文中是否有不同的含义，它是否等同于“维度表”？
浏览 0提问于2015-11-10得票数 2
1回答
我有一个mysql存储过程，它接受一个变量并返回一个结果(结果由查询产生)：
mysp (var1) => col1,col2
我想从一个表中提供变量，以生成一个增强查询，如下所示：
table1 => colA，英特尔，colB，var1
select colA,colB, mysp (var1) from table1
这有可能吗？
浏览 5提问于2013-06-01得票数 0
1回答
目标
术语让我有点困惑:我基于Kimball的数据建模方法构建了database (而不是DW)，现在不确定是否可以使用数据集市定义来命名MPP数据库层。
我的假设是，对于mid+大小的组织报告，仍然需要维度建模和星型模式，这与中的推理相同。
问题
在将Synapse称为数据集市(见下图)是正确的吗？
我可以说我没有DW (即使我有星型)，而是数据湖+数据集市？
我是否应该基于业务/报告子域(多个数据集市)将Synapse拆分为多个模式？
建筑细节
更具体地说，在我的例子中：
2-3) ADLS +数据库形成数据湖。所有ETL和星型架构构建都发生在数据湖层。所有逻
浏览 0提问于2020-09-15得票数 1
回答已采纳
让我解释一下这个问题。
我有两个表，其中有3列具有相同的数据tpyes。如果您愿意，这3列将创建一个键/ID，但是表中的列的名称不同。现在，我正在为这两个表创建这3列的查询。我已经独立获得了这些结果
例如：
SELECT ID, FirstColumn, sum(SecondColumn)
FROM (SELECT ABC||DEF||GHI AS ID, FirstTable.*
FROM FirstTable
WHERE ThirdColumn = *1st condition*)
GROUP BY ID, FirstColumn
浏览 1提问于2019-04-14得票数 2
回答已采纳
我有一个特定行业的通用模型(想一想:房地产、建筑)，我想把它作为与每个客户进行咨询的起点。据推测，该模型还需要对每个客户端进行一些定制，而目前，我假设这些客户端不会被合并回原来的基本模型。每个客户端将以不同的方式存储数据的版本(ERP、SQL、Excel、CSV等)。
我的问题是如何&在哪里构建这个模型，以及如何填充它。应该在PowerBI桌面中构建模型，然后使用PowerQuery附加查询加载数据吗？或者，是否应该在Server中构建模型，而更传统的ETL脚本应该先填充它，然后导入到PowerBI中呢？
浏览 3提问于2017-05-16得票数 2
这是我现有的代码，它将一些数据保存到几个表中
using (SqlConnection conn = new SqlConnection("myConnString"))
{
DoWork1(conn);
DoWork2(conc);
DoWork3(conn);
}
为了加速我的代码，所以我尝试获得.net第三方编程语言的支持，我重新挂起了我的代码，如下所示
using (SqlConnection conn = new SqlConnection("myConnString"))
{
ParallelOptions pw = new
浏览 0提问于2012-04-20得票数 6
回答已采纳
我有一个具有billing_id的用户模型。我有一个订单模型，运行与支付网关的交易，它返回一个帐单id，我想保存到用户模型上的billing_id列。我想我把MVC架构的基础弄混了。
我的印象是UsersController和OrdersController更新各自表的数据。这是否意味着，如果我从OrdersController返回了一些东西，比如帐单id，那么就没有其他方法可以将该帐单id保存到用户模型中的billing_id列中？如果这是非常初级的，谢谢和抱歉。:)
此外，我认为一种可能的解决方案可能是以某种方式将返回值通过ApplicationsController传递到UsersCon
浏览 0提问于2011-04-08得票数 1
回答已采纳
我正在尝试使用导入模块和子流程从一个main.py python脚本动态调用pyspark模块列表。我尝试调用的子模块没有返回任何内容，它只是执行其ETL操作。我希望我的main.py程序等待到子进程完成。在下面的代码中，每次我试图调用子进程时，都会出现错误"TypeError：'NoneType‘object is not iterable“。另一个问题是，在启动subprocess.Popen之后，我认为流将继续在main.py to next行中继续，直到它到达j1.wait()，但是立即的打印语句( print ("etl_01_job is running&
浏览 12提问于2021-04-18得票数 7
回答已采纳
2回答
在ETL程序包开始时，将针对SQL Server 2012数据库运行以下SQL查询：
IF OBJECT_ID(N'tempdb..##SlotChanges') IS NOT NULL
BEGIN
DROP TABLE ##SlotChanges
END
CREATE TABLE ##SlotChanges
(
--Snip
)
然后，包将一些行写入临时表，并在写入目标数据库时将其用作最终数据源。
最后没有drop命令，因为只有在下一次运行开始时才会检查它，但是如果我随后打开SSMS并对表运行select，它将返回一个无效的对象异常。在包运行时，我可以通过SSMS很
浏览 0提问于2014-01-10得票数 0
2回答
有人能告诉我如何使用tcpdump过滤出特定源和目标ip上的udp或tcp流量，并将输出保存到csv文件中吗？如果我可以使用etl工具将pcap转换成csv，那么就没有必要使用csv文件。
另外，当我收集数据时，我对100 do的时间分辨率感兴趣，我能用tcpdump来做吗？
谢谢。
浏览 11提问于2016-05-24得票数 1
回答已采纳
我正在寻找一种设计方法，可以从不同的源(oracle、平面文件等)加载数据，并使用Java将它们加载到目标关系模型中。我已经有了目标数据模型，目前它有四个实体a，b，c，d-其中d引用了a，b，c in，所以我需要填充前三个表。对于实体a:我需要从源读取一条记录，并将其与实体a中已有的记录进行比较(在第一次加载时，它将是空的，因此我将直接插入它)，对该记录的所有列进行比较，如果存在差异，则我将更新目标，否则我将移动到其他记录。我正在考虑Spring batch，但为了比较每一条记录，我会有很多DB调用，这会影响性能。如果能帮助我设计策略，我会很感激。我不想考虑像informatica，abin
浏览 1提问于2017-04-25得票数 0
1回答
我正在研究Oracle ODI是否具有ETL(ELT)操作所需的某些功能。
我们需要能够创建一对字符串文本，以便将输入字符串文本从数据源(Excel文件)映射到数据目标(Oracle表)中的不同字符串文本。
例如：
Excel文件性别列值："M“
变成了
Oracle表性别列值：“男性”
在ELT之后。
Oracle ODI有此功能吗？
浏览 0提问于2015-06-18得票数 1
回答已采纳
1回答
我知道多维数据模型中的事实表由事件或事务的度量和标志组成。我也知道它可能包含事件的日期。我必须在事实表上设计，其中需要包含快照月份的一个字段。此快照月份将指示事务记录涉及哪个月的ETL加载(批加载频率为每月)。我的问题是，事实表中的快照月份属性属于哪个类别？它不是度量、公制或标志。这是事件的日期，所以我可以称之为事件日期。还是时刻表中退化的维数？
浏览 0提问于2020-09-14得票数 0
回答已采纳
1回答
在定位如何将数据导入Oracle SQL Developer而不将数据插入表时，我遇到了一些困难。
我遇到的所有函数似乎都需要用户将其插入表中。
有谁知道这样做有什么办法吗？我没有创建临时表或插入现有表的权限。
谢谢!
浏览 2提问于2017-06-16得票数 0
回答已采纳
3回答
我们有一个ETL进程，它将大量数据插入到表中。该数据库被设置为简单恢复模型，事务日志正在大量增长。我在想，将这个数据库设置为大容量日志恢复模型会有帮助吗？我们每天都要进行全面备份。那么，与简单恢复模型相比，是否存在一些未登录大容量日志恢复模型的操作？
浏览 0提问于2012-02-17得票数 5
回答已采纳
我是Talend的新手，正在尝试将一个简单的流程从现有的ETL迁移到Talend ETL。这个过程本身就是
输入文件-->tMap(少量字符串操作和查找)-->写入输出
查找文件有3列(long、1个字符字符串、2个字符字符串)。长值是关键。输入和查找文件的大小(每个大约10 of )。服务器规格是运行linux的16核(2.9 8GB )64 8GB 8 8GB交换。
我使用Xmx/Xms值30G、45G、50G执行该作业，但每次都失败，因为GC开销达到限制或超出了堆空间。已尝试将“存储临时数据”设置为"true“，并将tMap中的缓冲区大小的值更改为更大的数字。这也没什
浏览 2提问于2017-03-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
