SSIS中的聚集索引和数据加载
在SSIS（SQL Server Integration Services）中，聚集索引和数据加载是与数据库相关的两个重要概念。
聚集索引（Clustered Index）是一种物理存储结构，它决定了数据在磁盘上的物理排序方式。聚集索引的优势在于可以提高查询性能，因为它可以使相关数据在物理上更加紧凑地存储在一起，减少了磁盘I/O操作。聚集索引适用于经常需要按照特定列进行排序或范围查询的情况。在SSIS中，可以通过使用"Create Clustered Index"任务来创建聚集索引。
数据加载（Data Loading）是指将数据从源系统加载到目标数据库中的过程。在SSIS中，可以使用"Data Flow"任务来实现数据加载。数据加载过程中，可以进行数据清洗、转换和验证等操作，确保数据的准确性和一致性。SSIS提供了丰富的数据转换和处理组件，可以满足不同的数据加载需求。
聚集索引和数据加载在实际应用中有着广泛的应用场景。例如，在数据仓库中，可以使用聚集索引来提高查询性能，加快数据分析和报表生成的速度。而数据加载则可以用于将各种数据源的数据集成到一个统一的数据库中，方便数据分析和业务处理。
腾讯云提供了一系列与数据库相关的产品和服务，可以满足聚集索引和数据加载的需求。例如，腾讯云的云数据库SQL Server版（https://cloud.tencent.com/product/cdb_sqlserver）提供了高可用、高性能的数据库服务，支持聚集索引和数据加载等功能。此外，腾讯云的数据传输服务（https://cloud.tencent.com/product/dts）可以帮助用户实现数据的快速迁移和同步，方便数据加载的操作。
总结：在SSIS中，聚集索引和数据加载是数据库相关的重要概念。聚集索引可以提高查询性能，适用于需要按照特定列进行排序或范围查询的情况。数据加载是将数据从源系统加载到目标数据库的过程，可以进行数据清洗、转换和验证等操作。腾讯云提供了与数据库相关的产品和服务，可以满足聚集索引和数据加载的需求。
相关·内容
1回答
使用SSIS 2008 Microsoft 2008 R2 (SP2) - 10.50.4000.0 (X64)
我正在尝试使用暂存表进行批量更新。暂存表是我的目标表的精确架构副本。我已经读过，使用fastload选项，索引可能会阻碍上传到暂存表的性能。因此，我在数据流任务之前禁用索引，然后重新生成索引。但是，我的SSIS包在运行时验证时失败。似乎我不能在禁用索引的情况下对暂存表执行快速加载。这是我增强的错误消息：The query processor is unable to produce a plan because the index 'PK_StagingTable'
浏览 4提问于2014-10-09得票数 1
回答已采纳
3回答
这是我的第一个问题，我从不同的网站搜索了很多信息，但没有一个是有推论的。
问题:我每天都要加载一个平面文件，其中包含一个SSIS包，该包在SQL Server2005的计划作业中执行，但是它花费了太多的时间(比如2个半小时)，并且这个文件只有300行，并且它是一个50 MB的文件。这让我抓狂，因为它影响了我的服务器的性能。
这是一个场景：-My包只是一个数据流任务，它有一个平面文件源和一个OLE DB目标，这就是全部！-The数据访问模式被设置为快速加载。-Just在表中有3个索引，并且是非聚集的。到目前为止，-My目标表有366,964,096条记录，32列-I还没有在任何输出列中设置Fas
浏览 2提问于2012-02-23得票数 0
回答已采纳
我编写了一个SSIS包来将测试数据加载到一个空数据库中。其中一些表非常大(大约7亿行)。一旦SSIS包完成，我是否应该运行任何命令(作为DBA学徒！)最大限度地提高数据库的性能？
例如，我执行了EXEC sp_updatestats，但是它报告说不需要更新索引。
一旦加载了大量数据，是否有要做的事情列表，还是Server 2008只是为您处理所有这些？
浏览 0提问于2011-11-02得票数 11
回答已采纳
2回答
SQL暂存表:主键群集或堆
、、、、、
我们使用遗留的平面txt文件并将它们插入到带有SSIS.The的舞台表中，出现了表是否应该具有主聚集键索引的问题。这是直接的平面文件导入，没有转换。
create table dbo.CustomerTransaction
(
CustomerName varchar(255),
PurchaseLocation varchar(255),
Productid int,
AmountSold float,
CustomerAddress varchar(50)
)
create table dbo.CustomerTransaction
(
浏览 0提问于2018-11-10得票数 6
回答已采纳
1回答
在sql server 2008 r2中有一个表，其中有大约5000万条记录。通过SSIS插入到表中需要花费很多时间，因为我在该表上有5个不能删除的非聚集索引。我想在ssis包运行之前和之后删除并创建索引，但这也需要很长时间。我想知道禁用和启用索引是否会给我带来更好的性能。
浏览 6提问于2015-07-21得票数 0
我有一张13 TB大的桌子(由于历史原因)。
我想重新加载数据，因为我已经损坏和复制了该表中的数据。
问题是，将数据加载到空的分区表(按月划分)的最快方法是什么？
我的想法：
填充分区片填充表。我创建两个或三个临时表(取决于I/O上限)，并通过SSIS (openrowset bulk)将数据同时加载到三个临时表中。之后，我切换到分区，然后继续接下来的三个分区。
通过“普通”插入一次插入最新和最古老的数据(我不认为聚集索引会这样)
?？?
那么，什么是最好和最快的方式呢？
浏览 0提问于2015-03-31得票数 0
SSIS不是我的强项。我注意到OLE目的地上有一个表锁选项，其中整个表被锁定在我假设的插入数据处理过程中。
如果有一个有条件拆分的平面文件数据源，将数据解析成5个或更多的OLE DB目的地，而这些目的地是针对同一个表的表锁定的，那么会发生什么？在这个场景中，如果数据被快速加载(插入)到目的地本身，每个OLE DB目的地会被对方阻塞吗？
在我的实例中，我移除了桌子锁，一切看起来都很好。它将数据分割，并以每分钟100万条的速度插入记录。
浏览 0提问于2015-11-20得票数 0
回答已采纳
2回答
大家好，
我有SSIS包，它在夜间运行，将数据从AS400移动到SQL Server2005。在过去的几个月里，我的包需要更多的时间来完成一个预定的任务。如果我手动运行相同的包，它们将正常完成。在我所有的ssis包中，我都截断了sql server中的数据，然后在这些表中批量插入数据。即使我在这些表上也有很多非聚集索引。在执行bulk insert SSIS包之前，我需要删除这些表上的所有索引吗?一旦包成功，我必须创建非聚集索引，以便解决包的性能和耗时限制。我不确定这就是问题所在，请指导我解决这个问题
浏览 1提问于2010-10-03得票数 1
我已经使用SSIS Balance Data Distributor从OLEDB源到OLEDB目标填充了50,000条记录。
当我不使用SSIS BDD时，它需要2分40秒，当我使用BDD时，它需要1分55秒，这并没有太大的区别。
我还发现，数据并不是并行地加载到目标中，而是在第一个目标中加载，然后填充下一个目标。(一次一个)你们中有谁可以帮助如何并行填充它们吗？
浏览 0提问于2017-11-15得票数 0
我正在将数据从ssis插入到Table1中。数据加载速度非常慢，每分钟(5-10k条记录)正在插入我在目标任务中选择了快速加载选项，该选项对我也没有帮助。
在同一台服务器上，另一个表(Table2)的数据加载速度非常快，与Table1相比，它具有更多的数据和更多的索引。
为什么Table1数据插入速度很慢？
请帮帮我。
浏览 1提问于2016-09-08得票数 0
3回答
我有一个用制表符分隔的大文件(大约50 to，大约300mln行)，我想将它导入到SQL Server表中，其中包含以下列：char(10), varchar(512), nvarchar(512), nvarchar(512)。
使用T-SQL、SSIS或C# 类批量导入它需要大约一天的时间。
有没有更快的方法来加载这些数据？
或者有没有可能是某种条件让它变慢了，我可以删除或更改？
浏览 0提问于2012-10-17得票数 1
回答已采纳
1回答
我有一张130米的桌子。每天我都从源系统中提取数据并插入到这个表中。提取是增量式的，也就是说，我只从源获取新数据。表是一个具有一个非聚集索引的堆。
因此，我正在考虑创建一个聚集索引。我已经读过，在聚集表中加载数据会创建分页，最好是删除索引，并在insert重新创建索引之后。有些人似乎还说，最好是节食，然后重建。
我不确定，但我不认为上述建议是可靠的。即使当我插入到堆中时，也必须分配新页。是什么使分页在聚集索引上如此糟糕？
我认为最好只是插入聚集索引？在堆中插入可能比在堆中插入要慢，但稍后它将受益于联接和计算中的聚集索引。
以上关于删除和重新创建聚集索引的建议是一个神话吗？
我要说的是，总体目标
浏览 0提问于2020-12-01得票数 0
回答已采纳
1回答
SSIS任务的索引调优
、、、、
我正在使用SSIS在我的仓库中装载表。由于我的SSIS速度慢，在表上构建索引似乎是个好主意。
在这个仓库中，没有主键(因此也没有外键)、索引(聚集或其他)、约束。换句话说，它是100%的效率免费。
通过分析新的查询和当前的查询性能，我们将根据使用情况放置索引。
因此，与其这样做--我们老生常谈的实际读取SQL语句和执行计划的方式--我想我应该使用闪亮的新数据库引擎优化顾问()。
我在SSIS包中关闭了SQL日志记录，并运行了一个“调优”跟踪，将其保存到一个表中，并分析了调优顾问中的输出。大多数查找都是按照以下方式完成的：
exec sp_executesql N'SELECT [Act
浏览 0提问于2009-08-20得票数 0
1回答
我有一个SSIS包，它启动一个事务，然后将目标表中的现有记录标记为非活动。然后，我有一个数据流任务，它在提交或回滚事务之前插入新记录。
我遇到的问题是DF任务由于死锁而挂起。该包已经正常运行了一个月，但由于某些原因，它刚刚开始出现锁定问题。
我尝试过设置不同的事务级别，但到目前为止还没有成功。从这里我可以知道的是锁定条件：
浏览 1提问于2015-07-22得票数 4
2回答
在SSIS包中将数据从源复制到目标时，源是使用了group by关键字的sql查询，目标是表，行位置的数据是否必须与目标表中相同行位置的数据相匹配？？
sagar
浏览 1提问于2009-06-08得票数 0
我有一些关于聚集索引和列存储index.We的问题，我知道在聚集索引中，特定列的数据的物理顺序正在变化，并存储在二进制tree.So的叶节点中，我的问题是：
1)如果我们在columnA上创建聚集索引，该columnA的数据将从实际的边缘位置删除并添加到二叉树的叶子中？或者它只是在原来的存储位置重新排列数据？
2)列存储索引呢，这里来自特定列的数据也将从实际存储位置移除并加载到另一个单独的文件段中？
3)从上面的2个问题中，如果数据是从原始位置移动的，例如:我们有一个具有coulmns colA，colB的tableA，如果我们在colA上创建了上述2个索引中的任何一个，那么原始位置只包含co
浏览 0提问于2012-04-22得票数 0
回答已采纳
1回答
在SSIS加载期间，当更新employee表时，锁定生效。
但是，已经使用以下语句禁用了表上的锁升级：
ALTER TABLE dbo.Employee SET (LOCK_ESCALATION = DISABLE)DBCC TRACEON (1211,-1)
然而，该表(对象)确实被锁定，并被保存了将近一个小时。总数是不。更新(insert、update、delete语句)中约有200,000条
这里的最终目标实际上不是避免锁定，而是成功地允许表上的读取。
没有。更新(插入/更新/删除)的范围很大，每天高达5万，而表上只有大约50-100个搜索/选择查询，而这些查询实际上受到锁的影响。
浏览 3提问于2012-04-10得票数 0
回答已采纳
1回答
我在一个数据仓库表上有一个聚集索引和几个非聚集索引，大约有18M行170列-大约18 on大小。这个表来自遗留系统，我不能改变它的结构。
该表每天都会被截断和加载。
为了获得最佳性能，加载数据和创建索引的顺序是什么？
另外，我该如何处理这个庞大的表，以便为索引做好准备？
浏览 2提问于2011-12-13得票数 0
我的问题很简单，而且我知道，现在很少有旧的DB设计是不好的，因为我们现在喜欢。
我的旧表没有执行Delta加载的主键。因此，我试图使用哈希概念来创建唯一的键。作为"HASHBYTES“返回VarBinary，我不能使用VarBinary类型作为优先键(不确定这一点)
参考网址: MSDN：
因此，我将其转换为INT或BigInt。问题在于它既给出了负值，也给出了正值(由于范围)。
我的问题是:如何将VARBINARY(100)类型转换为整数或BigInt (+ve值)，并将其设置为表中的主键？
编辑注意事项：
我尝试使用VARBINARY作为SSIS查找任务中Delta load的主键
浏览 5提问于2018-06-05得票数 1
我们有许多内部SQL服务器在运行，并且有一些日常作业在传输数据。我们也有一些外部数据库，我们将使用view或txt来传输数据。
现在，我们使用的是DTS & SSIS。但是由于某些原因，我们的经理不喜欢DTS/SSIS，所以我们正在从DTS/SSIS迁移出去，但我们仍然需要传输数据。他们建议开发一些应用程序，加载数据/文件，然后插入到目的地。
这是一个好的解决方案吗？有什么建议吗？
我认为唯一合理的原因是:如果存在性能问题，很难在DTS/SSIS中找到原因
非常感谢！
浏览 0提问于2012-09-26得票数 1
回答已采纳
1回答
如果源表在主键上有聚集索引，select * from table是否会按该主键字段排序，而不必在查询中为该字段规定order by？
我的第二个问题是，SSIS加载的表在源表主键上的聚集索引是否与目标表中的顺序完全相同？
我只想确保我为基于主键/业务键的代理键创建的身份键始终以正确的顺序在源和目标中输入
谢谢
浏览 11提问于2017-02-08得票数 0
1回答
我正在将数据从表A移到表B。表具有完全相同的DDL、表结构，并且是直接插入的。我们不是在转换或修改数据。
如果TSQL Server和SSIS对cpu核心和内存都有相同的硬件规格，并且两个表驻留在同一个数据库中，那么哪个工具的性能更好？表是5000万行，大约30 is。
我们的性能测试显示了T；我想确认Microsoft或供应商推荐的内容。
问题的目的是了解Tsql和ssis之间的速度差异。
浏览 0提问于2019-01-07得票数 0
回答已采纳
2回答
我有几张非常大的桌子，基本结构相同。每个列都有一个RowNumber (bigint)和DataDate (date)列。每天晚上都使用SQLBulkImport加载数据，而且从来没有加载过“新”数据--这是一个历史记录( Standard，而不是Enterprise，因此没有分区)。
因为每一位数据都需要绑定到其他系统，而且每个RowNumber/DataDate组合都是唯一的，这就是我的主键。
我注意到，由于我在SSMS中定义PK的方式，RowNumber列在第一位，DataDate列在第二位。
我还注意到，我的碎片总是很高~99%。
现在，因为每个DataDate只出现一次，所以我希望索
浏览 0提问于2013-08-21得票数 37
回答已采纳
6回答
SSIS包满表负载慢
、、、、
我们有一个SSIS包，显然被开发团队称为“缓慢”。因为他们没有一个拥有SSIS的人，所以作为一个DBA，我试着去挖掘它。下面是我发现的信息: Server是2014年版本升级的-inplace到2017年，所以它有两个版本的SSIS。
它们将大小为200 GB的Server表加载到SSIS中，然后使用命令行zip功能将数据压缩到平面文件中。
数据流任务简单地命中了一个select * from view --视图只是包含表，没有其他奇特的连接。
在进行故障排除时，我发现在Server上几乎没有任何负载，可能是因为select命令运行在单个线程中，并且没有使用SQL服务器内核。
浏览 7提问于2020-08-08得票数 6
1回答
我在存储过程中有一个update查询，这是导致死锁的主要原因。
此存储过程在foreach循环中的SSIS包中使用。看起来存储过程调用Salespreprocessing表并进入死锁状态。当我们同时调用这个SSIS包时，就会发生这种情况。下面是我的SQL查询
UPDATE SPP
SET SPP.Promotion_Id = T.PromotionID
FROM staging.SalesPreProcessing SPP WITH(INDEX(staging_CIDXSalesPreprocessing1))
INNER JOIN #WithConcatenatedPromot
浏览 0提问于2015-12-22得票数 0
作为正在学习SSIS的人，在SSIS 2012中有一些新的属性，我找不到任何文档/解释。因此，我希望有人能解释一下：
在维护清理任务中，BIDS属性网格具有一个DeleteFromAllBricks属性。财产控制是什么？
在备份数据库任务中，我看到了CopyOnlyBackup、IgnoreReplicaType和UseExpiration (2008年也有)属性。这些财产是干什么用的？
在我的一个dtsx文件中，有一个带有SkipUnsupported属性的重建索引任务。SkipUnsupported是做什么的？
请注意，这些属性中没有一个在投标中设置了它们的描述字段，当我在网上搜索时，我找
浏览 1提问于2012-07-19得票数 3
回答已采纳
1回答
我需要帮助，使现有的表格在数据库中。我正在使用MSSQL 2017，我有一个名为ACD的表，用于存储接收到的呼叫的数据，它包含了数十万条记录，预计到今年年底将有数以百万计的记录。我试图根据StartDateTime列对表进行分区，该列具有DateTime数据类型，每个月将有12个文件，但这是行不通的。以下是我遵循但没有运气的步骤：
I创建了12个文件组，并将每个文件组命名为月份名称(Jan，Feb，…，Dec)(下面是示例)：ALTER添加FileGroup一月Go数据库IPCCDB添加FileGroup Febuary Go
I向每个文件组添加了数据文件。ALTER向FILEGROUP添加文
浏览 1提问于2022-03-20得票数 0
在我的场景中，数据将按报告中的顺序(日期、varchar外键、int外键)被加载。索引仍然有好处吗？我打算将运行日期定义为聚集索引，并对两个外键进行索引。由于数据将通过一个已经对数据进行排序的进程加载，所以我不确定索引的好处是否仍然大于开销？我在这方面真的很新。该表可能定义为总共4个字段，每次运行日期最多为22,000,000行，并保留60天。
浏览 0提问于2015-11-05得票数 1
1回答
如何删除sql上的分区函数？
、、、、
所以我得到和ETL存储了3年的‘17年()，'18(corrupt)，'19：
STG_tables:从3个不同DB导入数据并将其导出到
DWH_tables:这是存储所有历史信息的关系函数。这里只对表和字段进行规范化和参数化，以使它们适应所开发的逻辑模型，但没有应用业务规则。
DIM_tables:最后，在多维Fase中，应用业务规则，为查询优化表和索引，因为这是分析工具攻击的地方。
我有两种重装：
Daily :此作业负责执行执行数据仓库增量每日负载所需的SSIS包。它只加载维度Fase中大型表(对应于当前年份)的最后一个分区。
完全释放:负载满3年(这一次不起作用)
这不
浏览 2提问于2019-05-27得票数 3
回答已采纳
我们从SQL Server加载大量数据(约2亿行，大小约10 in )。服务器为SQL server 2019，运行在Linux机器上，内存充足，网络速度非常快。数据稍后由Spark应用程序处理，但这并不重要，我们使用测试应用程序得到相同的结果。
我们要查询的表非常宽，大约有100列，查询根据时间范围选择其中的一些列。而且，因为我们从Spark运行它，所以它分布在executors中，并添加了额外的时间过滤器。
类似于：
select *
from
(select time, col1, col5, col38
from table
where time &
浏览 0提问于2020-11-11得票数 0
2回答
我有两个update语句。当两者一起执行时，从SSIS开始需要超过12个小时。在执行此update语句之前，此表上的所有索引都已禁用。我需要提高性能。我需要一些建议：
1)第一条更新语句
Update Db1.table1
Set Db1.table1.col1 = Db2.table2.col1
from Db1.table1, Db2.table2
where Db1.table1.col2 = Db2.table2.col2
2)第二条更新语句
update table1
set table1.col3 = 0
from table1
where table1.col3 is null
浏览 1提问于2015-05-15得票数 1
4回答
每天晚上，我们都会将来自外部系统的数据传送到中的一个暂存表中。
因为数据是每天晚上传送的，所以不可能定义主键，因为输入来自来自国外系统的其他表。
这个暂存表的重组和导入将在稍后通过SSIS完成。
暂存表目前没有定义聚集索引，如下所示：
CREATE TABLE [STA].[BusinessPartner]
(
[runID] [NVARCHAR](255) NULL,
[someID] [NVARCHAR](255) NULL,
[data1] [NVARCHAR](32) NULL,
[data2] [NVARCHAR](32) NULL,
) ON [PR
浏览 2提问于2019-09-24得票数 0
回答已采纳
2回答
我在一个服务器A上有一个大小为430 GB的大型sql服务器表。
我需要将表复制到新的服务器B中，所以我在服务器B上创建了一个空表，并使用SSIS包/作业将所有数据从A移动到B--这花费了我几乎30+时间。
现在，数据副本已经完成，最大的任务是建立索引。
采用这种方法是正确的，还是应该将数据加载到服务器B上已经编入索引的表中？
CREATE TABLE [CCTSwapForward].[SWAP_DATA](
[SwapData_ID] [int] NOT NULL,
[Contract_ID] [varchar](20) NOT NULL,
[DataSourceN
浏览 0提问于2018-05-14得票数 5
回答已采纳
直到今天，我的印象是，在数据加载期间禁用sql表中的索引是一种最佳实践。而且，由于不能禁用MS Sql server中的聚集索引，您必须删除它，然后执行数据加载操作。但是今天，我用不同列类型的10-15列执行了大约30M个记录的数据加载操作，我惊讶地看到，与删除聚集索引、加载数据、然后创建聚集索引相比，保持聚集索引执行负载的结果是什么。
在我的测试中，插入的数据是在源表中预置的，这可能是造成这种差异的原因之一，但我只想了解，在加载数据之前删除聚集索引并在数据加载之后重新创建它或保留聚集索引是最佳的做法吗？
浏览 0提问于2020-09-17得票数 1
我有一个SSIS包，其中我有3000万条记录进行排序。但这花了这么多时间。有没有对大量数据进行排序的有效方法？与数据相比，驱动器中的内存较少。
浏览 1提问于2012-03-21得票数 0
2回答
作为迁移项目的一部分，我们已经从JDE iSeries DB2数据库导入了数据。创建了一个SSIS包来创建目标表和导入数据。导入成功。
该表需要的主键是复合的，有7列。
我们正在考虑这一点：
BEGIN TRANSACTION
GO
ALTER TABLE [dbo].[F0911] ADD CONSTRAINT [F0911_PK] PRIMARY KEY CLUSTERED
(
[GLDCT] ASC,
[GLDOC] ASC,
[GLKCO] ASC,
[GLDGJ] ASC,
[GLJE
浏览 0提问于2012-11-15得票数 1
回答已采纳
1回答
我有一个表，有频繁的读取，插入和更新(它保存网站用户的会话数据)。它在一个名为varchar的sessionID字段上有一个聚集索引。
我需要根据另一个表中的sessionID列表删除一组记录。当我尝试一次删除大量它们时，会创建一个锁，以防止将表写入或读取。
如果我使用SSIS包中的foreach循环逐行删除它们，它似乎消除了锁定。
逐行删除是否有可能造成长期的负面影响？
浏览 2提问于2015-09-23得票数 0
回答已采纳
我正在从单个insert重写一个C#控制台应用程序来执行批量插入
根据这里的建议，我需要将insert批量插入到一个暂存表(带有id identity种子)，然后加载到临时表中，进行一些处理，然后插入到主表中。
这是一个实时的24/7，所以它需要尽可能快和有效。
( 1)将数据从c#控制台应用程序批量插入到暂存表(每1分钟一次，大约50,000至150,000条记录)的最快方法是什么--我计划使用SqlBulkCopy
( 2)在分期表上使用带有identity种子的id是否会减慢速度？我应该用堆吗？
3)我的主要问题和最高风险区域是插入主繁忙表，因此这需要尽可能快地减少锁定:在对主表进行大容
浏览 0提问于2020-03-19得票数 0
我正在尝试使用SSIS将一个表从Oracle加载到Postgres，其中包含大约2亿条记录。Oracle、Postgres和SSIS位于单独的服务器上。
从Oracle读取数据
为了从Oracle数据库中读取数据，我使用“OLE的Oracle提供程序”使用OLE连接。OLE DB Source被配置为使用SQL命令读取数据。
总共有44列，主要是varchar、11个数字和3个时间戳。
将数据加载到Postgres
要将数据导入Postgres，我使用ODBC连接。ODBC目标组件被配置为以批处理模式加载数据(而不是逐行插入)。
SSIS配置
浏览 14提问于2022-02-18得票数 2
回答已采纳
2回答
我们有一个非常大的暂存表(> 80 GB)。从源系统中，我们将发票数据加载到暂存表中。从阶段开始，我们将数据和加载转换为DWH/Fact。每天我们删除当前月份，然后重新加载从源到阶段。随着时间的推移，这个阶段包含了完整的历史。
在一些DW负载中，我们只需要当前月份。有时一年和前一年。
什么是更好的索引策略：
date列的聚集索引(财政期)
以IDENTITY作为代理密钥的主密钥
自然密钥的聚集索引(某种行项，如发票号)
所有查询都包含date列(财政期间)，有时还包含额外的列，如发票类型，作为非聚集索引。在ETL中，我们可以禁用非聚集索引，但不能禁用聚集索引。
这三种类型中哪一种的性能最
浏览 0提问于2016-04-06得票数 2
2回答
Server如何在内存中缓存数据
、、、、
我有几个关于数据缓存如何工作的问题。
想象一下，我们有以下情况：
服务器重新启动，或者我们只运行DBCC DROPCLEANBUFFERS
我们有一个50 GB的Table1，它有A、B、C、D、E列。
列A是聚集索引键，列B和C对它们具有非聚集索引。
当我们从Table1中选择top 100 *时，整个聚集索引(表)是否从磁盘读取到内存，即使我们只需要100行？还是只有100行(它们的数据页)从磁盘读取到内存？
与非聚集索引一样，当我们从Table1中选择top 100 *时，列B= 'some‘，整个非聚集索引+聚集索引是否加载到内存中？还是只有100行来自非聚集索引和100行
浏览 0提问于2019-10-29得票数 7
回答已采纳
2回答
聚集和非聚集索引
、、
面试官问了我聚集索引和非聚集索引之间的区别，然后深入讨论，然后又问了一个问题--当一个表有一个聚集索引和一个非聚集索引时，非聚集索引是否仍然指向表中的数据行？我说可以，我立刻就认为这是错误的。它是指向按聚集索引排序的数据行还是指向原始数据行？有人能帮我解释一下吗。
浏览 1提问于2015-12-07得票数 0
我有一个扁平文件，看起来像第一组。我有一个带有自动递增主键字段的表。使用SSIS，我如何保证当我导入数据时，它保持了平面文件中指定的记录顺序？我假设当SSIS读取文件时，它将保持插入到数据库中的顺序。这是真的吗？
In File:
RecordType | Amount
5 1.00
6 2.00
6 3.00
5 .5
6 1.5
7 .8
5
浏览 6提问于2016-07-29得票数 0
回答已采纳
2回答
插入大量行的最快方法是什么？
、、、、
我有一个数据库，在这个数据库中，我将文件加载到一个暂存表中，从这个暂存表中，我有1-2个联接来解析一些外键，然后将这一行插入到最后一个表中(该表每个月有一个分区)。我在三个月的数据中有34亿行数据。
从暂存到最后一个表中获得这些行的最快方法是什么？SSIS数据流任务(使用视图作为源并具有快速加载活动)或插入到SELECT .指挥部？我尝试了数据流任务，可以在大约5小时内获得大约10亿行(服务器上的8核/ 192 GB RAM )，这让我觉得非常慢。
浏览 0提问于2014-02-19得票数 32
回答已采纳
2回答
我有大量的记录(大约10亿)，我需要加载到MongoDB (实际上是TokuMX，但无论如何)。我有大约6个不同的索引，我需要创建的集合。加载数据，然后创建索引总是更快吗？当我查看Mongo的日志文件时，似乎Mongo做了一些大的操作(也许一行计数？)在实际开始创建索引之前，它对我创建的每个索引都这样做。
在加载数据之后，创建索引总是更快吗？
如果我等到加载数据之后，在后台同时创建每个索引会比一个接一个创建索引更快吗？
浏览 0提问于2014-06-29得票数 2
回答已采纳
1回答
INFORMIX-SE：
我的用户定期运行SQL脚本REORG.SQL，该脚本将表中的所有行按排序顺序卸载到两个单独的文件(活动的和非活动的)，删除表，重新创建表，将排序的加载文件加载回其中，在我对卸载文件进行排序的同一列上创建集群索引，创建其他支持索引并更新其统计信息。
(请参阅上的REORG.SQL脚本)
(另请参阅:集群索引按名称而不是pk_idserial=fk_idint的原因： )
使用我的REORG.SQL脚本，我一直有索引文件一致性问题，所以我怀疑集群索引与此有关，并在没有集群的情况下创建了索引，问题就消失了！
现在我的问题是:如果我设法将所有事务数据加载到一个新创建的表中，并
浏览 1提问于2010-08-05得票数 1
回答已采纳
3回答
我有一个SSIS包，它将CSV文件加载到一个具有会计数据的100+列的临时表中，我们将从这些数据创建一个数据仓库。
从下面的产品数据列中，我们可以确定创建“100+”维度所需的列……
示例数据..
product_id,product_name,product_description
'1','computer','power pc'
'2','case','atx case'
'1','computer','power pc'
'3'
浏览 0提问于2013-03-14得票数 1
2回答
我使用PostgreSQL 9.3版本创建数据库。
下面对一些列列表进行了下表测试。
create table test
(
cola varchar(10),
colb varchar(10),
colc varchar(10),
cold varchar(10)
);
现在我想在一些列上创建一个索引。
例如：
我想为列cola和colb创建聚集索引。
我希望为列colc和cold创建非聚集索引。
当我提到和时，我知道PostgreSQL中没有聚集索引和非聚集索引。
我的问题：在PostgreSQL中可以使用什么类型的索引来代替聚集索引和非聚集索引，这与聚集索引和非聚集索引的
浏览 7提问于2015-01-16得票数 10
回答已采纳
2回答
我的问题需要帮助。这个表有1.44亿行，这是一个阶段表(我们在其中插入来自另一个表的数据)。我之前没有索引，作业已经运行了9个多小时。我将包含多个列( AdvertiserName、MediaPlanName、MediaPlanNumber、CreativeDescription)的非聚集索引添加到这个表中，因为这种组合使它具有唯一性。但即使是现在，执行计划仍然显示表扫描，而不是非聚集索引扫描，并且性能没有任何改善。
这是下面的查询，使用SSIS将数据汇总到csv文件中需要很长时间。如何提高此查询的性能？请帮帮我！！它需要很长时间才能运行。:(
SELECT
AdvertiserNam
浏览 0提问于2015-04-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
