通过SSIS将超过1百万条记录导出到csv文件时缺少行
，可能是由于以下原因导致的：
- 数据源问题：首先需要确认数据源是否包含超过1百万条记录。可以通过查询数据源来验证数据的完整性。
- 数据转换问题：在SSIS中，可能存在数据转换过程中的错误。确保数据转换过程中的映射和转换规则正确无误。
- 内存限制：导出大量数据时，可能会遇到内存限制的问题。可以尝试增加SSIS包的内存限制或者使用分批导出的方式来解决。
- 文件格式问题：CSV文件格式可能不适合存储超过1百万条记录。可以尝试将数据导出到其他格式，如Excel或数据库表。
针对这个问题，腾讯云提供了一系列的解决方案和产品：
- 数据库服务：腾讯云提供了云数据库 TencentDB，支持高性能、高可用的数据库服务，可以存储和处理大量数据。
- 数据仓库服务：腾讯云提供了弹性MapReduce服务 EMR，可以用于大规模数据处理和分析，支持导入导出数据到各种格式。
- 对象存储服务：腾讯云提供了对象存储服务 COS，可以存储和管理大规模的非结构化数据，支持高并发读写和数据导入导出。
- 批量数据导入导出服务：腾讯云提供了数据传输服务 DTS，可以实现不同数据源之间的数据迁移和同步，支持大规模数据的导入导出。
以上是一些可能的解决方案和腾讯云相关产品，具体选择需要根据实际需求和场景来确定。
相关·内容
我们希望再次探索使用SQL SSIS 2005导入，其中CSV文件的每行具有不同数量的列分隔。即。
假设前3行：
"1", "FirstName1", "LastName1"
"2", "FirstName2", "LastName2"
"3", "FirstName3", "LastName3"
4-5行：
"210", "Crows st", "Melbourne", "VIC"
&#
浏览 2提问于2013-02-15得票数 0
在我的SSIS包中，我有一个执行SQL任务，它应该返回多达1亿行(1亿行)。
我想将这些结果导出到多个CSV文件，其中每个文件最多有50万行。因此，如果SQL任务生成100,000,000条结果，我希望生成200个csv文件，每个文件中有50万条记录。
哪些最好的SSIS任务可以自动将结果划分为许多导出的CSV文件？
我目前正在开发一个脚本任务，但发现它不是很好的表现。我对SSIS有点陌生，所以我不熟悉所有可用的不同任务，我想知道是否还有一个可以更有效地完成这个任务。
有什么建议吗？
浏览 3提问于2020-12-09得票数 1
回答已采纳
3回答
使用ColdFusion 9.0.1，我需要将数十万条数据库记录导出到Excel XLSX或CSV (最好是XLSX)。这必须按需完成。到目前为止，我已经尝试使用cfspreadsheet，但是当以XLSX格式导出超过几千行时，它会卡住。但是，导出到XLS可以正常工作(当然有大约65,000行的限制)。
要导出这么多记录，我有哪些选择？理论上，用户可能需要导出多达一百万条记录。我也在使用SQL Server2008 R2 --有没有办法以某种方式将记录导出到文件中，然后通过CF将文件发送给用户？我有什么选择？谢谢。
浏览 1提问于2011-01-19得票数 4
回答已采纳
任务:需要将110万条记录导出到csv文件
我通过SSIS数据流加载的。
正如您所看到的，有1,100,800行从表(源)加载到FlatFile位置，这是一个CSV文件。
我的FlatFile目标源文件名现在是Test.csv当我打开csv文件时，我收到以下错误
“文件未完全加载”
现在，当我看到csv文件末尾的记录时，由于数据完整性的原因，.Sorry无法附加csv文件。
所以我只看到1048578之前的记录，但是我加载的行是1,100880，所以有一些缺少的行，我也不能手动添加它们。看到csv的末尾它不让我输入到下一行。知道为什么吗？
为了解决这个问题，我加载了一个c
浏览 4提问于2018-02-01得票数 0
回答已采纳
2回答
我想知道在SSIS中是否有一种方法可以比较没有引用键的两个csv文件(具有相同的结构)来使记录惟一。
为了让您更好地理解我的意思；在初始加载中，我们将csv文件中的数据加载到一个表中，在随后的加载中，我们将得到另一个csv文件(相同的格式)，该文件可以有不同的记录。我们应该比较表中的内容和新版本的csv文件中存在的内容，并且只加载已更改的子集。如果有新记录，则应插入该记录，如果更新，则应更新该记录，如果源中已删除记录，则应在表中将其标记为非活动记录。
现在我的问题是：
有没有任何方法来比较SSIS中的两个csv文件，而没有键使记录成为唯一的？
在没有键使记录唯一的情况下，如何比较Server中
浏览 0提问于2012-08-08得票数 0
回答已采纳
我正在尝试将字符串字典导出到文本文件，它有超过一百万条记录，如果我使用循环，导出到文本文件需要超过3分钟。
有没有办法更快地做到这一点？
问候
浏览 2提问于2009-06-18得票数 0
2回答
我从数据库中提取大量条目(超过1500万项)，目的是导出到CSV文件。在我的请求结束时，我得到的是一个包含超过1500万行的单列数据。我正在寻找一个函数来将条目分成多个列，每百万个条目。
因此，对于500万条条目，我希望有5列，每列100万条。
提前感谢！
浏览 1提问于2016-05-04得票数 1
回答已采纳
1回答
我有一个映射到Excel的XSD，其中包含超过一百万条记录。在导出到XML时，并非所有数据都是exported.This，这在excel中是一个限制。有没有一个宏可以在excel中生成超过65000行的记录？
浏览 1提问于2016-12-02得票数 0
我有一个非常大的excel数据要加载到SQL表中。对于小数据，它可以工作。但是，对于大数据(超过2000万条记录)，我会得到以下错误。
Excel to CSV :任务验证过程中存在错误。Excel错误："Excel“验证失败，返回验证状态和返回的验证状态"VS_ISBROKEN”。Excel to CSV:为“表1$”打开行集失败。检查该对象是否存在于数据库中。Excel to CSV:Error : SSIS错误代码DTS_E_OLEDBERROR。OLE错误发生了.Error代码0x80004005。
浏览 3提问于2017-12-04得票数 0
回答已采纳
我有一个根据execution.My要求返回巨大记录的存储过程，就是通过SSIS在所需的记录计数上生成多个CSV文件，直到它达到过程结束时返回的记录为止。data.For示例存储过程返回100万条记录。我想生成10个CSV文件，每file.The有100.000条记录，生成的CSV文件的数量应该是基于我们选择的每个csv file.What上的计数，这是通过SSIS实现这一点的最好方法吗？我不知道如何使用循环来实现这一点。
浏览 2提问于2015-08-05得票数 0
回答已采纳
我很快就需要将数百万条记录导入到生产中使用的单个Server数据库表中。要导入的数据将以大约40个csv文件的形式提供，每个文件都有数十万条记录。
对于每一行，一些列值由csv文件提供，而其他行则需要我必须指定的值。
我正试图决定使用哪种工具。我注意到附带了导入导出向导。这个工具适合这类工作吗？或者我应该用SSIS代替？
我还有其他一些问题：
应该在操作期间“锁定”表吗？
是否应该在生产表的副本中执行插入操作，然后一旦验证了操作，是否应该将该副本作为生产表的正式版本？
浏览 3提问于2020-07-12得票数 0
我在SSIS 14中有以下工作流程：
每个源都有超过百万条记录，我需要在每周每天执行这个工作流程。
我的问题是:我如何告诉SSIS我只想提取表目标中不存在的记录？就像一个
INSERT INTO TABLEA
SELET * FROM TABLEB
EXCEPT SELECT * FROM TABLEA
非常感谢！
浏览 1提问于2017-03-29得票数 1
3回答
如何处理超大型数据库
、、、、
我有一个DataTable，里面可以有成千上万条记录。这是一个巨大的内存开销，所以我添加了一个功能，用户只能在我的应用程序中可视化前200条记录，并可以将其余的结果导出到CSV文件中。
但是，为了导出到CSV文件，我使用的方法是通过将DataTable的内容转换为CSV文件来实现的。由于我在DataTable中可能有超过100K的记录，我认为将所有记录都放入DataTable并映射到CSV文件中会占用太多内存。推荐的方法是什么？这是我的CSV映射代码：
StringBuilder builder = new StringBuilder();
IEnumerable&l
浏览 0提问于2013-02-22得票数 1
回答已采纳
我有一个SQL Server 2016 on-Promises有三张桌子。我总共有超过2000万条记录。我要把他们转到Azure Synapse去。
我已经创建了ssis包来传输数据，但我正在寻找成本更低的方法。我只转移了20000行，花了我大约250美元。
有什么工具或解决方案可以解决这个问题吗？
浏览 8提问于2020-02-05得票数 0
回答已采纳
我需要将70万条记录从Server 2008 R2表导出到2002-2003格式的Microsoft数据库。我正在使用Server导入和导出向导。目前这需要超过2.5个小时。因为这一切都发生在一个高安全的服务器上，所以我在选择工具时受到限制。我可以导出到文本文件，但这会丢失一些格式。
我需要在Access或Excel中保存数据库中的一个表的副本，并保留格式。导出到text/CSV是不可用的，因为其中一些字段可能有逗号。另外，我不能使用Excel作为目标，因为2008年R2不支持64K行的模式
有什么办法加快我们的速度吗？
浏览 0提问于2016-11-14得票数 0
回答已采纳
5回答
是否有人能够通过SSIS将可变记录长度文本文件(CSV)导入SQL Server？
我一次又一次地尝试使用SSIS将CSV文件放入SQL Server表中，其中输入文件的记录长度各不相同。对于这个问题，两个不同的记录长度分别为63和326字节。所有记录长度将导入到相同的326字节宽度表中。
有100多万条记录要导入。
我无法控制导入文件的创建。
我必须使用SSIS。
我已与微软确认，这已被报告为错误。我已经尝试了几种变通方法。大多数情况下，我试图编写自定义代码来拦截记录，但我似乎无法让它像我想要的那样工作。
浏览 8提问于2008-09-18得票数 4
回答已采纳
1回答
我使用SSIS和Microsoft动态CRM，然后使用CRMSDK将100万条记录数据迁移到CRM。
我的代码在web服务中使用多线程以获得更好的性能，但我认为很难跟踪和控制。
所以。我有一些问题，请看下面的图片
数据流我的SSIS
我以这样的等级查询我的数据。
选择*，排名()高于(.)从StgTable发出，其中状态=“就绪”
然后我用秩号控制流，例如，如果秩=1，然后调用1=2，然后调用Web服务2
所以..。我的问题是，当我同时执行我的所有Web服务时，是否使用这个SSIS？
(我的目标是我想同时运行超过1行)
谢谢。
浏览 2提问于2016-01-18得票数 0
1回答
我有一个SSIS包，它导入一个扁平的CSV文件，文件中有大约20万条记录。我已经用帐户号的主唯一键设置了数据导入的表。源数据中不应该有任何副本(应用程序控制-超出我的影响)
但是CSV中有一个重复行，但是当我添加主键时，它重定向了7k行.这些不是重复的行，它只是无缘无故地重定向负载？
如果我手动删除单个重复行，它将完美地工作。数据或文件没有什么特别之处，它应该只导入数据并重定向错误行。
浏览 3提问于2017-12-07得票数 0
回答已采纳
1回答
我有超过27M记录的数据，我试图写成.csv格式。
然而，当我运行我的代码时，除了110万条记录外，我正在丢失所有记录。如何在不丢失数据的情况下将所有27M记录写入.csv格式？
write.csv(DT, "file.csv")
我希望将所有.csv格式的数据上传到一个单元模式中，但是在运行我的过程后，我再次看到我的模式中只有110万条记录。有什么解决办法吗？
浏览 0提问于2019-05-24得票数 0
回答已采纳
在SQL Server Integration Services (SSIS)中，可以设置到可容纳数百万条记录的平面文件的连接，并将这些数据推送到SQL DB。此外，可以通过引用和使用Microsoft.SqlServer.Dts.Runtime名称空间从C#应用程序调用此流程。
一个包含数百万条记录的平面文件最好与SSIS一起运行，还是集体“您”更喜欢有多个工作线程的c#应用程序(一个线程读取变量并将行添加到变量，另一个线程将行从变量写入数据库)和管理这些线程的“母”类？( dev box有两个cpu)
我看到这个数据()指出，对于一个有一百万行的平面文件，SSIS是最快的：
Process
浏览 0提问于2008-09-28得票数 2
回答已采纳
1回答
我正在尝试使用heroku中的DelayedJob和电子表格gem ()将大约30万条记录导出到XLS。不幸的是，我需要遍历所有记录，因为有些字段是从其他相关表中提取的。
导出到CSV可以很好地工作(尽管它需要很多时间)，并且可以直接将每条记录写入S3，因为我在遍历它们。
问题是，使用电子表格gem，我似乎不能有效地导出这些记录的XLS报告，因为这个过程将非常快地消耗大量内存。
所以问题是：
您将如何从数据库导出大量数据到将托管在S3上的XLS文件，考虑到1.您不能写入heroku上的文件系统和2.您不应该超过512MB的内存配额？
浏览 1提问于2012-01-30得票数 1
回答已采纳
我有一个包含超过3200万条记录的数据库，我必须将其从SQL Server迁移到Sqlite。
我已经在本文的帮助下尝试过SSIS (SQL Server Integration Services)
但是这个过程非常非常慢，我该如何迁移这些数据呢？
浏览 0提问于2012-06-09得票数 12
回答已采纳
1回答
我的配置单元表有将近100万条记录，我想将这些记录导出到csv文件中，这样每个文件中只有100条或更少的记录。
请分享您对使用Sqoop实现它的想法。
浏览 4提问于2015-11-13得票数 0
1回答
因此，我已经编写了一个脚本，该脚本从具有超过150万行的csv文件中导入数据到mysql表中，它将扫描CSV，然后对每个CSV行进行扫描：
在表中搜索以检查记录是否已经存在。
如果存在，请更新记录。
如果没有，则插入新的。
然后转到CSV中的下一行，并再次执行上述步骤。
问题是，将导入数据的表也有150万条记录，这使得导入数据的速度太慢。我试过剧本，看到：
如果将数据导入空表，则它可以每分钟导入500行数据。
如果将数据导入到该1.5m记录表，它只能每分钟导入30行数据。
有什么办法使导入进程更快吗？
浏览 1提问于2017-01-13得票数 1
回答已采纳
2回答
我试图删除有180万条记录的文件中相同的行，并创建一个新文件。使用以下命令：
sort tmp1.csv | uniq -c | sort -nr > tmp2.csv
运行脚本将创建一个包含以下信息的新文件sort.exe.stackdump：
"Exception: STATUS_ACCESS_VIOLATION at rip=00180144805
..
..
program=C:\cygwin64\bin\sort.exe, pid 6136, thread main
cs=0033 ds=002B es=002B fs=0053 gs=002B ss=002B"
浏览 8提问于2013-08-05得票数 0
回答已采纳
我在Heroku上尝试导出到csv 20万条记录时内存不足。这并不是太多的记录，所以我认为活动记录是以低效的方式获取数据。我该如何解决这个问题？
浏览 3提问于2015-09-09得票数 0
我需要将solr数据导出到EXCEL或CSV。我有数百万条记录的SOLR代码，我需要一种方法将它们导出到CSV/EXCEL的某个查询。此外，我还需要控制EXCEL中的标题。
你有什么建议？有没有第三方API可以做到这一点？我应该使用csv格式，然后提取它们，然后操作CSV吗？
浏览 3提问于2017-10-01得票数 6
1回答
我在通过SSIS将一个大型数据集(500k+)导出到Excel时遇到了问题，在那里输出文件将导出0行。在说我不应该把那么多记录导出到Excel之前，让我声明我知道，而且通常不会。会计不想要CSV，也不愿意在Excel中打开CSV。
使用Visual 2012 SSDT，下面是所涉及的组件。
执行SQL ->创建带有头的空文件。
数据流任务->
OLE DB源-> SQL查询
Excel目标
当包运行时，您可以看到从源流到目标的记录。包完成时没有出错，但是打开文件时，它是空的。里面唯一的东西就是头。
如果我选择了前1000条记录并导出到Exc
浏览 1提问于2018-02-12得票数 0
4回答
我有一些SSIS包，这些包接受来自供应商的CSV文件，并将它们放到本地数据库中。我遇到的问题是，有时供应商会添加或删除列，而我们没有时间在下一次运行之前更新包，这会导致SSIS包abend。我想以某种方式阻止这一切的发生。
我试着逐行读取CSV文件，去掉新列，然后使用insert语句将修改后的行放入表中，但这比我们当前的过程花费的时间长得多( CSV文件可能有数千条或数十万条记录)。
我已经开始研究如何使用ADO连接，但是我的本地机器既没有ACE也没有JET提供程序，我认为包被部署的服务器也缺少这些提供程序(我怀疑我是否能够将它们安装到部署服务器上)。
我不知道如何才能加载表，并能够忽略新添加
浏览 5提问于2017-12-18得票数 1
回答已采纳
这就是我想要实现的目标。循环遍历超过100万条记录的数据集，并在导出到C驱动器的文本文件中创建数据转储。
我正在遍历一个包含超过一百万条记录的数据集。下面是循环中的内容
我在循环中使用了StringBuilder。
myString.Append(ds.tables[0](i)(0)); <-- each datarow is not more than 10 char long.
它抛出一个错误，指出内存不足。我有12 gb的内存。
我该如何着手解决这个问题？
浏览 0提问于2015-03-10得票数 3
我有一百万条记录，我想将这些数据导出到CSV中。我使用find_each方法来获取记录。但是获取数据和下载CSV也需要花费太多的时间。我无法在应用程序中执行其他活动，因为它占用了更多的内存。它只是显示我在浏览器中加载页面。
我在控制器中编写了以下代码
def export_csv
require 'csv'
lines = []
csv_vals = []
User.where(status:ACTIVE).order('created_atdesc').find_each(batch_s
浏览 1提问于2015-11-27得票数 3
我正在写一个脚本，将写入大量的数据到一个.csv文件。为了使感兴趣的用户之间的数据传输更容易，我想对每个文件的行数进行限制。例如，我希望将第一百万条记录写入some_csv_file_1.csv，并将第二百万条记录写入some_csv_file_2.csv，依此类推，直到所有记录都写入。
我已经尝试让以下内容正常工作：
import csv
csv_record_counter = 1
csv_file_counter = 1
while csv_record_counter <= 1000000:
with open('some_csv_file_' + st
浏览 4提问于2017-11-29得票数 3
1回答
我想将hive表转换成SQL insert dump，这样我就可以在我的本地MySQL数据库中使用它，表中包含超过3000万条记录试图通过导入CSV来实现，但由于CSV记录限制等原因而没有成功。
浏览 15提问于2019-02-21得票数 0
1回答
我试图在csv中迭代超过500万条记录。我被困在下面的循环中。
trajectory = 0
for index, row in df.iterrows():
if row['trajectory'] == 'NaN':
trajectory = trajectory +1
df.loc[index, 'classification']= trajectory
else:
df.loc[index, 'classification'] = trajectory
当我在
浏览 1提问于2017-12-10得票数 2
回答已采纳
1回答
我有一个很大的表(1800万条记录)，我正在使用以下批量更新片段对其进行更新：
SET NOCOUNT ON;
DECLARE @rows INT, @count INT, @message VARCHAR(100);
SET @rows = 1;
SET @count = 0;
WHILE @rows > 0
BEGIN
BEGIN TRAN
UPDATE TOP 100000 tblName
SET col_name = 'xxxxxx'
SET @rows = @@ROWCOUNT
浏览 1提问于2021-10-18得票数 0
3回答
我正在尝试优化一个SSIS包，该包从每天获得数百万条新记录的非常大的事务表中检索数据。数据是从安装Server 2008标准版的数百个字段服务器上收集的。因此不能使用CDC，因为它是企业特性。计划如下：
归档列，smallint - 0=new (默认约束)，1=archived，2=updated (触发器)
默认约束Archive=0
更新触发器Archive=2
存档索引，时间戳
然后，SSIS包将获取Archive=0中的所有记录，将这些记录插入目标，然后获取Archive=2所在的所有记录，并在目标中更新它们。
我需要帮助的是，在完成SSIS过程编写新行或更新行之后，将Archive
浏览 0提问于2014-11-26得票数 2
回答已采纳
我对Microsoft数据库(表)非常陌生，并试图将Access表转换为我可以用Python作为熊猫数据框架的格式。
现在的情况是，数据库大约有500万行，每次我试图导出到excel或XML时，它只能转换前100万行。我想知道两件事：
如果存在一种格式，我是否可以不受行限制地导出所有行?如果不可能，那么是否有一种方法可以将每100万行的访问数据库分解成单独的文件，并且我可以将它们导出到不同的excel/xml文件(复制到剪贴板将超过这里的限制)？
任何想法都欢迎！
更新:导出到txt文件为我工作，可以做1000万条记录。避免产生转换错误的方法是使用逗号"，“作为分隔符。谢谢大家！
浏览 7提问于2022-08-31得票数 0
回答已采纳
1回答
我有一个问题，关于如何使用SSIS将多个表导出到.csv。我需要将大约七个表从Sql导出到.csv，为此，我目前使用数据导入/导出向导。但是我需要一些更自动化的东西，例如，使用SSIS，所以我在SSIS中创建了一个包，但是我只能导出一个表，因为在选择表或视图时，我只能选择一个表。因此，我的问题是如何使用SSIS动态地将我的七个表导出到.csv。
这是我的包裹：
我希望你能帮助我。
谢谢
浏览 3提问于2021-03-30得票数 0
回答已采纳
1回答
我正在试图操作导入datatable中的大量数据集(1000万条记录)。我不认为datatable是处理内存中大量数据的最有效方法。有人有更好的方法吗？我要做的是获取CSV文件的内容，操作一些数据，并将结果再导出到另一个CSV文件中。
蒂亚，保罗
浏览 2提问于2015-07-29得票数 1
回答已采纳
我想知道Stack overflow成员根据他们的经验和理解对以下场景的想法。
我们得到2000-3000万条记录作为输入(输入通常是csv或xls文件，如果有帮助，可以上传到DB )，我们需要处理这些记录并生成不同的文件，其中包括输出文件和错误文件。因此，根据某些业务逻辑，这些记录被移动到输出或错误文件中。
目前，该流程使用SSIS包和一些ETL工具来执行该任务。这些pkgs和ETL工具本身需要5到15分钟来处理，具体取决于输入大小。
有输入的数量和SSIS包的数量以及它们的ETL程序。
我们想用一些.NET应用程序替换那些SSIS包和ETL程序。我们关心的是这些.net应用程序的速度和性能
浏览 0提问于2017-10-06得票数 4
我有一个.xlsx格式的excel文件提供。给我发送文件的人说，文件中包含了超过120万条记录。然而，当我打开这个文件时，我看到了100多万条记录。我被指示在记事本中打开文件，另存为.txt文件，然后我将能够查看所有1.2M的记录。
这对于.xlsx文件是可能的吗？我做了一些研究，指出这对于.csv文件是可能的，但我想知道我是否需要请求一个实际上包含所有记录的.csv文件或.txt文件。
提前感谢您的帮助。
浏览 2提问于2013-10-01得票数 1
我正在尝试用Python将数据从SQL Server插入到Snowflake表中。它通常可以工作，但如果我想插入更大的数据块，它会给我一个错误： snowflake连接器SQL编译错误:超过了列表中的最大表达式数，预计最多为16,384个 我使用的是Python的雪花连接器。所以，如果你想一次插入16384行，它是有效的。我的表有超过一百万条记录。我不想使用csv文件。
浏览 23提问于2020-06-24得票数 1
我们将csv文件从Angular上传到Spring boot 2.x应用程序，其中包含大约100万条记录，间隔超过20分钟后，这100万条记录正在服务器中处理。将文件从Angular加载到Spring boot的csv文件请求需要更多时间，大约需要20分钟才能收到spring boot应用程序中的文件。
application.yml文件中的配置
servlet: multipart: enabled: true max-file-size: 200MB max-request-size: 200MB
你能在这个问题上帮个忙吗？
浏览 12提问于2020-08-02得票数 0
我正在开发一个应用程序，其中在FTP上创建的新文件将直接导入到DB中，并且根据该文件的内容，我必须通过我的开发语言执行操作。正在创建的文件是一个.csv文件。
现在的问题是，CSV的总大小是否会影响性能？因为在某些情况下，CSV文件将包含超过100K行，并根据需要将所有行都插入到强制位置。将以大约10-15分钟的时间间隔创建三个这样的文件。
预计数据量每天至少为4000万条记录。我对此有强烈的怀疑，这是否也会影响性能？然而，据我所知，数据库大小应该不会影响性能，但查询，我仍然需要刷新数据在某个时间间隔，或者我需要照顾任何事情，我甚至没有提到这里？
我的应用程序流程是，一个模块将继续读取这些文件
浏览 0提问于2015-07-29得票数 0
1回答
我正在尝试将大约700万条记录从平面文件加载到数据库中。我需要对这些记录进行排序以进行合并。我在DFT(数据流任务)中的排序任务能够读取700万行作为输入，但只能输出90k行。SSIS中可以排序的行数是否有限制？如果是，有哪些可能的替代方案。
浏览 0提问于2017-05-22得票数 2
1回答
动态文本限定符
、、
我从SQL Server2008导出到.csv，这样人们就可以很容易地在Excel中使用它。我正在使用SSIS 2008。否则，我将只导出到Excel。它大约有50列，500K行，所以有25M条记录。问题是大约有40条记录的数据中有一个, (记录而不是列)我添加了文本限定符以避免我的列被弄乱，但这会给我的输出文件增加50M的"标记或大约30 MB (20%)。我知道我可以在SQL Server2008中做一些替换，但我觉得这会让事情变慢很多。
有没有办法只将文本限定符添加到带有,的项目
尽管考虑到这一点，它仍然必须检查每一条记录，所以看起来我要么放慢速度，要么用185MB的Excel文
浏览 0提问于2015-11-05得票数 0
我当前正在尝试使用SSIS将大型数据集导出到Excel目标，但是我的其中一列遇到的问题是，其中的记录超过了允许导出的最大字符数。目前使用数据类型DT_WSTR将其设置为255。
为了给你一些背景知识，我不得不使用我的一些源列的数据转换工具来从String [DT_STR]转换为[DT_WSTR]，这部分解决了我的问题，允许我导出到excel，除了那些超过字符限制的记录。现在，我刚刚设置了一个多播，并重定向了这些记录。
有什么办法可以绕过这个问题吗？
浏览 1提问于2011-07-28得票数 1
回答已采纳
我有一个包含1000多万条记录的大型Oracle表。由于下载限制，我需要将oracle表通过set by set导出到CSV。有没有办法以块为单位下载表格？注意:我使用的是Oracle 11g和Oracle SQL Developer
浏览 27提问于2021-11-27得票数 0
1回答
SSIS新手可以帮助别人一次循环3000条记录。我有一个包含百万条记录的表格。我想一次获得3000条记录，并加载到新的表中。下一次我在SSIS中运行"FOR Loop Task“时，它需要再循环3000条记录。
浏览 0提问于2018-05-12得票数 2
1回答
我必须设计一个表格，其中记录将以两种方式插入。
批量从批处理进程中从分隔的文本文件插入在短突发中的2300万行之间。稍后，相同的记录还需要对状态进行大容量更新。从“待定”到“完成”。
通过存储过程，从LOB应用程序中插入一行，比如每天1000行。这些记录中有些不需要状态更新，有些则需要更新。
进程1已经到位(文本文件用作外部表。(通过存储过程插入/更新)，但我们愿意重新设计这一点，因为我们目前有大约200万行，但我们预计，从批处理到350万条记录，再加上应用程序带来的350万条记录，每年的大容量增长将达到3000万条。需要存储7年的数据。数据将使用带有分页的Id、类型和日期范围(例如当前年份)
浏览 0提问于2014-08-05得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
