开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >SSIS -通过并行处理将多个文本文件中的数据加载到单个表中

问SSIS -通过并行处理将多个文本文件中的数据加载到单个表中
EN

Stack Overflow用户

提问于 2013-09-29 07:13:21

回答 1查看 2.8K关注 0票数 0

我们有超过1000个平面文件，每个文件包含大约一百万条记录。我们需要将所有这些数据插入到数据库上的单个表中，并且该表不能被分区。我们正在尝试使用SSIS实现并行处理，我们希望通过SSIS运行多个大容量插入进程，以将数据从平面文件同时插入到一个表中。从平面文件插入的顺序也无关紧要。我们有一个带有MULTIPLEFLATFILE连接管理器的SSIS包，它有一个平面文件任务和一个OLE DB目标任务，并选中了'Fast load‘和表锁选项。这样，我们可以看到只有一个SPID用于将数据插入到表中。我们希望至少有5个SPID/进程同时/并行插入到表中。请在这方面帮助我。

谢谢

sql-server-2008-r2

parallel-processing

EN

回答 1

Stack Overflow用户

发布于 2013-10-01 15:16:44

要获得最高的插入性能，您需要在此处使用OLE DB目标，并指定Fast Load选项(在下拉列表中)，然后选中Table Lock。这将以最快的速度将数据放入表中。但是，您现在将被迫进行串行加载。

要运行并行加载，您需要将每个线程加载到其自己的表中，然后在最后让一个执行sql任务将所有数据合并到最终目的地。本质上，合并分区背后的逻辑是相同的，只是您将移动数据两次，而不是简单的元数据操作。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/19075457

复制

相关文章

mysql单个表拆分成多个表

一.横向拆分 create table 新表的名称 select * from 被拆分的表 order by id limit int1,int2 int1为其实位置,int2为几条注意:这样拆分后主键会失效手动让其主键生效即可所有要执行 alter table 新表的名称 modify 主键字段 int primary key auto_increment 二.纵向拆分 create table 新表的名称 select 需保留的字段 from 被拆分的表拆分后原表都要保存主要是把经常查的数据

小小咸鱼YwY

2020/06/19

3.8K0

Java 中的并行处理

java 编程算法

再简化一点的理解就是: 先拆分 --> 在同时进行计算 --> 最后“归纳”

张云飞Vir

2021/07/16

1K0

从Mysql备份中恢复单个表

云数据库 SQL Server sql 数据库数据处理

因为云平台的备份是把库中所有的表都打包成一个 .sql文件，然而这一个.sql文件大约有20G，现阶段的方法是把.sql文件source到数据库数据处理机器上，然后再根据需求提出需要的表。每次这个操作都需要大约2个多小时，太耗时。闲暇时间，Google到了一个大神写的几行代码，经过实验确实很好用。下面就分享出来，仅供参考。思路(原谅我也理解了好一会儿)：主要使用sed命令来实现，加上-n,-e参数把打印的结果追加到一个文件中，就得到了想要的表的内容。一般情况下我们使用sed打印指定行的内容是： [ro

行者

2018/03/26

4.6K0

java数据导出为excel表格_将数据库表中数据导出到文本文件

数据库 https sql 网络安全 java

公司开发新系统，需要创建几百个数据库表，建表的规则已经写好放到Excel中，如果手动创建的话需要占用较长的时间去做，而且字段类型的规则又被放到了另一张表，如果手动去一个一个去匹配就很麻烦，所以我先把两张表都导入数据库中，建表的数据如下：

全栈程序员站长

2022/10/29

3.2K0

java数据导出为excel表格_将数据库表中数据导出到文本文件

TPU中的指令并行和数据并行

架构设计单片机

TPU V1定义了一套自己的指令集，虽然在介绍处理器时，往往会先谈指令集架构，但此处却把它放到了最后，这主要基于两个原因；其一在于个人的对处理器不太了解，这也是主要原因，其二在于公开资料中并没有TPU指令集的细节和TPU微架构的描述。从数据流和计算单元出发对TPU进行分析固然容易很多，但如果想理解TPU的设计思想，依旧需要回到其架构设计上进行分析。这一部分内容有些超出了我现有的能力，不当之处还请多多指正。

sea-wind

2019/07/31

2K0

python中处理多个异常

面向对象编程

我们把多个明确的异常归类到一起，用同一种方式来进行处理。我们把多个异常写到同一个except中用小括号括起来，中间的异常用逗号隔开。

刘金玉编程

2019/09/19

4.2K0

「数据ETL」从数据民工到数据白领蜕变之旅（六）-将Python的能力嫁接到SSIS中

python 数据库 sql .net

python的确是一门非常优秀的编程语言，特别是在数据领域，网络爬虫、数据处理、分析等方面都是非常强劲。

Excel催化剂

2021/08/20

3.1K0

「数据ETL」从数据民工到数据白领蜕变之旅（六）-将Python的能力嫁接到SSIS中

问与答118：如何使用VBA将多个工作表数据复制到PPT中？

遍历每个工作表，如果工作表的单元格S1中的值为“1”，则将该工作表的“Print_Area”（打印区域）复制并粘贴到一张空白幻灯片中。

fanjy

2021/05/07

5.1K1

Taro中如何将store加载到项目中

react app store 函数

上面文章我们了解了如何创建store，最后导出时，在函数内部创建了store，所以导出时，函数需要调用，然后通过provicer组件将其注入到项目中。

挥刀北上

2022/05/11

7710

Taro中如何将store加载到项目中

15. 在错误分析中并行多个想法

编程算法机器学习

你的团队有以下几个想法，来改进你的猫咪分类器: • 解决狗被错误分为猫咪的问题。 • 解决“大型猫科动物(greast cats)”（狮子或豹子等）被错认家猫（宠物）的问题 • 提高系统在模糊(Blurry)图像上的表现 • … 你可以并行并且有效的评估这些想法。我通常会创建一个表格，查看100个分类错误的开发集样本并记录在表格上，同时进行注释。用有小开发集里的4个错误分类样本来说明这个过程，你的表格大概将会是下面的样子:

YingJoy_

2018/05/09

2.9K2

15. 在错误分析中并行多个想法

15. 在错误分析中并行多个想法

你的团队有以下几个想法，来改进你的猫咪分类器: • 解决狗被错误分为猫咪的问题。 • 解决“大型猫科动物(greast cats)”（狮子或豹子等）被错认家猫（宠物）的问题 • 提高系统在模糊(

YingJoy_

2018/05/30

1.3K0

Octopress中处理加网分享问题

作为一个以内容为中心的网站，在文章结尾增加社会化分享按钮是一种标配，使用Octopress也不例外，本博客选用了加网的社会化分享按钮。开始的时候一切顺利，但是后来出现了一点小瑕疵，具体的情况如下图

技术小黑屋

2018/09/04

1.7K0

Octopress中处理加网分享问题

和我从头学SQL Server Integration Services

sql server ide sql

本人一个IT屌丝男，一直在ITPRO的圈子里面混着，从来不是一个程序猿，水平就是开开关关windows的水平。昏昏然，成了一个油腻的大叔，但我的内心和业务水平还是停留在26岁啊! 周围的同事好友一个个都一日千里的学习进步着，实在看不下去自己了，决定整理整理，给自己，给儿子摆一个努力学习的POSE出来。

盆盆

2019/04/24

3.3K0

和我从头学SQL Server Integration Services

mysql数据库（6）：将数据装入表中

数据库云数据库 SQL Server sql

mysql> INSERT INTO pet -> VALUES('hanhan','川川','hh','f','2021-7-21',NULL);

川川菜鸟

2021/10/18

3.1K0

在Windows上安装PHP（将PHP加载到Apache中）

apache php windows

第一步：在 windows.php.net 下载软件包第二步：解压压缩包，将解压后的目录放到指定目录并重命名第三步：创建PHP配置文件，修改Apache配置文件（httpd.conf），将PHP加载到Apache中 1. 在官网下载Windows上用的安装包 ---- https://windows.php.net 2. 解压压缩包，将目录放到指定目录并重命名为 7.0 ---- php-7.0.33-Win32-VC14-x64 —> 7.0 3. 创建PHP配置文件，将以下内容添加到A

很酷的站长

2023/02/17

1.7K0

在Windows上安装PHP（将PHP加载到Apache中）

PHP将数据导出Excel表中（投机型）

　　因为ms word和excel的文档都支持html文本格式，因此我们可以基于这个原理采用html文本格式进行数据的输出。

那一叶随风

2018/08/22

1.6K0

PHP将数据导出Excel表中（投机型）

高效处理MySQL表中重复数据的方法

mysql 连接数据索引性能

在MySQL数据库中，当我们面对一个拥有大量数据的表，并且需要删除重复数据时，我们需要采用高效的方法来处理。今天了我们正好有张表，大概3千万条数据，重复数据有近2千多万条，本文将介绍几种方法，帮助您删除MySQL表中重复的数据中。

修己xj

2023/08/25

4230

高效处理MySQL表中重复数据的方法

使用Python将多个工作表保存到一个Excel文件中

本文讲解使用Python pandas将多个工作表保存到一个相同的Excel文件中。按照惯例，我们使用df代表数据框架，pd代表pandas。

fanjy

2021/11/10

6.1K0

用PHP将图片以流的形式加载到image标签中

很多情况下，如果为了网站资源案例考虑，我们就不能直接暴露资源的地址到页面中去，以防被人用工具去扫描盗用资源文件下的文件，在这里我们就可以考虑以前端页面请求后端程序，后端程序加以验证之后，以流的方式将资源输出，这样就会安全多了。

Sindsun

2019/12/06

1.7K0

「数据ETL」从数据民工到数据白领蜕变之旅（七）-将Excel(PowerQuery+VBA)的能力嫁接到SSIS中

vba .net https 网络安全数据处理

在PowerQuery的数据处理中，有相当多的一些功能使用起来非常方便，对应于企业级的SSIS，反而缺少了这些的灵活性，真正要完全使用SSIS来实现，非常繁琐。如PowerQuery里的逆透视功能，行列转置功能，标题行提升功能等。

Excel催化剂

2021/08/20

4.6K0

「数据ETL」从数据民工到数据白领蜕变之旅（七）-将Excel(PowerQuery+VBA)的能力嫁接到SSIS中

相似问题

将多个文件加载到ssis中的多个表中

11

使用SSIS将数据加载到SQL Server中的多个表

110

使用SSIS将数据从oracle加载到多个表中的SQL中

20

将多个(并行)文件上载到单个版本

128

SSIS中的并行处理

12

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例