我必须从google-bigquery中提取数据并将其加载到MS SQL服务器。我正在使用MS SSIS,并使用Simba ODBC Driver通过SSIS连接。它将数据提取为LOB,并因此将其转换为逐行提取,而不是批处理,因此可能会减慢提取过程。有没有办法将数据提取为常规的字符/整型格式?
发布于 2021-10-09 10:13:52
当我试图将数据从谷歌BigQuery拉到MS SQL时,我也遇到了同样的问题!您所说的完全正确,因为有LOB列,所以要插入的数据是逐行插入的,而不是成批插入的!如果您使用的是SIMBA,就像您提到的那样,解决此问题的简单方法是转到您的ODBC驱动程序设置(32位或64位),选择Google Bigquery DSN,然后单击配置。它将打开SIMBA ODBC设置,然后请转到您的高级设置,您将找到一个文本框输入“默认字符串列长度”,这将是默认设置为16783,您需要将此长度降低到某处,例如200个字符(同样,它将取决于字符串数据类型列在您的情况下的最大长度),然后您可以单击on并测试连接。这对我很有效,因为当我根据自己的需求减少列长度时,它在没有LOB的情况下加载表,速度提高了15倍。
提示:
希望这能有所帮助!谢谢!
https://stackoverflow.com/questions/59000427
复制相似问题