腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >Azure数据工厂创建与Power查询不兼容的.CSV

问Azure数据工厂创建与Power查询不兼容的.CSV
EN

Stack Overflow用户

提问于 2022-09-21 05:05:47

回答 1查看 89关注 0票数 0

我有一个管道，它从Azure SQL Server上的存储过程创建数据集。

然后，我想在工厂中的power查询步骤中操作它，但是它无法在power查询编辑器中加载此错误。

它打开JSON文件(我想是为了纠正它)，但是我看不到它有什么问题。

如果我从blob下载该摘录并将其作为.csv再次上传，那么它可以正常工作。

我唯一能找到的区别是，如果我将blob直接上传到存储，那么blob的文件信息如下所示：

如果让ADF在blob存储中创建.csv，文件信息如下所示：

因此，我的假设是，在创建.csv文件的ADF过程中，某个地方出现了问题，而Power查询模块无法将其识别为有效的文件。

管道的所有其他部分(数据流、其他数据集)都能很好地识别它，而“预览数据”正确地显示出来。只是PQ看不懂。

有什么线索吗？提亚

azure-data-factory-2

回答 1

Stack Overflow用户

发布于 2022-09-21 22:31:35

我复制了同样的。当数据作为csv文件从SQL数据库复制到BLOB时，Power query无法读取。此外，Power query不支持json文件。但是当我试图下载csv文件并重新上传时，它成功了。以下是克服这一问题的步骤。

当我试图上传Blob中的文件并在power查询中为该文件创建数据集时，

将从connection/Store导入模式。它迫使我们从连接/存储或示例文件中导入模式。none在这里没有选择。

当数据从sql复制到Azure时，

和使用blob存储的dataset默认情况下没有导入模式。

power查询活动一旦导入模式，就会运行successfully.。

在dataset中导入模式之前的输出

在dataset中导入模式后的

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/73801253

复制

s3 aws 临时授权

aws

https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/userguide/AuthUsingTempSessionToken.html

周杰伦本人

2022/10/25

1.2K0

AWS S3 学习小结

https 网络安全编程算法

1.首先，这个是AWS的开发资源使用文档：AWS开发文档，AWS官网 – S3教程

全栈程序员站长

2022/11/03

1.8K0

AWS CPP S3访问COS

对象存储

COS是完全兼容AWS S3的，项目中经常遇到客户直接使用AWS S3的相关SDK，来访问COS。

ictfox

2021/12/16

1.1K0

aws s3 java SDK使用[通俗易懂]

https java 网络安全

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/179078.html原文链接：https://javaforall.cn

全栈程序员站长

2022/09/27

1.8K0

AWS S3 使用 travis 编译的时候提示错误 Aws::S3::Errors::PermanentRedirect

https 网络安全打包存储

这是因为在我们的配置文件下 travis 将会把数据存储到 S3 的 us-east-2 存储区。

HoneyMoose

2020/12/22

6220

AWS S3 使用 travis 编译的时候提示错误 Aws::S3::Errors::PermanentRedirect

AWS CLI使用s3

jenkins access 存储 html

aws CLI是什么东西，暂且先不去了解，目前的需求是s3. 我在Jenkins上创建一个bucket，然后申请access_key，然后就可以使用s3来存储数据了。也就是说，s3就是一个网盘。 1.安装CLI 文档：http://docs.aws.amazon.com/cli/latest/userguide/installing.html $ curl "https://s3.amazonaws.com/aws-cli/awscli-bundle.zip" -o "awscli-bundle.zip"

Ryan-Miao

2018/03/13

1.9K0

aws lambda python 上传s3

serverless

代码编写 Code writing 编写lambda函数 Write lambda functions 主要功能是查询数据库,在本地生成test.csv,而后上传至s3://test-bucket-dev桶,bthlt目录下. test.csv is generated locally and uploaded to s3://test-bucket-dev bucket,bthlt path. import pymysql import logging import boto3 from botocore

葫芦

2021/12/20

2.2K1

AWS S3 bucket 的 ACL 控制

aws ls object 配置

https://www.ossez.com/t/aws-s3-bucket-acl/14175

HoneyMoose

2022/11/02

4710

What is AWS S3 and Why to use it?

access 网站数据加密服务

AWS S3 is an object-based serverless storage service by Amazon web services which is much faster than hard drive file systems and block storage approaches to save data. Serverless means the storage is hosted on the cloud where you don’t have to configure the server with storage space restriction, it gets expanded dynamically with usage.

用户4822892

2020/01/22

6010

AWS S3 对象存储攻防

文件存储

文章来源：火线Zone社区，链接：https://zone.huoxian.cn/d/907-aws-s3

火线安全

2022/03/01

3.5K0

AWS CloudFront CDN + S3 CORS 跨域访问的问题

缓存 dns https http 网络安全

在研究 https://observablehq.com/ 的载入数据的时候，我们会发现如果你数据存在 S3 上使用 CloudFront 作为 CDN 的时候，你会发现数据库载入不进去。

HoneyMoose

2020/04/21

4.7K0

基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse

数据湖数据库存储 apache sql

数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍，它们需要访问数据仓库之外的大量信息。

ApacheHudi

2022/12/09

1.6K0

基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse

选择文件选择文件夹

jquery ui 网站 https java 网络安全

if (string.IsNullOrEmpty(folderInitialDirectory)) { folderInitialDirectory = FileAndFolderOperation.Instance.GetUserDocumentFolder(); }

全栈程序员站长

2022/09/20

1.7K0

如何使用goGetBucket扫描和发现AWS S3 Bucket

aws 工具开发权限域名

goGetBucket是一款针对AWS S3 Bucket的渗透测试与安全研究工具，在该工具的帮助下，广大研究人员可以快速扫描和发现AWS S3 Bucket。

FB客服

2023/08/08

2500

AWS 上的云原生 Jenkins

jenkins 容器镜像服务 node.js 容器 kubernetes

我们使用 Jenkins 搭建持续交付流水线，和其他很多团队一样，这些年我们围绕 Jenkins 创建了很多工作流程和自动化。Jenkins 是我们团队取得成功的关键，让我们能够在上一季度顺利进入生产677次，搭建及部署时长平均为12分钟。

LinuxSuRen

2019/08/26

1.9K0

在AWS云上的SAP

数据库

虽然最近亚马逊在迁离Oracle的数据库，使用Aurora PostgreSQL导致Prime Day促销日出现故障，但这似乎并不影响Amazon Aurora 数据库的推进，并且亚马逊一直在说Amazon Aurora兼容MySQL和PostgreSQL，是一种将数据库迁移到云的优秀工具。可见其要脱离Oracle的决心。而SAP也做出了同样的事情，在以前的SAP ERP系统里，SAP一直使用着别人的数据库，比如Oracle，后来SAP推出了HANA内存数据库，在S/4 HANA系列版本中，成功的使用了自己研发的数据库。可以看出这两家企业都想离开Oracle，所以合作是必然的事。

matinal

2019/01/04

2.3K0

aws生产实践-22：aws上创建openvpn

VPN 连接网络安全 centos linux

https://github.com/hepyu/openvpn-install/blob/master/openvpn-install.sh

千里行走

2022/02/10

1.7K0

以最大速度将数据迁移至AWS S3存储

云数据迁移

对于企业而言，数据上云“常态化”的趋势，无疑是一个巨大的技术红利。而数据规模爆发式增长的今天，移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是，在对象存储方面，大部分供应商都会为企业提供一系列现成的优质工具以及用于移动和访问数据的选项。但如果企业的数据集非常大，访问时间紧要求快，或者源和目标之间的地理距离太远，那么企业可以考虑使用镭速传输。

镭速

2023/05/06

7240

PaaS 调研 : GAE 与 AWS （下）

游戏

本文介绍了PaaS云服务在实际业务中的应用，并分析了PaaS云服务的优点和缺点。作者认为PaaS云服务具有高度灵活性、可扩展性、成本效益和高效性等优点，但同时也存在一些缺点，如技术难度高、实施复杂、依赖第三方服务、需要投入较多资源等。在实际应用中，PaaS云服务需要根据业务需求和场景，选择合适的架构和技术方案，并注意维护、监控和优化云服务。

韩伟

2017/11/10

2.5K0

S3 存储附件和图片无法上传

存储

我们已经在后台的控制链表中对 Key 和 Id 进行了授权，应能够正常访问没有问题的。

HoneyMoose

2020/05/22

1.6K0

相似问题

无法选择CodePipeline作为源

Terraform: AWS Codepipeline多个代码分解源

113

AWS CodePipeline将多个存储库作为单一源进行跟踪。

Github monorepo作为亚马逊CodePipeline的源

AWS CodePipeline不将工件上传到AWS S3

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问Azure数据工厂创建与Power查询不兼容的.CSV
EN