数据入湖与入库 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何使用用户分配的标识从数据库访问ADLS容器

azure、azure-databricks、azure-managed-identity、azure-data-lake-gen2

我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。

浏览 6提问于2022-03-08得票数 0

2回答

如何在r中实现histfit？

我用hist函数对数据进行了探索，直方图显示了广义上的伽玛分布。但是，如果我添加存储箱并再次显示它，该图将显示更多细节，伽马分布失败。fitdistr也无法找到参数。因此，我希望仅使用直方图中的粗略数据来拟合数据。这就是问题所在，谢谢你的帮助。

浏览 3提问于2012-09-18得票数 3

回答已采纳

1回答

Azure数据湖文件中的逻辑视图

azure、azure-databricks、azure-synapse

我有一个要求分类的PII和非PII数据从Azure数据湖发电1文件。由于我不想复制数据湖中的物理文件创建，我们是否可以在数据湖中创建逻辑视图，最好与物化视图相比较。更好的技术-天青同步分析/数据库/ VM与火花过程，.告诉我可能性。

浏览 4提问于2020-09-11得票数 0

回答已采纳

7回答

Hadoop Vs数据湖

hadoop、data-warehouse、data-lake

我听说了数据湖这个新名词。我在谷歌上查到了数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和<em

浏览 8提问于2016-03-14得票数 16

1回答

是否跟踪数据池中数据的更改？

business-intelligence、scd、data-lake

最近我发现了数据湖世界，我计划用ADL建立一个数据湖。我不确定的一件事是数据湖应该如何跟踪随时间变化/处理与源不同版本的更改。我遇到过这样的站点，声称数据湖按原样提供数据，其他状态是数据应该是时间戳，或者文件夹结构应该反映时间戳。干杯!

浏览 0提问于2019-07-24得票数 0

回答已采纳

1回答

我们可以用Azure DevOps测试计划来测试数据蛋糕吗？

python-3.x、pyspark、azure-devops、azure-data-factory、azure-databricks

我正在从事一个数据湖项目，我使用(编写pyspark代码)用于ETL，使用Azure DevOps用于CICD和源代码管理。我注意到了Devops中的测试计划:我的查询是，我可以使用测试计划进行数据湖测试吗？我浏览过与网络浏览相关的测试计划，但没有发现任何与数据湖、数据库或数据仓库相关的计划。

浏览 3提问于2020-01-19得票数 0

2回答

将数据池与已删除的记录同步

apache-spark、hadoop、cassandra、hdfs、data-lake

我正在建设的数据湖，以集成多个数据源的高级分析。我将检测删除的记录从来源和我将做什么

浏览 2提问于2018-04-06得票数 1

3回答

AWS湖形成: s3://abc/的湖形成许可不足

amazon-web-services、amazon-s3、aws-lake-formation

我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：有人能帮上忙吗

浏览 0提问于2020-09-15得票数 10

1回答

Azure数据湖存储上的公共数据集与数据湖分析一起使用

azure、azure-data-lake

Azure数据湖是否存储公共数据集以与Azure数据湖分析一起使用？Google BigQuery提供了类似于此的公共数据集，这样就可以很容易地创建表。

浏览 5提问于2017-12-06得票数 1

回答已采纳

1回答

数据湖如何存储数据和格式？

sql、image、nosql、azure-data-lake、data-lake

我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。

浏览 0提问于2018-09-09得票数 2

回答已采纳

2回答

传统数据湖与AWS湖形成

amazon-web-services、aws-glue、aws-lake-formation

我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行

浏览 0提问于2019-08-20得票数 3

1回答

不删除文件的Azure数据湖.Net软件开发工具包Concat文件

azure、azure-data-lake

有没有办法将数据湖存储中的文件与azure数据湖存储的.net sdk合并在一起，而不是从数据湖文件中删除我想合并(合并)到一个文件中的文件？

浏览 0提问于2017-05-24得票数 0

1回答

Visual中的数据湖泊标签丢失了吗？

visual-studio、azure、azure-data-lake

我下载并安装了每个 DOOD，我的TAB在哪里？

浏览 1提问于2016-06-14得票数 0

回答已采纳

2回答

Azure数据湖- HDInsight vs数据仓库

azure、azure-data-lake、u-sql、sql-data-warehouse

我所处的位置是，我们使用Azure数据仓库中的外部表从Azure数据湖中读取数据。在性能方面，我看不到太大的区别。我假设Data Warehouse正在后台运行某种形式的分布式查询，正在转换到U-SQL(?)，那么为什么我们要将Data Lake Analytics与U-SQL的语法稍有不同呢？

浏览 1提问于2018-01-18得票数 3

1回答

使用Azure函数(Nodejs)将数据(csv文件)上传到Azure DataLakeGen2

node.js、azure-functions、azure-data-lake、azure-blob-storage

我目前正在尝试使用带有NodeJs的Azure函数将csv文件发送到Azure Data Lake gen2，但无法做到这一点，任何关于这方面的建议都会非常有帮助。谢谢。

浏览 1提问于2019-09-10得票数 0

2回答

在我的用例中需要数据吗？

data

我的web应用程序存储使用数据，例如：执行的任务等等，我需要显示仪表板和报告的使用和性能趋势，例如：平均任务执行时间是多少？数据来自具有特定数据模型的关系数据库。有人要求我创建一个数据记录，只是给他我所有的原始数据。我不明白这张照片里有什么数据。没有模型和关系，我的数据是无用的。而且，我没有事件流:我在关系数据库中有表。例如，“任务”表中的一行将有“打开时间”列和

浏览 0提问于2018-11-04得票数 1

1回答

作业提交失败，用户<数据湖分析帐户name>没有子文件夹的权限

azure、azure-data-factory、azure-data-lake

作业提交失败，user datalakeanalyticsaccountname对数据湖分析所需的/system/ path中的子文件夹没有权限。请从门户运行“添加用户向导”，或者使用Azure PowerShell授予用户对数据湖存储上的/system/及其子系统的访问权限。数据工厂似乎将数据湖分析帐户的“名称”视为用户，并抱怨权限问题。我有U转换活动与Azure数据湖分析链

浏览 3提问于2016-11-24得票数 0

1回答

Azure数据湖Gen 2与DataFactory的集成

azure、azure-data-lake、azure-data-factory-2

我试图连接数据湖gen2与数据工厂v2，在那里我们需要添加用户通过添加用户向导在数据湖。但是我们看不到这个选项，我们无法从数据工厂连接到2。请帮助.Let我们知道在连接到ADF V2方面Gen2与Gen1的不同方法。 THank你，萨尚克·帕普

浏览 2提问于2019-02-14得票数 0

1回答

Azure存储帐户容器

azure、containers、azure-storage-account、data-masking

有没有人知道在Azure上的存储帐户容器中对数据进行分类的方法？我知道我的细节有点少..。但我仍在努力理解我所使用的atm的底层架构。任何问题/想法/想法，扔给我！

浏览 1提问于2021-03-16得票数 0

1回答

有没有一种更喜欢Azure服务终结点而不是私有终结点的方法？

azure、dns、azure-data-lake、vnet、azure-dns

我也有一个VPN连接，我用它来传输数据到我的Azure数据湖存储Gen2。为此，我使用专用终结点，它配置为与集线器网络关联的专用DNS区域。因此-所有伟大的，我的所有流量是安全的，无论我连接到我的ADLS Gen2从房地或数据库在Azure。现在问题就在这里。这要花很多钱，因为向您收取入站和出站流量的费用。

浏览 6提问于2022-05-06得票数 1

点击加载更多