数据湖安全构建体系
数据湖安全构建体系是一个重要的概念，它涉及到数据湖中数据的存储、处理、分析和管理的安全性。数据湖是一个集中式的数据存储和分析平台，它可以存储大量的数据，包括结构化数据、半结构化数据和非结构化数据。数据湖的安全性对于保护数据和避免数据泄露至关重要。
数据湖安全构建体系可以分为以下几个方面：
- 数据访问控制：通过对数据湖中的数据进行访问控制，可以确保只有授权的用户才能访问数据。这可以通过角色和权限管理来实现。
- 数据加密：对数据湖中的数据进行加密，可以确保数据在传输和存储过程中的安全性。数据湖可以使用加密算法和密钥管理系统来实现数据加密。
- 数据审计：通过对数据湖中的数据进行审计，可以确保数据的完整性和准确性。数据湖可以使用审计日志和审计工具来实现数据审计。
- 数据安全策略：通过制定数据安全策略，可以确保数据湖中的数据安全。数据湖可以使用数据安全策略管理系统来实现数据安全策略的制定和管理。
- 数据安全培训：通过对数据湖中的数据进行安全培训，可以提高数据湖的安全性。数据湖可以使用安全培训平台来实现数据安全培训。
推荐的腾讯云相关产品：
- 腾讯云数据库：提供了多种数据库服务，包括关系型数据库、非关系型数据库和时序数据库等。
- 腾讯云存储：提供了多种存储服务，包括对象存储、块存储和文件存储等。
- 腾讯云安全：提供了多种安全服务，包括访问管理、加密和审计等。
- 腾讯云大数据：提供了多种大数据服务，包括数据仓库、数据集成和数据分析等。
推荐的产品介绍链接地址：
相关·内容
1回答
Kappa体系结构是否使用数据湖？
apache-spark、bigdata、data-processing、data-lake、kappa
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
浏览 10提问于2022-07-21得票数 0
回答已采纳
7回答
Hadoop Vs数据湖
hadoop、data-warehouse、data-lake
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
1回答
如果我通过enduser/承租者分割我的微服务数据，并且每个服务器都拥有全部数据的一个子集，那么如何在所有服务器上查询数据呢？
microservices、data-warehouse、scalability
设想一个高度可伸缩的体系结构，其中每个租户都是按区域和可用性区域划分和分布的，每个服务器都持有总数据的一个子集。还存在冗余，还有承载相同逻辑碎片的物理碎片。这很好，如果客户端知道分配给用户的所有逻辑碎片，那么在处理返回极端数量数据的请求时，客户端可以使用map/reduce样式检索所有数据。这解决了当用户的数据量大于任何单个服务器的存储、内存或计算的容量时的问题。那么我的问题是，如果一个名词微服务的数据是跨多个服务器隔离和共享的，并且每个服务器都承载着不同的用户或租户子集，我如
浏览 4提问于2022-07-23得票数 0
1回答
新的Synapse & Power世界中分析服务的替代方案？
powerbi、azure-synapse、azure-analysis-services
随着Synapse、Power BI的发展和湖房体系结构的兴起，是否有可行的解决方案来构建部门多维数据集以避免Analysis？我想滑到冰球要去的地方，而不是现在。Power数据集中的新特性能否取代Analysis的某些功能，然后将多维数据集作为Power数据集托管在Power服务中？
浏览 0提问于2021-06-17得票数 0
回答已采纳
1回答
体系结构帮助-替代ETL数据流和处理
google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-dataflow
我正在寻找一些关于为一个简单的ETL工作构建一个架构的指导。我已经构建了一个解决方案，但我正在寻找方法来改进或尝试另一个体系结构。这里是我的用例：
为此，我构建了一个解决方案，用户可以将csv格式的源数据上传到云存储。我使用云函数来监视云存储桶中的更改，并触发Dataflow管
浏览 2提问于2018-08-03得票数 0
1回答
您能在Databricks中挂载多个ADLS2实例吗？
azure-databricks、azure-data-lake、delta-lake、azure-data-lake-gen2
为数据湖/三角洲湖体系结构设置DEV/TEST/PROD环境的最佳实践是什么？对于每个DEV/TEST/PROD，您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例？您甚至可以在数据砖中挂载多个ADLS2实例吗？
浏览 6提问于2022-06-03得票数 1
1回答
和Delta层会让它成为湖屋吗？
databricks、azure-databricks
即使经过很多资源，我也不明白什么是湖房，所以我想问一问。如果我们有Azure Gen 2存储、ADF和Azure数据库，可以将传入的CSV文件转换为Delta表，可以称为"Lakehouse“体系结构，还是称为"Delta Lake"？或者是"SQL分析“引擎在Delta湖层之上使它成为了"Lakehouse"？
请澄清。
浏览 0提问于2021-06-18得票数 1
回答已采纳
1回答
如何在Azure数据湖分析和Azure数据库之间进行选择
azure-data-lake、azure-analysis-services
Azure数据湖分析和天蓝色数据库都可以用于批量处理。谁能帮我理解一下什么时候该选一种而不是另一种？
浏览 0提问于2018-05-22得票数 22
回答已采纳
2回答
从头开始建数据湖
hadoop、data-warehouse、data-lake
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
1回答
数据湖中的可信数据层能代替数据仓库吗？
google-cloud-platform、snowflake-cloud-data-platform、data-warehouse、azure-data-lake、data-lake
在现代数据体系结构中，将数据湖划分为多个层次，数据以原始形式存储在着陆区，然后在可信/应用层进行汇总整理和存储。我相信我们甚至可以通过数据湖中的可信数据来进行报告。如果是这样的话，我想不出一种逻辑来证明数据仓库的存在是合理的。还是可信数据本身就是Datawarehouse？或者信任的数据更像是只是聚合数据，而不是做适当的建模，因此我们仍然需要数据仓库。
浏览 9提问于2022-07-25得票数 0
1回答
从DynamoDB表创建数据池
amazon-web-services、amazon-s3、amazon-dynamodb、aws-glue、data-lake
我们希望从这个表中创建一个数据湖，用于历史数据、模型培训和分析洞察力。我们想保证30分钟的数据湖数据“新鲜”w.r.t。原来的桌子。但是，我对什么是一个很好的体系结构感到困惑:我对数据湖的理解是，您应该使用一个存储服务(即S3)来存储没有处理的原始数据。然后，执行ETL工作，在转换、处理和过滤数据(例如，使用Glue)之前，将其用于任何应用程序。
，但我有疑问：，这是否意味着我们必须每30分钟将Dy
浏览 7提问于2021-08-13得票数 1
回答已采纳
1回答
数据体系结构-全天蓝色堆栈与集成的三角洲湖
azure、databricks、delta-lake
如果可能的话，我想征求您对旧的和建议的体系结构(或备选方案)的意见，讨论它们的优点和缺点，并可能发现不可预见的问题/限制。当前架构- Azure Stack多源通过Azure数据库存储到Azure数据湖Gen2 Azure数据库清理数据并将其存储回Azure数据湖Gen2中:原始的、干净的使用Analysis都需要始终打开，表示不需要的费用替代体
浏览 5提问于2021-12-10得票数 0
1回答
支持数据湖设置的服务
amazon-web-services、amazon-s3、azure-data-lake、alibaba-cloud、data-lake
我必须测试和比较可用的解决方案来创建一个数据湖。
除了AWS湖的形成之外，还有其他服务可以轻松地建立一个安全的数据池吗？我知道我可以在Azure和Google平台上创建一个帐户，但是我不知道他们是否有任何我需要的解决方案的“包”，或者帮助我建立数据湖的服务。
浏览 1提问于2019-05-09得票数 0
回答已采纳
2回答
阿帕奇星火+三角洲湖概念
apache-spark、apache-kafka、data-warehouse、databricks、delta-lake
1)数据库提出了三层(青铜、银、金)，但哪一层是推荐用于机器学习的，为什么？我想他们建议在黄金层中清理和准备数据。2)如果抽象这三层的概念，我们可以把青铜层看作数据湖，银层作为数据库，黄金层作为数据仓库吗？我是说就功能而言。( 3)达美建筑是一个商业术语，还是Kappa体系结构的一种演变，还是一种新的趋势建筑，如Lambda和Kappa体系结构？(Delta + Lambda架构)和Kappa体系结构有什么不同？4)在许多情况下，De
浏览 2提问于2019-05-19得票数 22
回答已采纳
2回答
从数据湖中检索数据到分析系统
hadoop、bigdata、analytical
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
1回答
ADF和Databricks层概念的最佳实践
azure-data-factory、azure-databricks
我想使用Azure Databricks和Databricks构建一个类似于数据仓库的层概念，例如摄取层、传播层和数据集市层。然而，现在的挑战是如何为每一步编排从/到Databricks的数据负载，特别是处理databricks内存中的数据模型，以及切换到每个层的持久存储(例如，Azure SQLDB)。但是，如果我将数据库中的所有内容保存到处理的最后一层，就很难从ADF中跟踪管道错误，并且很难重新处理特定的层。
我正在寻找最佳实践如何处理一个层概念与ADF和数据</e
浏览 4提问于2021-11-13得票数 0
回答已采纳
1回答
对Azure数据湖和Azure SQL Server的Asp.Net读/写
asp.net、azure、azure-active-directory、azure-sql-database、azure-data-lake
我喜欢创建web应用程序来上传文件，保存到azure数据湖，读/写到azure SQL Server。我使用我的Azure AD客户端I/密钥访问数据湖，
我的Azure SQL Server连接字符串，如: Server=tcp:{MyAzureSQLServer}.database.windows.net,1433;Initial目录{MyAzureDatabase}；持久化安全Info=False;MultipleActiveResultSets=False;Encrypt=Tr
浏览 4提问于2019-01-18得票数 0
2回答
如何处理数据湖vs数据仓库中的历史化数据？
data-warehouse、data-lake
在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。 如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？
浏览 36提问于2020-11-30得票数 0
回答已采纳
2回答
传统数据湖与AWS湖形成
amazon-web-services、aws-glue、aws-lake-formation
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行
浏览 0提问于2019-08-20得票数 3
1回答
与外部客户端共享文件和数据
azure、amazon-s3、snowflake-cloud-data-platform、azure-data-share
我们有一个与外部客户端共享数据和一些相关文件的用例。数据存储在数据湖(雪花)中。我们正在考虑将相关文件存储在s3或azure存储中。这些文件是数据的补充信息/附加附件。由于安全问题，预签名或SAS URL将无法工作。
是否有可能生成指向具有b2b类型身份验证的浏览器轻松打开的文件的链接？我们是否需要构建</e
浏览 3提问于2021-06-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
