宗恩-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

宗恩

专栏成员

139

文章

55130

阅读量

26

订阅数

OushuDB 小课堂丨产品开发的人工智能伦理与创新

人工智能产品开发模型实践

人工智能伦理是负责任的产品开发、创新、公司发展和客户满意度的一个因素。然而，在快速创新的环境中评估道德标准的审查周期会在团队之间造成摩擦。公司经常错误地在客户面前展示他们最新的 AI 产品以获得早期反馈。

2023-05-09

2360

OushuDB 小课堂丨推动保险业的数字化转型：采用 AI 驱动的解决方案

机器学习人工智能解决方案数据优化

近年来，随着技术进步不断改变传统的商业模式，保险业发生了重大变化。从承保到理赔管理，人工智能 (AI) 和机器学习为提高效率、准确性和客户满意度的创新解决方案铺平了道路。其中一项突破是人工智能解决方案的出现，例如数据提取工具，这彻底改变了非结构化保险数据的处理方式。

2023-05-09

2020

OushuDB 小课堂丨利用数据流处理改进实时数据分析

企业数据分析程序企业应用数据

数据流处理正在迅速成为企业应用程序现代化和改进数据驱动应用程序实时数据分析的关键技术。随着企业越来越依赖实时数据分析，数据流处理使他们能够实时分析和处理大量数据，提供及时的见解并做出明智的决策。

2023-05-09

2470

OushuDB 小课堂丨数据仓库简史

企业存储数据数据仓库系统

我的博客即将同步至腾讯云开发者社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=... 数据仓库存储来自

2023-05-09

2030

OushuDB 小课堂丨商业智能简史

工具管理开发数据数据仓库

1865 年，Richard Millar Devens 在“商业和商业轶事百科全书”中提出了“商业智能”(BI) 一词。” 他用它来描述银行家亨利弗内斯爵士如何通过在竞争前收集信息并根据信息采取行动而从中获利。最近，在 1958 年，一位名叫汉斯·彼得·卢恩 (Hans Peter Luhn) 的 IBM 计算机科学家撰写了一篇文章，描述了通过使用技术收集商业智能 (BI) 的潜力。

2023-05-09

2680

OushuDB 小课堂丨高级分析用例

人工智能企业数据分析工具数据

到 2023 年，转向高级分析的组织将能够更好地利用各自行业中的新机遇。随着自动化数据分析的使用，公司越来越多地转向分析系统和高级分析用例，以实现战略转型和数字战略。

2023-05-09

1550

OushuDB 小课堂丨孤立数据迫在眉睫的威胁：废弃文件如何毁掉您的业务

企业存储安全行业数据

每年发生的员工流失量因行业和国家/地区而异。然而，裁员似乎已成为商界的普遍现象，科技行业最近受到的打击尤为严重。裁员.fyi，一个自 2020 年 3 月以来一直在监测科技裁员情况的网站，收集的数据表明，自今年年初以来，已有 482 家科技公司裁员了约 128,202 名员工。

2023-05-09

1980

OushuDB 小课堂丨非凡数据科学家的五个必备特征

人工智能数据可视化工作数据数据科学

尽管最近大型科技公司进行了大规模裁员，但数据经理、分析师、数据管理员和顾问的未来一片光明。事实上，预计需要数据科学技能的工作数量增长 27.9% 根据美国劳工统计局的数据，到 2026 年。

2023-05-09

1850

OushuDB 小课堂丨7 种基本的机器学习工程技能

机器学习部署工程师模型数据

机器学习工程是一个专业领域，它将计算机科学、数据科学和软件工程的原理与机器学习的技术和方法相结合。机器学习工程师负责设计、开发和实施机器学习模型和系统，以解决复杂问题或使数据驱动预测和决定。

2023-05-09

1790

OushuDB 小课堂丨什么是敏感数据泄露以及如何避免？

存储安全工具数据网络

如今，组织每天处理大量的消费者数据。这些数据的范围从标准——姓名、电子邮件地址等——到个人身份信息，如社会安全号码和银行凭证。虽然此类数据是一种资产，尤其是对于企业而言，但意外泄露并导致敏感数据暴露的代价可能非常高。

2023-05-09

3460

OushuDB 小课堂丨优化数据质量以应对经济动荡

企业管理连接数据优化

持续的经济波动和全球经济衰退迫使企业领导人做出艰难的决定。一些正在裁员并缩减运营开销以变得更加敏捷，而另一些则实施了成本节约措施，例如削减技术支出，以提高财务灵活性。这些举措可能会在混乱时期为公司提供短期的喘息机会，但一旦经济环境好转，它们就会迫使它们重建。组织正在利用经济衰退来支持其业务领域，以提供长期价值，并允许他们在市场稳定后加速发展。为此，现在是企业决策者投资于他们最大的资产——数据的最佳时机。

2023-05-09

1470

OushuDB 小课堂丨在不确定的经济时期通过存储即服务节省资金

企业存储服务管理模型

在席卷 2023 年的经济不确定性中，IT 领导者正在争先恐后地寻找降低成本的方法。企业存储是 IT 团队可以在不牺牲可用性、可靠性、网络弹性，或应用程序性能。对您的企业存储基础设施采取更具战略性的方法将对底线产生影响。转向存储即服务 (STaaS) 是降低成本同时提高功能的强大策略。STaaS 是一种灵活的、类似云的消费方法的例子，它提供了仅使用所需存储容量的经济利益。

2023-05-09

1650

OushuDB 小课堂丨如何成为企业架构师

企业工作架构架构师数据

企业架构师的角色被评为Glassdoor的 2022年美国最好的工作在薪水、工作满意度和可用职位方面。然而，企业架构师是企业界最常被误解的职业之一，它跨越了业务和 IT 之间的鸿沟。企业架构师每天做什么，您需要哪些技能和教育才能从事这一职业企业架构？

2023-05-09

2180

OushuDB 小课堂丨七项基本数据管理技能

企业工具管理数据数据管理

随着企业继续推广一种文化数据民主化，管理数据迁移和确保安全数据访问的有效策略正在兴起。数据中心据预测，今年大型企业和小型组织中多达 50% 的日常业务运营都需要高级数据管理技能。

2023-05-09

2040

OushuDB 小课堂丨快速发展的数据安全和隐私环境中的企业要点

企业数据安全安全数据隐私

随着越来越多的企业利用尖端工具和技术加入数字化转型的行列，数据安全和隐私方面的挑战也随之增加。

2023-05-09

1240

OushuDB 小课堂丨数据管道测试自动化的最佳实践

自动化测试测试自动化数据最佳实践

数据集成过程与任何其他软件一样受益于自动化测试。然而，找到一个具有一套合适的自动测试的数据管道项目是罕见的。即使一个项目有很多测试，它们通常也是非结构化的，不传达其目的，并且难以运行。一个特点数据管道开发是频繁发布高质量数据，以获得用户反馈和接受。在每次数据管道迭代结束时，预计下一阶段的数据都是高质量的。自动测试对于数据管道的集成测试至关重要。在高度迭代和适应性强的开发环境中，手动测试是不切实际的。手动数据测试的主要问题首先，它花费的时间太长，是管道频繁交付的关键抑制因素。主要依赖手动测试的团队最终会将测试推迟到专门的测试期，允许错误积累。其次，手动数据管道测试不足以进行回归测试。数据管道测试的自动化需要初步规划和持续的勤奋，但一旦技术团队采用自动化，项目的成功就更有保证。数据管道的变体提取、转换和加载（ETL）提取、加载和转换（ELT）数据湖，数据仓库管道实时管道机器学习管道用于测试自动化考虑的数据管道组件数据管道由几个组件组成，每个组件负责特定任务。数据管道的元素包括：数据来源：数据的来源数据摄取：从数据源收集数据的过程数据转换：将收集的数据转换为可用于进一步分析的格式的过程数据验证/验证：确保数据准确和一致的过程数据存储：将转换和验证的数据存储在数据仓库或数据湖中的过程数据分析：分析存储数据以识别模式、趋势和见解的过程自动化数据管道测试的最佳实践什么以及何时自动化（甚至如果您需要自动化）是测试（或开发）团队的关键决策。为自动化选择合适的产品特性在很大程度上决定了自动化的成功。在自动测试数据管道时，最佳实践包括：定义明确而具体的测试目标：在开始测试之前，必须定义您希望通过测试实现的目标。这样做将帮助您创建有效、高效的测试，提供有价值的见解。测试数据管道的所有工作流程：数据管道通常由几个组件组成：数据摄取、处理、转换和存储。重要的是要测试每个组件，以确保数据通过管道的适当和平稳流动。使用可信的测试数据：在测试数据管道时，使用模拟现实世界场景的现实数据很重要。这将有助于识别处理不同数据类型时可能出现的任何问题。使用有效的工具实现自动化：这可以通过测试框架和工具来实现。定期监控管道：即使在测试完成后，也必须定期监控管道，以确保其按预期工作。这将有助于在问题成为关键问题之前识别它们。让利益相关者参与：让数据分析师、数据工程师和业务用户等利益相关者参与测试过程。这将有助于确保测试对所有利益相关者都具有相关性和价值。维护文档：维护描述测试、测试用例和测试结果的文档很重要。这将有助于确保测试可以随着时间的推移进行复制和维护。小心；应避免自动更改不稳定特征。今天，任何已知的业务工具或一组方法/流程都不能被视为数据管道的完整端到端测试。考虑您的测试自动化目标数据管道测试自动化被描述为使用工具来控制1）测试执行，2）将实际结果与预测结果进行比较，以及3）设置测试先决条件和其他测试控制和测试报告功能。一般来说，测试自动化涉及使用正式测试过程的现有手动过程自动化。虽然手动数据管道测试可以揭示许多数据缺陷，但它们既费力又耗时。此外，手动测试在检测某些缺陷方面可能无效。数据管道自动化涉及开发测试程序，否则必须手动执行。一旦测试自动化，它们可以快速重复。对于使用寿命长的数据管道来说，这通常是最具成本效益的方法。在管道的生命周期中，即使是小的修复或增强也可能导致之前工作的功能中断。在数据管道开发中集成自动化测试带来了一系列独特的挑战。当前的自动化软件开发测试工具不容易适应数据库和数据管道项目。各种各样的数据管道架构使这些挑战进一步复杂化，因为它们涉及多个数据库，需要对数据提取、转换、加载进行特殊编码，数据清理、数据聚合和数据丰富。测试自动化工具可能很昂贵，通常与手动测试一起使用。然而，从长远来看，它们可能会变得具有成本效益，特别是在回归测试中反复使用时。测试自动化的频繁候选者BI报告测试商业、政府合规数据聚合处理数据清理和归档数据质量测试数据对账（例如，从源到目标）数据转换尺寸表数据加载端到端测试ETL，ELT验证和验证测试事实表数据加载文件/数据加载验证增量负载测试负载和可扩展性测试缺少文件、记录、字段性能测试引用完整性回归测试安全测试源数据测试和分析分期，ODS数据验证单元、集成和回归测试由于处理的复杂性以及应验证的源和目标的数量，这些测试的自动化可能是必要的。对于大多数项目，数据管道测试过程旨在验证和实施数据质量。今天可用的各种数据类型带来了测试挑战今天有各种各样的数据类型，从文本、数字和日期等传统结构化数据类型到音频、图像和视频等非结构化数据类型。此外，各种类型的半结构化数据，如XML和JSON，被广泛用于Web开发和数据交换。随着物联网（IoT）的出现，各种数据类型激增，包括传感器数据、位置数据和机器对机器通信数据。随着这些数据类型的提取和转换，如果没有适当的工具，测试可能会变得更加复杂。这导致了新的数据管理技术和分析技术，如流处理、边缘

2023-05-09

2420

OushuDB 小课堂丨迁移（成功）到云端的 7 个步骤

企业迁移工作管理优化

销售人员承诺，迁移到云将带来更绿的牧场，让我们的口袋里剩下更多的钱。这似乎是可能的，所以我们进行切换并等待。然而，几个月的等待带来了更多相同的结果。它似乎没有使我们的预算受益。这并不是因为迁移到云端不省钱，而是因为在这个过程中需要更多的步骤。毕竟，购买种子不会自动种植庄稼；创建花园涉及更多。迁移到云端也不例外。我们不能只是将本地服务器切换到云端然后走开。这是确保成功且有益的云原生转型过程并开始看到这些成果的第一步。但是，一旦完成这些步骤，草地就会随之而来。高德纳声称将服务迁移到云为企业平均节省了 15% 的 IT 成本，让我们以更少的预算获得更多的收入。尽管这使得迁移到云非常值得，但节省成本并不是迁移到云的唯一原因，甚至不是主要原因云原生. 在进入的许多好处之前云迁移，让我们来看看成功完成云原生转型所需的步骤：

2023-05-09

2870

OushuDB 小课堂丨描述性分析如何利用数据做出更好的决策

企业数据分析工具软件数据

组织认识到数据可以成为强大的业务资产，并正在投资数据分析以提供这种有价值的工具。据考证，今天超过 95% 的组织将数据计划纳入其业务战略。然而，大多数企业在有效和高效地使用数据方面犹豫不决。描述性分析是最常见的数据分析类型，精明的企业使用它来帮助找出数据核心的“内容”。

2023-05-09

2890

OushuDB 小课堂丨CDO应该如何度过他们的时间？

教育博客框架数据数据管理

与大多数具有特定期望的 C-Suite 角色不同，首席数据官 (CDO) 角色仍然相对较新，这意味着它通常需要由 CDO 自己定义。这可能是好事也可能是坏事：一方面，您可以塑造自己的角色并使其独一无二，但另一方面，您可能会身兼数职，兼顾太多任务。

2023-05-09

1180

OushuDB 小课堂丨非结构化数据管理的关键：交流您的数据

存储管理解决方案数据数据管理

共享有关组织中非结构化数据所发生情况的信息比看起来要困难得多。沟通不畅几乎会对组织的各个方面产生负面影响，从 IT、存储团队和应用程序开发人员一直到业务和其他最终用户。然而，准确、全面地了解您的非结构化数据对于安全、高效、经济且成功地开展业务至关重要。

2023-05-09

2500

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态