首页
学习
活动
专区
圈层
工具
发布
首页标签大数据处理

#大数据处理

从零开始学Flink:Flink SQL 极简入门

用户4160816

Flink SQL 是 Apache Flink 的核心模块之一,它让开发者可以使用标准的 SQL 语法来编写流处理和批处理作业。对于不想深究 Java/Sca...

4310

从零开始学Flink:状态管理与容错机制

用户4160816

流式计算任务通常需要 7x24 小时长期运行,面对网络抖动、机器故障或代码 Bug,如何保证任务不挂?或者挂了之后能自动恢复且数据不丢、不重?这正是 Flink...

8910

使用随机时间间隔提升爬虫隐蔽性

小白学大数据

网站对爬虫的检测,本质是区分机器请求与人类请求,而请求的时间特征是最易捕捉的差异点。人类访问网页时,会存在浏览内容、翻页思考、误操作等行为,两次请求之间的时间间...

12210

2026年数据治理整体解决方案

智慧百家

随着数字化转型的深入,数据已成为企业最宝贵的资产之一。然而,数据孤岛、质量参差、标准不一、安全风险等问题严重制约了数据价值的有效释放。有效管理和利用数据,不仅关...

19210

qData 企业级数据中台产品体系解读 | 第 03 篇:一个成熟数据中台背后的 11 个关键设计取舍

吴同

在数据逐渐成为核心资产的今天,越来越多企业开始建设数据中台。但在实际推进过程中,一个普遍存在的问题是:系统建成后难以持续演进,维护成本不断升高,甚至需要推倒重来...

10600

大数据处理:Pandas+Spark 高效分析海量数据

1xsss

Apache Spark是一款基于内存计算的分布式大数据处理框架,支持多语言(Python/Scala/Java),可将海量数据拆分到多个节点并行处理,突破单机...

12010

qData 数据中台核心能力解析|第 01 期 数据服务能力全流程介绍

吴同

版本说明 本文介绍的功能基于 qData 商业版,部分能力在开源版中可能不包含或存在功能差异,具体以实际版本为准。

11300

京准电钟分享:校园网络NTP时钟系统应用方案

北京华人开创公司

1.1 背景 随着校园规模扩大和数字化水平提高,教学楼、办公楼、实验楼、图书馆、体育场馆、学生宿舍等场所对时间的精确性和一致性要求越来越高。传统的独立时钟存在走...

13910

安徽京准:NTP网络时钟系统精准管理医院科室

NTP网络同步时钟

医院NTP网络时钟系统的精准管理,远不止是“对个表”那么简单,它关乎医疗流程的顺畅、医疗安全的质量乃至医疗纠纷的定责。下面我将为您详细阐述如何对医院NTP网络时...

15110

基于 Spark + Delta Lake 的数据中台搭建实践总结

薛定喵君

本文取材于几个月前博主开发的真实项目,总结了基于 Apache Spark、Delta Lake、Kafka 等技术栈构建企业级数据中台的完整实践过程,涵盖架构...

17010

实时开发平台(Streampark)--Flink SQL功能演示

奥零数据科技

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

32910

qData 数据中台开源版 v1.0.7 发布:新增 SQL Server 支持,快速部署支持达梦与 MySQL 主库切换!

吴同

随着企业数据资产的不断增长,数据中台在实现数据治理与统一服务中的作用愈发重要。qData 数据中台开源版 v1.0.7 正式发布!本次更新聚焦 多数据库兼容性与...

23110

百万级并发下的去重挑战:Bloom Filter 与 Redis 的组合方案

jackcode

你花了一整晚采集到几百万条数据,结果发现有三分之一是重复的,心情立刻从“数据工程师”变成“搬砖机器人”。

22310

构建AI智能体:大数据下的“搭积木”:N-Gram 如何实现更智能的语义搜索

未闻花名

核心定义:N-gram 是来自给定文本或语音序列的 N 个连续项(如单词、字符) 的序列。它是一种通过查看一个项目的前后文来建模序列的概率模型。

22510

从零开始学Flink:数据输出的终极指南

用户4160816

在实时数据处理的完整链路中,数据输出(Sink)是最后一个关键环节,它负责将处理后的结果传递到外部系统供后续使用。Flink提供了丰富的数据输出连接器,支持将数...

68710

从零开始学Flink:事件驱动

用户4160816

在实时计算领域,很多业务逻辑天然适合“事件驱动”模式:当事件到达时触发处理、在某个时间点触发补偿或汇总、根据状态变化发出告警等。Apache Flink 为此提...

19810
领券