用户3645619的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

用户3645619的专栏

专栏成员

33

文章

25496

阅读量

15

订阅数

（4）SparkSQL中如何定义UDF和使用UDF

Spark SQL中用户自定义函数，用法和Spark SQL中的内置函数类似；是saprk SQL中内置函数无法满足要求，用户根据业务需求自定义的函数。

2022-09-26

9930

（3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示

大数据处理套件 TBDS 大数据可视交互系统大数据解决方案大数据

（1）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示，我们先看下整体方案架构：

2022-09-10

4391

（2）sparkstreaming滚动窗口和滑动窗口演示

spark 大数据处理套件 TBDS 大数据大数据解决方案大数据可视交互系统

一、滚动窗口（Tumbling Windows）滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。

2022-09-05

1.1K0

（1）sparkstreaming结合sparksql读取socket实时数据流

spark hadoop 大数据处理套件 TBDS 大数据

Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型，在内部实现上，Spark Streaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spark中的RDD，这些分段就是Dstream，并且对DStream的操作都最终转变为对相应的RDD的操作。

2022-08-31

5800

（6）Flink CEP SQL模拟账号短时间内异地登录风控预警

hadoop flink 营销风控金融风控风控平台

（1）通过将xxx平台用户登录时的登录日志发送到kafka（本文代码演示用的socket）；

2022-08-30

6190

（5）Flink CEP SQL四种匹配模式效果演示

flink hadoop 实时风控大数据大数据解决方案

从匹配成功的事件序列中最后一个对应于patternItem的事件开始进行下一次匹配

2022-08-24

4840

（4）Flink CEP SQL贪婪词量演示

大数据处理套件 TBDS 大数据 flink 营销风控金融风控

基于上一篇（3）Flink CEP SQL宽松近邻代码演示的延展，在上一篇中我们使用贪婪词量 +（至少匹配1行或多行），本篇将演示多种贪婪词量的效果：

2022-08-20

2960

（2）Flink CEP SQL严格近邻代码演示-风控系统构建利器

大数据 flink 实时风控营销风控金融风控

上一篇我们对Flink CEP做了简单介绍，这一篇我们通过代码来演示一下Flink CEP SQL中的严格近邻效果：

2022-08-13

4610

（1）Flink CEP复杂事件处理引擎介绍

flink 大数据处理套件 TBDS 大数据解决方案大数据大数据可视交互系统

复杂事件处理(CEP)既是把不同的数据看做不同的事件，并且通过分析事件之间的关系建立起一套事件关系序列库。利用过滤，聚合，关联性，依赖，层次等技术，最终实现由简单关系产生高级事件关系。

2022-08-12

8520

（8）FlinkSQL自定义UDF

flink 大数据处理套件 TBDS 大数据解决方案大数据

Flink提供了自定义函数的基础能力，在需要满足特殊业务场景需求时，根据自身需要按需定制自己的UDF 下面将简单演示一个UDF的定义和UDF的使用过程：

2022-08-08

5010

（7）FlinkSQL将kafka数据写入到mysql方式二

flink 大数据处理套件 TBDS 大数据解决方案大数据

public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); StreamTableEnvironment tableEnv = StreamTableEnvironment.c

2022-08-08

1.3K0

（6）FlinkSQL将kafka数据写入到mysql方式一

flink 大数据处理套件 TBDS 大数据解决方案大数据

图片这里不展开zookeeper、kafka安装配置（1）首先需要启动zookeeper和kafka图片（2）定义一个kafka生产者package com.producers;import com.alibaba.fastjson.JSONObject;import com.pojo.Event;import com.pojo.WaterSensor;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka

2022-08-08

1K0

（5）FlinkSQL将socket数据写入到mysql方式二

flink 大数据处理套件 TBDS 大数据解决方案大数据

public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); StreamTableEnvironment tableEnv = StreamTableEnvironment.c

2022-08-08

9290

（4）FlinkSQL将socket数据写入到mysql方式一

flink 大数据处理套件 TBDS 大数据大数据解决方案

本章节主要演示从socket接收数据，通过滚动窗口每30秒运算一次窗口数据，然后将结果写入Mysql数据库

2022-08-08

9550

（3）FlinkSQL滑动窗口demo演示

flink 大数据

滑动窗口（Sliding Windows）与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的，而是可以“错开”一定的位置。如果看作一个窗口的运动，那么就像是向前小步“滑动”一样。定义滑动窗口的参数有两个：除去窗口大小（window size）之外，还有一个滑动步长（window slide），代表窗口计算的频率。

2022-08-08

4020

（2）FlinkSQL滚动窗口demo演示

滚动窗口（Tumbling Windows）滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。

2022-08-08

4310

（1）通过FlinkSQL将数据写入mysql demo

FlinkSQL的出现，极大程度上降低了Flink的编程门槛，更加容易理解和掌握使用。今天将自己的笔记分享出来，希望能帮助在这方面有需要的朋友。

2022-08-08

1.7K0

NBI可视化平台快速入门教程（五）编辑器功能操作介绍

大数据处理套件 TBDS 大数据可视交互系统大数据解决方案

（4）预览时自适应浏览页面时，系统会自动计算页面大小和组件大小，达到自适应效果（注意：等比例自适应效果最佳，比如页面大小设置的是16:9的大小，然在不同16:9分辨率下效果适配效果最好，比如1920*1080大小的页面在1366*768上浏览效果最佳）

2022-06-30

2620

NBI可视化平台快速入门教程（四）数据可视化编辑器介绍

大数据处理套件 TBDS 大数据可视交互系统大数据解决方案大数据数据可视化

（2.1）项目列表，项目列表是用于存放可视化页面，创建后的可视化页面将会出现在这里

2022-06-17

9320

NBI可视化平台快速入门教程（三）带参工作表创建

大数据处理套件 TBDS 大数据可视交互系统大数据解决方案大数据

NBI可视化平台快速入门教程（三）带参工作表创建1.如何创建带参工作表参数格式 $参数名称$，比如图片2.测试验证带参工作表是否正确图片3.输入测试参数图片4.多参数演示，多参数查询无非就是按照参数格式标准多接入几个查询条件，如图片5.测试验证图片6.测试无误后，保存即可。工作表的作用在于给NBI可视化构建模块提供数据支撑，为图形组件提供数据。

2022-06-07

3180

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态