每天一道大厂SQL题【Day29】腾讯数据提取(二)过去一周内的曝光点赞数据 大家好，我是Maynor。...第29题 需求二: 过去一周内的曝光点赞数据 1....需求列表 需要输出一张中间 dws 层表：要求能够查询每个视频创建者 user_id 最近发布的 3 个视频，在过去一周内的曝光，点赞数据 需要产出字段：视频创建者 user_id，曝光用户，点赞用户数...，曝光次数、点赞次数 思路分析 首先使用WITH子句定义了三个临时表： recent_videos：查询过去一周内发布的所有视频，并使用ROW_NUMBER()函数为每个视频创建者的视频分配一个行号，按照视频创建时间降序排列...video_action：将top_3_videos表与t_user_video_action_d表连接，以获取每个视频创建者最近发布的3个视频在过去一周内的曝光和点赞数据。
目录 1、动态隔间运算入门说明 2、入门小案例 3、“比较”、“占比”、“环比”的操作 4、“逐层累计”与“跨层累计”的操作 5、条件汇总 1、动态隔间运算入门说明 首先提供一个公式，公式:“...订单 where 年份 in('2011','2010') 以上述SQL语句的结果为数据源，完成如下需求。...然后，将“应付金额”设置为汇总求和。 接着添加“逐层累计”列和“跨层累计”列。我们都是直接使用官方自带的函数，操作如图。...先添加“逐层累计”列，效果如下： 再添加“跨层累计”列，效果如下： 接着，将“逐层累计”列和“跨层累计”列，分别保留两位小数位。...保存后，效果预览 5、条件汇总 图中红色方框中，属于条件汇总。 写入公式：=count(c2[!
业务需求： 1.对于不同区域、业务类型的吊牌金额、销售金额进行汇总（时间范围202201-202205周。...2）筛选时间周为202201-202205 3）对于不同区域、业务类型的吊牌金额、销售金额进行汇总 1）查询结果需要的字段是区域、业务类型、吊牌金额、销售金额 吊牌金额、销售金额在周度销售表中，区域、...拿出《猴子 从零学会SQL》里面的多表联结图。 因为需要得到每个店铺代码对应的业务类型，所以用左连接保留周度销售表中所有的销售数据。...SQL书写如下： select * from 周度销售表 a left join 店铺信息表 b on a.店铺代码 = b.店铺代码; 2）筛选时间周为202201-202205，使用between...SQL书写如下： select * from 周度销售表 a left join 店铺信息表 b on a.店铺代码 = b.店铺代码 where 周 between 202201 and 202205
而且根据二八定律，其实只需掌握20%SQL的基础内容，就足以胜任80%的常见工作啦。 因此，我这里总结出了一份7周快速掌握SQL基础的指南，每周完成一张图里的内容就可以了啦。...第1周：SQL入门 学习SQL语句的书写语法和规则 可以双击图片放大 第2周：查询基础 Select查询语句是SQL中最基础也是最重要的语句，这周我们就来利用Select来对表中的数据进行查询。...第3周：聚合与排序 面对大量数据我们时常需要对其做汇总的分析。这部分内容就是说明各类汇总操作的方法。...学完需要多复习，并且灵活运用哦~ 第6周：函数、谓词、case表达式 如同所有编程语言一样，SQL也有好用的工具包——函数。利用函数，可以将很多复杂的问题在一行代码内解决完成。...可以用下面这张图来汇总复习一下 我是猴子社群会员，知乎：一颗橙子 这是第32期下周很重要， 精通某项技能大约需要7年时间， 如果你活到88岁，11岁之后你还有11个成为某个领域大师的机会， 这就是你一生的许多辈子
最近项目需要统计一段日期范围内，根据每分钟、几分钟、每天分别统计汇总某些事件/指标的发生总次数，平均发生次数，因此总结了Mysql中与时间处理、统计相关的资料。...，可以按照每天、工作日（周一至周五）、小时、分钟、月等维度来汇总统计。...(00-53) 星期日是一周的第一天 %u 周 (00-53) 星期一是一周的第一天 %V 周 (01-53) 星期日是一周的第一天，与 %X 使用 %v 周 (01-53) 星期一是一周的第一天，与...位 %y 年，2 位 如果想要统计一天之内，按照一定的分钟间隔汇总的数据，用SQL实现，还不知道有什么方便的方式，如果大家有相关的解决方案，可以分享一下。...2017-05-31补充一下支持跨天的按照一定时间间隔统计汇总数量的SQL，例子是按照15分钟汇总统计 select count(1), from_unixtime( round(unix_timestamp
画像宽表将散落在不同表中的标签数据进行汇总，是对数据的一种封装方式，其不仅降低了人群圈选语句的复杂度，而且还可以解决如表5-1所示的所有问题。 ...上述圈选需求也可以转换成“近一周平均在线时长”和“近一周累计点赞次数”标签来解决，但是这种通过增加标签来满足日期范围下用户圈选的方式不够灵活。...有了标签历史数据便可以实现跨时间的人群分析，比如分析北京市男性用户在过去半个月的平均在线时长变化，基于画像宽表可以快速计算出分析结果。 兼容单日期分区。仅保留最新标签数据是多日期数据下的一种特殊情况。...最简单直接的方式是通过SQL语句来拼接各类标签源数据表，图5-5展示了将多个标签汇总到画像宽表的主要流程。...图5-6中采用了分治的思路逐层生成画像宽表。所有标签被划分成多个分组，每个分组下的标签自行产出中间宽表，最后将所有的中间宽表合并成最终的画像宽表。
这里记录过去一周，大数据相关值得分享的东西，每周发布。 今天尝试写第 7 期，记录过去一周一点所见所闻。 本期主题：实时数仓 技术一瞥 做实时数仓经历了什么过程。...早期的数据仓库构建主要是把企业的业务数据库如ERP/CRM/SCM 等数据按照决策分析要求建模汇总到数据仓库引擎中，应用以报表为主。...典型的数据存储是 HDFS/Hive, ETL 一般是 HIve SQL 5、Lambda 架构 为了计算一些实时的指标，在就原来离线数仓的基础上添加了一个实时计算的链路，并对数据源做流失改造（也就是把数据发到消息队列...2、OPPO数据中台之基石：基于Flink SQL构建实时数仓 分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。...本文主要内容如下： OPPO 实时数仓的演进思路； 基于 Flink SQL 的扩展工作； 构建实时数仓的应用案例； 未来工作的思考和展望。
这个函数当时是为了解决业务部门获取非标准月（标准月就是从每个月的第一天到最后一天组成一个完成的标准月份）的统计汇总数据的。...2、sql server实现自定义分割月功能 自定义分割月功能函数包括两个标量函数：ufn_SegMonths和ufn_SegMonth2Date。...sql server 版本的实现T-SQL代码如下： IF OBJECT_ID(N'[dbo]....尽量将日期有关的功能函数梳理出来，便于直接在sql server用户数据库中来使用， 也便于BI仓库中使用。国庆一来已经过去一周，原来打算一周一遍的计划还是延期啦，再次严重检讨自己。...继续精进SQL Server，继续进发。 5、参考清单列表 SQL Server数字辅助表的实现 SQL Server时间粒度系列----第3节旬、月时间粒度详解
2024/1/2-2024/1/12 又是两周过去啦,这两周比较闲,随便写点吧。...F10逐帧执行， F11会进入方法体里。 分清楚==和===的区别，也不是任何时候都要===来判断。
Anything: 帮助你找到学习任何知识时的最佳路径 了解新闻 Hacker News : 针对程序员的新闻聚合，通过新闻稿获取头条新闻 Hacker Newsletter : 手工编辑，周周更新...使用韦恩图进行SQL连接 10个最频繁的SQL查询面试问题 准备学习SQL篇：用语言描述一下数据库规范化 - Essential SQL 编程语言概念 课堂笔记 : 面向对象概念和编程语言概念...ChiperSoft/InterviewThis : 在面试期间问到对公司的了解的问题 SQL面试问题 : 好的SQL测试 纪录片 机器改变世界 - 关于计算机历史的纪录片 Part...github.com/prakhar1989/awesome-courses/blob/master/README.md : 网上CS课程的收集 和你钟爱的编程语言相关的网站(对我来说是Java) Java的过去...各种科目的小班课程 National Geographic : 来自世界各地的高品质内容 Barcroft TV : 构成世界的各种各样的人的短小的纪录片 ColdFusion : 过去的当前的以及未来的技术
数据流向关系的来源：来源比较多，ETL工具、传统的Sql脚本为核心的存储过程、Shell脚本、Perl脚本以及大数据中应用的Spark sql、sqoop脚本等。关系解析比较复杂正确率有待提升。...2.数据流向关系分析的缺陷 当前元数据产品对数据流向关系的分析是逐层分析，例如 A、B、C元数据与D元数据有关系，D元数据与E、F、G元数据有关系，通过对A做影响分析的时候，我得出的是A—>D—>（E、...3.切片分析提升分析准确性 切片分析就是利用数据加工处理的程序的逻辑（通常是Sql脚本中的where条件），将中间的物理的汇总表切分为几个逻辑表，分别从汇总表前切分及汇总后进行切分。...1、 汇总表前切片分析： 假如以下SQL是“明细数据A”到“指标汇总表”加工ETL insert into C(c01, c02, c03) select '100', T.t02, T.t03 from...( select tt.a01 as t01, tt.a02 as t02, tt.a03 as t03 from A tt ) T 以下SQL是“明细数据B”到“指标汇总表”加工ETL insert
一、前提概要 大数据平台开发规范示例 发布一段时间后，有小伙伴表示我汤姆就是个Sql Boy，可否来个 数据仓库开发规范示例？安排！...调侃归调侃，如果想做一名合格的Sql Boy，还真不容易...... 一臻在此，对过去和做数仓Ing的小伙伴们，行361°C鞠躬Respect以表敬意。 二、数仓分层原则及定义 1....该层使用DWD层数据，维度数据，对业务上有关联的实体做连接，形成统一粒度的，跨业务流程的，多业务实体的，轻度汇总数据。...周期快照型事实表：有规律的，可预见的时间间隔的业务累计数据，比如按天、周、月等做业务的统计度量。...处理过程分为实时和离线，实时接入的数据需要有对应的数据写入状态(新增、修改、删除)，实时数据写入时间 快照表处理 对于源表数据量少于100万的，可按天/周/月不同的周期间隔，做全量快照表 对于源表数据量大于
总第245篇/张俊红 对Sql比较了解的同学，应该都听过Sql中的窗口函数，感觉掌握了窗口函数就可以说自己精通Sql了，在Python中也有类似的窗口函数。...天与天之间不可比，但是周与周之间大部分情况是可比的，因为一周7天基本覆盖了全部业务情况。...周与周之间比较久涉及到周应该怎么算，如果是按照自然周去算的话，一年大约也就52周，这对于号称大数据时代来说，数据肯定是有点少，那怎么办才能既覆盖到比较全的业务场景，又能够增加数据点呢？...rolling以后除了求和以外还可以进行其他运算，比较常用的运算有： 计数：count() 求均值：men() 求最值：min()、max() 求方差：var() 求标准差：std() 除了常用的这些汇总运算以外
一个优秀的 SQL 开发人员是能够以他们喜欢的任何方式操作数据的——其中很大一部分是能够操作日期。...在本文中，我们将深入探讨 SQL 中 5 个最重要和最有用的 DATE 函数以及一些可以使用它们的实际业务案例。...DATE_TRUNC 在你希望定期（例如每周、每月或每年）汇总数字时非常有用 DATE_TRUNC 在进行分组分析时是必要的，你通常按月对用户进行分组 示例 ：假设你想从下表中获得每周的销售额总和：...DATE_DIFF() 在 WHERE 子句中也很有用，如果你想过滤 X 周期前发生的日期（例如 5 天前、2 周前、上个月）。...使用 CURRENT_DATE() 是引用今天日期的一种更简单的方法，而不是硬编码的日期，如果它是在 Airflow 上固化的查询或你经常使用的查询，这尤其有用 示例 1：假设你想获取过去一周内发货的所有订单
今天给大家分析几个SQL方面的DeepSeek提示词，即使是不会SQL的小白都能用，当然如果你懂一点SQL皮毛那就更简单了。...一、SQL生成类提示词 基础查询生成 我使用的是MySQL数据库， 请生成一个SQL查询：从[表名]中筛选[条件]， 并按[列名]降序排列，仅返回前10条记录。...时间范围查询 我使用的是MySQL数据库， 生成查询：统计2023年1月到6月期间， 每日的销售额，并按月份汇总。...时间序列分析 我使用的是MySQL数据库， 生成SQL：按周统计过去3个月的订单量趋势， 并对比同期增长率。...如何用SQL监控？ 六、高级功能提示词 窗口函数应用 我使用的是MySQL 8.0数据库， 生成SQL：计算每个部门内员工的工资排名 （使用ROW_NUMBER或RANK）。
DDIA 读书分享会，会逐章进行分享，结合我在工业界分布式存储和数据库的一些经验，补充一些细节。每两周左右分享一次。 事务型还是分析型 术语 OL（Online）主要是指交互式的查询。...在模型层面来说，SQL 足够灵活，能够基本满足 AP 查询需求。...因此，在同一套 SQL 接口的表面下，两者对应的数据库实现结构差别很大。...其中一个值得一提的是物化聚合（materialized aggregates，或者物化汇总）。 物化，可以简单理解为持久化。本质上是一种空间换时间的 tradeoff。...数据立方 上图是一个按日期和产品分类两个维度进行加和的数据立方，当针对日期和产品进行汇总查询时，由于该表的存在，就会变得非常快。
当时的面试官让我现场写 SQL，信心满满的我，我觉得我可以做出来，然后10分支、20分钟、30分钟...过去了，很遗憾一点动静都没有。 最后的我不得不服，结局相信大家也能猜到是啥了！...面对这种场景需求，我们多半会采用通过 sql 方式来解决，那么通过 sql 方式破解呢？...请看下图 其中最关键的一步就是先用case when ... then ... else ... end语法将不同的课程分数分离出来，然后通过sum + group聚合函数查询进行分数汇总，最后通过order...其实像这样的行转列的查询逻辑非常的普遍，例如刚过去的奥运奖牌排行榜！ 还有全球新冠疫情数据排名。...可能不同的应用实现方式不一样，但是大体的解决思路是一样的，将数据进行分组聚合汇总，然后按照分数进行从高到低排名。
过去三周整理完成以下四期Python专题： 1我的施工计划 2数字专题 3字符串专题 4列表专题 5流程控制专题 近来有朋友问我可否整理一个pdf版本，从下午到现在使用vscode 及相关插件markdown...pdf ，精心制作了以上四期汇总后的pdf，pdf 左侧大纲目录如下： ?
大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待更新的数据所属的整个分区，甚至是整个表进行全面覆盖才行，由于离线数仓多级逐层加工的架构设计...，数据更新时也需要从贴源层开始逐层反应到后续的派生表中去。...对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据，比如最近一周，甚至最近一天。...为了解决Kappa架构的痛点问题，业界最主流是采用“批流一体”方式，这里批流一体可以理解为批和流使用SQL同一处理，也可以理解为处理框架的统一，例如：Spark、Flink，但这里更重要指的是存储层上的统一...Iceberg扫描计划很快，读取表或者查询文件可以不需要分布式SQL引擎。Iceberg通过表元数据来对查询进行高效过滤。基于乐观锁的并发支持，提供多线程并发写入能力并保证数据线性一致。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
腾讯会议
