首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

助力工业物联网,工业大数据之服务域:项目总结【三十九】

,分派工单:联系站点主管,站点主管分配服务人员 工单信息记录在:服务单信息表、工单信息表 step3:服务人员确认工单和加油站点信息 具体工单信息表:安装单、维修单 step4...,存储所有用户、运营数据 工单信息、用户信息 呼叫中心系统:负责实现所有客户的需求申请、调度、回访等 呼叫信息、分配信息、回访信息 核心数据表 运营分析 工单分析、...数据来源:对DWD层的数据进行清洗过滤、轻度聚合以后的数据 存储设计:Hive分区表,orc文件格式存储,保留所有数据 ST:数据应用层:类似于以前讲解的APP,存储每个主题基于维度分析聚合的结果:周期快照事实表...DIM:存储维度数据表 数据内容:存储所有业务的维度数据:日期、地区、油站、呼叫中心、仓库等维度表 数据来源:对DWD的明细数据中抽取维度数据 存储设计:Hive普通表,orc文件 + Snappy压缩...2.根据原始数据表,批量创建hive表,设置分区、存储格式。 3.根据业务关联关系以及分析指标,建立数仓模型。 4.实现数据模型中的各个数仓分层的数据建模,建表。

23720
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    存储优化--分区与冷热分离

    ,每次查询数据时我们不需要查询全部数据,只需要查询特定分区即可,例如数据表按照日期分区,每个年月是一个分区,那么当我们查询某年某月的数据时,只需要一个分区的数据即可(当然,这里说的查询可能不严谨,这里只是举例子而已...2.2 针对客服工单系统的处理方案 在客服工单系统中,我们有一个工单表,主要的表结构由:工单编号、工单创建日期、工单状态(进行中、无人处理、已关闭)、客服最后操作时间、最后处理人以及最后处理人所在组组成...系统在邮件服务中获取到客服邮件后会创建工单; 客服需要查询无人处理的工单; 客服查询自己正在处理的工单; 客服主管/组长查询最近一个月工单完结的情况; 工单处理完毕后,客服关闭工单。...分析的这五个方面,出现了三个适合做分区的字段:工单创建时间、工单状态、客服最后操作时间。那么哪个或哪几个更适合做分区字段呢?...经过这样的处理,工单列表的查询速度就有了质的提高,每次查询 SQL 语句只用去扫描A分区就可以了。

    1.1K30

    MySQL分页查询详解:优化大数据集的LIMIT和OFFSET

    尽管工单数量并不多,只有3000多条,但每个工单都包含了大量的信息。DBA进行了多次导出操作,不幸的是,每次尝试导出都导致了操作平台的卡顿和无响应。...其基本语法如下: SELECT * FROM 表名 LIMIT 行数; 例如,要从名为mark_info的表中选择最新创建的10个工单的信息,可以执行以下查询: SELECT * FROM mark_info...例如,要从mark_info表中选择选择最新创建的第11到第20个工单的信息,可以执行以下查 SELECT * FROM mark_info ORDER BY CREATE_TIME DESC LIMIT...bus_work_order_operate_info的表,其中存储了大量工单操作记录。...以下是如何执行分页查询的示例: -- 第一页,显示最新的10个工单操作信息 SELECT * FROM bus_work_order_operate_info ORDER BY OPERATE_TIME

    1.7K30

    MySQL分页查询详解:优化大数据集的LIMIT和OFFSET

    尽管工单数量并不多,只有3000多条,但每个工单都包含了大量的信息。DBA进行了多次导出操作,不幸的是,每次尝试导出都导致了操作平台的卡顿和无响应。...其基本语法如下:SELECT * FROM 表名 LIMIT 行数;例如,要从名为mark_info的表中选择最新创建的10个工单的信息,可以执行以下查询:SELECT * FROM mark_info...例如,要从mark_info表中选择选择最新创建的第11到第20个工单的信息,可以执行以下查SELECT * FROM mark_info ORDER BY CREATE_TIME DESC LIMIT...的表,其中存储了大量工单操作记录。...以下是如何执行分页查询的示例:-- 第一页,显示最新的10个工单操作信息SELECT * FROM bus_work_order_operate_info ORDER BY OPERATE_TIME DESC

    72100

    PM第一节:后台配置(全)

    5 工单 5.1 定义工单状态 5.2 配置工单类型 5.3 配置工单编号范围 5.4 分配订单类型给维护工厂 5.5 定义每个订单类型的计划标识的缺省值 5.6 定义外部采购的缺省值参数文件 5.7...定义订单中货物移动的凭证 5.13 定义参数文件(优先类型) 5.14将当前日期的缺省值作为基本日期激活 5.15将订单的状态参数文件分配给工单类型 5.16 定义工序单位缺省值 5.17 定义工单产生的申请凭证类型...验收状态: 结束状态: 删除状态: 5.2 配置工单类型 工厂维护和客户服务>维护和服务处理> 维护和服务订单 >订单类型的功能和设置 >配置订单类型 5.3 配置工单编号范围...>将当前日期的缺省值作为基本日期激活 5.15将订单的状态参数文件分配给工单类型 工厂维护和客户服务>维护和服务处理> 维护和服务订单 >常规数据 >订单的用户状态 >定义状态参数文件 5.16...>订单类型的功能和设置>物料,PRT 和能力可用性检查>定义检查范围 在PM工单中,利用“物料可用性检查”功能,可以查看该工单中提出需求的物料(备件)的库存情况是否满足要求。

    1.3K42

    大型.NET ERP系统的20条数据库设计规范

    : UPDATE Company SET Code='FLEX' WHERE Recnum=23 2 每个表增加4个必备字段,用于记录该笔数据的创建时间,创建人,最后修改人,最后修改时间 [CreatedDate...3 主从表的主外键设计 主表用参考编号RefNo作为主键,从表用RefNo,EntryNo作为主键。...9 每个单据表头和明细各增加10个自定义字段,基础资料表增加20个自定义字段 参考供应商主档的自定义字段,自定义字段的名称统一用UserDefinedField。...OrderDate 订单日期 PayDate 付款日期 CreatedDate 创建日期 RevisedDate 修改日期 SettleDate 付款日期 IssueDate 发出日期 ReceiptDate...18 数据表的主键用字符串而不是数字 比如销售单中的货币字段,是存放货币表的货币字符串值RMB/HKD/USD,还是存放货币表的数字键,1/2/3。

    1.3K60

    助力工业物联网,工业大数据之事实主题指标划分【十八】

    :不会有新的工单产生:咨询类寻求 呼叫中心不能直接解决:构建工单 网点:呼叫中心将工单分派给网点 工单:分配工程师确认工单 油站:实施具体的工单需求 仓储物料:申请仓库调度零配件,有零配件费用 差旅费用...:交通费用、住宿费用、加油费用、补贴费用 回访:呼叫中心将完成的订单进行电话回访 呼叫中心事实指标:来电受理次数、分派工单次数 油站事实指标:油站个数、停用油站个数、油站设备个数 工单事实指标:安装工单个数...select callaccept_id,status from ciss_service_workorder; -- 查看每个状态的含义 select * from eos_dict_type where...; 建表 -- 创建呼叫中心 | 来电受理事实表 -- 如果interval进不去,用`interval`圈起来,指明是字段 drop table if exists one_make_dwb.fact_call_service...-处理方式' -- 工单信息表:得到工单状态:-2:退单,-1:作废 left join one_make_dwd.ciss_service_workorder workorder on workorder.dt

    20020

    ETL和数据建模

    (五)创建事实表 在确定好事实数据和维度后,我们将考虑加载事实表。...(三)日志表的运用 在对数据进行处理时,难免会发生数据处理错误,产生出错信息,那么我们 如何获得出错信息并及时修正呢?...; 通常建一张名为VT_NEW_编号的临时表,用于将各组当日最新数据转换加到VT_NEW_编号后,再一次附加到最终目标表; 19....通常建两张临时表,一个名为VT_NEW_编号,用于将各组当日最新数据转换加到VT_NEW_编号;另一张名为VT_INC_编号,将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据(新增和修改...通常建两张临时表,一个名为VT_NEW_编号,用于将各组当日最新全量数据转换到VT_NEW_编号;另一张表名为VT_INC_编号,将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据(新增

    1.1K20

    MySQL基础篇——MySQL数据库 表的操作,

    查询指定表的建表语句 show create table 表名 ; 通过这条指令,主要是用来查看建表语句的,而有部分参数我们在创建表的时候,并未指定也会查询 到,因为这部分是数据库的默认值,如:存储引擎...接下来 , 我们就来详细介绍一下 MySQL 的数据类型。 MySQL 中的数据类型有很多,主要分为三类: 数值类型、字符串类型、日期时间类型。 1)....: create table emp( id int comment '编号', workno varchar(10) comment '工号', name varchar(10) comment...; SQL语句编写完毕之后,就可以在MySQL的命令行中执行SQL,然后也可以通过 desc 指令查询表结构信息: 表结构创建好了,里面的 name 字段是 varchar 类型,最大长度为 10...,也就意味着如果超过 10 将会报 错,如果我们想修改这个字段的类型 或 修改字段的长度该如何操作呢?

    27820

    万字长文带你了解ETL和数据建模~

    5.创建事实表 在确定好事实数据和维度后,我们将考虑加载事实表。...3.日志表的运用 在对数据进行处理时,难免会发生数据处理错误,产生出错信息,那么我们 如何获得出错信息并及时修正呢?...; 通常建一张名为VT_NEW_编号的临时表,用于将各组当日最新数据转换加到VT_NEW_编号后,再一次附加到最终目标表; 18.近源模型层到整合模型层的数据流算法-MERGE INTO算法 此算法通常用于无删除操作的常规状态表..._编号,用于将各组当日最新数据转换加到VT_NEW_编号;另一张名为VT_INC_编号,将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据(新增和修改)放入VT_INC_编号,然后再将最终目标表的开链数据中的...; 通常建两张临时表,一个名为VT_NEW_编号,用于将各组当日最新全量数据转换到VT_NEW_编号;另一张表名为VT_INC_编号,将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据

    1.4K10

    通俗易懂讲数据仓库之【缓慢变化维】

    当一个维度值的数据源发生变化,并且不需要在维度表中保留变化历史时,通常用新数据来覆盖旧数据。这样的处理使属性所反映的中是最新的赋值。 例如: 用户维度表 修改前: ? 修改后: ?...生效日期(dw_start_date) 失效日期(dw_end_date) 只同步当天修改的数据到ods层 拉链表算法实现 编写SQL处理当天最新的数据...(新添加的数据和修改过的数据) 编写SQL处理dw层历史数据,重新计算之前的dw_end_date 拉链表的数据为:当天最新的数据 UNION ALL 历史数据 4.3 具体实现 MySQL...关于如何使用Kettle同步数据的操作博主已经在上面一篇博客大数据实战【千亿级数仓】阶段二详细说明了,感兴趣的朋友可以去看看。...<= '${dt}' 3、编写SQL从ods导入dw当天最新的数据 -- 从ods层导入dw当天最新数据 insert overwrite table `demo`.

    6.2K54

    Java知识点——MySQL

    SQL 5.1 SQL语句概述 SQL是数据库通用查询数据,不管是MySQL,Oracle,SQL Server都是支持标准SQL语句。不同数据库都会有自己特定的一些SQL语言。...= 80; 7.3.4 逻辑判断(and, or, not) -- 查询在员工表内容,要求工资大于10000并且部门编号为80 对应的ID号,名,工资和部门ID select EMPLOYEE_ID,...where COMMISSION_PCT is not null; 7.3.7 枚举查询 in -- 查询部门编号为60, 70, 90员工名字和对应部门编号 -- in查询效率较低,推荐使用多条件拼接完成查询操作...'D' else 'E' end as 'LEVEL' from t_employees; 7.4 时间查询 -- 语法 select 时间函数([参数列表]); -- 查询时间情况下,得到的是一个单列单表...curtime() 当前时间 week() 指定日期是这一年的第几周 hour() 指定日期是今天第几个小时 minite() 指定日期是小时的第几分钟 second() 指定日期是分钟的第几秒 select

    81810

    mysql基础学习之认识基础数据类型(一)

    这样的数值存在;我们就可以考虑使用double类型来存储这个变量;在SQL语句中 double 有两个参数 ,第一个: 数值的最长长度 score一般是4位 100.0第二个: 允许整数后几个数值存在...变长字符串 变量存储一个字符 就占一个字符 ; 最多存储10个字符 性能较差 varchar(10)char: 定长字符串 变量存储一个字符 也占10 个字符大小; 性能好' chat(10)1.3日期类型...31DATE 3 范围1000-01-01 至 9999-12-31 格式 YYYY-MM-DD 描述 日期值 birthday date;2....Demo 习题展示根据需求创建表(设计的数据类型、长度)设计一张员工信息表,要求如下:编号(纯数字)员工工号(字符串类型,长度不超过10位)员工姓名(字符串类型,长度不超过10位)性别 (男/女,存储一个汉字...)年龄(正常人年龄,不可能存储负数)身份证号(工代身份证号均为18位,身份证中有X这样的字符)入职时间(取值年月日即可) create table emp ( id INT, /*编号 */

    16010

    系统上线前,被坑了。。

    有时候字段的注释没有及时修改。 有时候有些新表没创建。 有时候字段类型忘了修改。 等等。 我们的 SQL 脚本中漏脚本的情况有很多。 那么,如何解决这个问题呢? 答:将 SQL 脚本做成代码的一部分。...在项目的代码中,创建一个专门的sql目录,在该目录下根据每个迭代创建一个子目录,比如:mv3.2.1,将SQL脚本存放到 mv3.2.1 下。...工单时,该工单被DBA审核拒绝打回来了。...DBA先把他的SQL工单审核通过了,先update数据,此时通过id是没法找到那条数据的,影响行数为0。 然后DBA再审核你的SQL工单,审核通过了,插入了一条数据。...在执行SQL脚本的时候,由于我们自己的疏忽,提SQL工单时选错数据库了,或者DBA的疏忽,在执行SQL工单时搞错数据库了,就会出现问题。

    67610

    解析大型.NET ERP系统 20条数据库设计规范

    1 所有的表的第一个字段是记录编号Recnum,用于数据维护 ? 在进行数据维护的时候,我们可以直接这样写: ?...2 每个表增加4个必备字段,用于记录该笔数据的创建时间,创建人,最后修改人,最后修改时间 ? 框架程序中会强制读取这几个字段,默认写入值。...3 主从表的主外键设计 主表用参考编号RefNo作为主键,从表用RefNo,EntryNo作为主键。...RefNo是字符串类型,可用于单据编码功能中自动填写单据流水号,从表的EntryNo是行号,LineNo是SQL Server 的关键字,所以用EntryNo作为行号。...18 数据表的主键用字符串而不是数字 比如销售单中的货币字段,是存放货币表的货币字符串值RMB/HKD/USD,还是存放货币表的数字键,1/2/3。

    2.5K70

    关系数据理论-数据库习题

    互相关联的 正确答案: B 每个属性不可再分是SQL92标准对关系的基本要求,目前绝大多数数据库都实现的SQL92标准,但SQL99标准允许一个属性多值 当关系模式R(A,B)已属于3NF,下列说法中...BCNF 正确答案: A 1NF是要求每个属性不可再分,这是SQL92标准对关系的基本要求,目前绝大多数数据库都实现的SQL92标准,但SQL99标准允许一个属性多值 在关系模式中,如果属性A和...( ) 学生选课记录表(学生编号,课程编号,学生姓名,学生年龄,课程名称,课程学分,选修成绩) A. 满足第三范式 B. 仅满足第一范式 C. 满足第二范式 D....都不满足 正确答案: B 识别出该表的码是(学生编号、课程编号),存在部分依赖,不符合2NF 下列关于函数依赖描述错误的是:( ) A. 若A→B,B→C,则A→C B....若BC→A,则B→A,C→A 正确答案: D 例如:学号和课程号共同确定了一个成绩,单有学号不能唯一确定一个成绩,单有课程号同样如此 给定关系模式R,U={A,B,C,D},F={A→

    53510
    领券