大家好，上节简单演示在Access数据库中创建对应的表的步骤。本节简单汇总下字段的数据类型，属性在下节介绍。
③定量的，定量数据：反映事物数量特征的数据，如长度、面积、体积等几何量，重量、速度等物理量；
核心：从业务架构设计（如何快速上手工作）到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设。
来源：大数据与机器学习文摘 五分钟学大数据 本文约20000字，建议阅读25分钟 本文介绍了大数据领域建模的方法。 一、大数据领域建模综述 1.1 为什么需要数据建模 有结构地分类组织和存储是我们面临的一个挑战。 数据模型强调从业务、数据存取和使用角度合理存储数据。 数据模型方法，以便在性能、成本、效率之间取得最佳平衡。 成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。 效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率。
客户流失分析就是查找哪些是大客户，并且有一段时间未消费了，及时进行关系维护。 要做的事情是对客户字段分组汇总，计算消费次数和最后消费时间。 1、数据准备-自建数据集。 2、过滤（清洗数据）。 3、分组汇总，分组：客户字段，汇总：消费次数计数、最晚时间。 4、新增列，时间差，系统时间-最晚时间，输出月份数量。 📷 📷
如果性能问题是出在程序上，那么就要根据业务对程序中的函数进行调整，可能是函数中的写法有问题，算法有问题，这种调整如果不能解决问题的话，那么就要从架构上进行考虑，我们是不是应该使用这种技术，有没有替代的方案来实现同样的业务功能？举个简单的例子，假设经过跟踪发现，一个负责生成图表的函数存在性能问题，尤其是在压力测试情况下性能问题尤为严重。原来的图表生成是完全基于GDI+在Web服务器上根据数据进行复杂的绘图，然后将绘出的图片保存在磁盘上，然后在HTML中添加Img标签来引用图片的地址。现在使用GDI+会消耗大量内存和CPU，而算法上也没有太大的问题，那么这种情况下我们就需要考虑修改架构，不使用GDI+ 绘图的方式，或者是使用异步绘图的方式。既然绘图会消耗大量的服务器资源，那么一种解决办法就是将绘图的操作从服务器转移到客户端。使用SilverLight技术，在用户打开网页是只是下载了一个SilverLight文件，该文件负责调用Web服务器的Web服务，将绘图所需的数据获取下来，然后在客户端绘图展现出来。这样服务器只提供WebService的数据访问接口，不需要做绘图操作。
数据分组是对相同类别的数据进行汇总，而数据透视表是通过对行或列的不同组合对数据进行汇总，所使用的汇总方法有求和、计数、平均值、标准差等，本文使用SQL对数据进行数据分组和数据透视，下面一起来学习。
近期，突然要做一个大量数据聚合的任务，由于原始数据在ES里面，所以针对ElasticSearch的聚合能力进行了一个研究，里面有些比较好玩的内容，这里分享给大家
一、指导思想 二、数据调研 三、架构设计 四、指标体系搭建 五、模型设计 六、维度设计 七、事实表设计 八、其他规范
数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。
作为 2018年 的终结篇并同时开启 2019，Excel120 将以此篇揭示 PowerBI 可以做出的最强大图表以及固定套路。
SUM返回与expression相同的数据类型，但有如下异常:TINYINT、SMALLINT和INTEGER返回的数据类型都是INTEGER。
1.2.2 DWM 轻度汇总层(MID或DWB, data warehouse basis)
在使用ORACLE、MYSQL以及MongoDB数据库时,其中查询时经常遇到NULL的性能问题，例如Oracle的索引中不记录全是NULL的记录,MongoDB中默认索引中会记录全是null的文档，MongoDB查询等于null时，表示索引字段对应值是null同时还包括字段不存在的文档.因为MongoDB是动态模式,允许每一行的字段都不一样,例如记录1中包括包括字段A等于1,记录2包括字段A等于null,记录3不包括字段A,那么索引中不仅会包括A等于null的文档，同时也记录不包括A字段的文档，同样会赋予null值(空数组属于特殊的).正是由于这些设计规则不同,难免在使用过程中就会遇到各种性能问题.常见查询包括统计null总数以及对应明细数据.其中以汇总统计为例.
导读：分库分表能有效的环节单机和单库带来的性能瓶颈和压力，突破网络IO、硬件资源、连接数的瓶颈，同时也带来了一些问题。
随着时代的发展，人工智能、机器学习、数据挖掘等技术逐渐普及，各个领域都在尝试使用这些技术与领域内现有知识结合，从而拓展现有的研究。
1）第一种：让开发帮忙生成多个token（多个用户账户生成的token），导出为csv格式的文件(以下步骤均以该方法为基础)
最近面试过程中遇到问Elasticsearch的问题不少，这次总结一下，然后顺便也了解一下Elasticsearch内部是一个什么样的结构，毕竟总不能就只了解个倒排索引吧。本文标题就是我遇到过的两个问题，所以此次基本上只是围绕着这两个问题来总结。
(1) 可加性事实是指可以按照与事实表关联的任意维度进行汇总。 示例：交易订单记录表中的【用户ID】可以进行count|distinct count汇总
现在“大数据”非常的火。我们看到有各种相关的技术文章和软件推出，但是，当我们面对真正日常的业务时，却往往觉得无法利用上“大数据”。初步想来，好像原因有两个：第一个原因是，我们的数据往往看起来不够“大”，导致我们似乎分析不出什么来。第二个原因是，大数据往往其作用在于“预测”，比如给用户推荐商品，就是通过预测用户的消费倾向；给用户推送广告，局势通过预测用户的浏览习惯。然而很多时候我们要的并不是预测，而是弄明白用户本身的情况。 对于业务中产生的数据，一般我们期望有几种用途：一是通过统计，用来做成分析报告，帮助人
N个机台将业务数据发送至服务器，服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。
📷 💂作者简介： THUNDER王，一名热爱财税和SAP ABAP编程以及热爱分享的博主。目前于江西师范大学本科在读，同时任汉硕云（广东）科技有限公司ABAP开发顾问。在学习工作中，我通常使用偏后端的开发语言ABAP，SQL进行任务的完成，对SAP企业管理系统，SAP ABAP开发和数据库具有较深入的研究。 ---- 💅文章概要： 各位小伙伴们大家好呀！今天继续SAP ABAP系列文章的讲解，本节带来的内容是OPEN SQL中GROUP BY语句和HAVING语句以及ORDER BY语句的介绍，希
1、行列转换： decode(条件,值1,返回值1,值2,返回值2,...值n,返回值n,缺省值); select decode(sign(变量1-变量2),-1,变量1,变量2) from dual; --取较小值 sign()函数根据某个值是0、正数还是负数，分别返回0、1、-1 例如: 变量1=10，变量2=20 则sign(变量1-变量2)返回-1，decode解码结果为“变量1”，达到了取较小值的目的。 举例：查询emp表中的每个部门的人数？ SELECT sum(deco
最近在学习MySQL优化方面的知识。本文就数据类型和schema方面的优化进行介绍。
1. 关系明确（理清表之间的关系，可以通过冗余的方式提高效率） 2. 节省空间（根据业务经验，设置字段长短） 3. 提高效率
MySQL-性能优化-优化设计和设计原则 MySQL性能优化目的 如何合理的设计数据库？ 什么样的数据库设计才能给后期DBA优化提供基石？ 数据库设计与程序设计的差异？ 数据库设计早期优化
事实表 每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性纬度表的主键，而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息，也不应该包含除数字度量字段及使事实与纬度表中对应项的相关索引字段之外的任何数据。 包含在事实数据表中的“度量值”有两中：一种是可以累计的度量值，另一种是非累计的度量值。最有用的度量值是可累计的度量值，其累计起来的数字是非常有意义的。用户可以通过累计度量值获得汇总信息，例如。可以汇总具体时间段内一组商店的特定商品的销售情况。非累计的度量值也可以用于事实数据表，单汇总结果一般是没有意义的，例如，在一座大厦的不同位置测量温度时，如果将大厦中所有不同位置的温度累加是没有意义的，但是求平均值是有意义的。 一般来说，一个事实数据表都要和一个或多个纬度表相关联，用户在利用事实数据表创建多维数据集时，可以使用一个或多个维度表。 维度表 维度表可以看作是用户来分析数据的窗口，纬度表中包含事实数据表中事实记录的特性，有些特性提供描述性信息，有些特性指定如何汇总事实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构。例如，包含产品信息的维度表通常包含将产品分为食品、饮料、非消费品等若干类的层次结构，这些产品中的每一类进一步多次细分，直到各产品达到最低级别。 在维度表中，每个表都包含独立于其他维度表的事实特性，例如，客户维度表包含有关客户的数据。维度表中的列字段可以将信息分为不同层次的结构级。 结论
财务会计（新）-财务会计基本设置（新）-分类帐-字段-客户字段-编辑编码块（OXK3）；
聚合查询，它是在搜索的结果上，提供的一些聚合数据信息的方法。比如：求和、最大值、平均数等。聚合查询的类型有很多种，每一种类型都有它自己的目的和输出。在ES中，也有很多种聚合查询，下面我们看看聚合查询的语法结构，
CodingBlock客户化自定义新字段 1、Coding Block新字段 财务会计（新）-财务会计基本设置（新）-分类帐-字段-客户字段-编辑编码块（OXK3）； 添加字段如图； 该步骤比较耗时，完成后，可查看客户化字段已经创建； 2、安装新字段到新总账汇总表FAGLFLEXT中 财务会计（新）-财务会计基本设置（新）-分类帐-字段-客户字段-包括总计表中的字段（FAGL_GINS）； 输入表FAGLFLEXT，修改进入，将自定义字段加入，保存并激活； 该步骤耗时，完成后退出，在初始界面激活汇总表； 使用SE16，检查表FAGLFLEXT和BSEG，发现字段ZZFI已经加入了； 新增补的字段需要更改其记账码和字段状态组的字段状态（可使用事务码：FBKP），才能正常显示和输入，系统默认的状态是为“隐藏”。注意维护的语言，否则可能看不到字段名； 3、为Coding Block新字段定义凭证输入的子屏幕 为了使新增补的字段能在凭证输入时比较方便的输入，使新增的字段能出现在事务OXK3的屏幕中：发票/贷项发票快速输入、总账快速输入、科目分配和预制凭证等； 财务会计（新）-财务会计基本设置（新）-分类帐-字段-客户字段-编辑编码块（OXK3）； 选择菜单“环境”，“预备快速输入”进入新的屏幕； 执行完成后，即可在FB50，F-02的屏幕中看到新增字段； 可以通过维护自定义屏幕变式和自定义子屏幕来设置字段出现的位置，路径如下： 财务会计（新）-总账会计核算（新）-业务交易-总账会计过帐-满意-在Enjoy事务中包括客户字段； 财务会计（新）-财务会计基本设置（新）-分类帐-字段-为编码块定义子屏幕（OXK1）； 4、为Coding Block新字段维护数据表内容 使用事务SE11创建客户自定义的数据表ZZFI_BB； 点创建后进入表格创建界面，维护参数 创建字段如下； 维护技术设置； 保存后激活；然后可以使用事务SE16直接维护数据表ZZFI_BB的内容； 但对于一般的最终用户来说不会被分配访问数据表的操作权限，因此需要开发人员编写一段ABAP程序以使最终用户能简单方便的维护数据表内容； 5、定义Coding Block新字段的搜索帮助 为了在数据输入时方面的选择输入其数据值（F4），需要为新增补的字段创建搜索帮助；使用事务SE11创建搜索帮助； 点击创建，选择“基本索引帮助”，进入创建搜索帮助界面； 保存并激活； 6、分配搜索帮助给Coding Block新字段 使用事务SE11将创建号的搜索帮助分配给新增补字段； 保存并激活； 7、分配数据检查表给Coding Block新字段 使用事务SE11修改结构CI_COBL； 点修改进入，选中所需要维护的组件ZZFI，点 ，进入搜索帮助及检查视图； 点击按钮选择“外来码”，系统弹出对话框“外来关键词不存在，创建带值表ZZFI_BB的建议作为检查表格？”，选择“是”，接受系统建议； 选择“复制”复制外来码关键字检查表ZZFI_BB；此时可以看到ZZFI_BB已经填入到CheckTable中了； 保存并激活；此时可以使用FB50，F-02试试效果； 8、把方案和客户字段分配到分类帐 财务会计（新）-财务会计基本设置（新）-分类帐-分类帐-把方案和客户字段分配到分类帐 将客户字段ZZFI添加到分类帐OL中，这样表FAGLFLEXT中，就能对字段ZZFI产生一条汇总记录；经过这样设置，可以查询查询针对ZZFI的期初、发生、期末的数据了；
维度是维度建模的基础和灵魂。在维度建模中，将度量称为“事实” ， 将环境描述为“维度”。
报表测试是一项重要的测试内容，因为面对的使用群体一般是公司高层或者用户中的重要群体。出现问题影响较大，所以必须仔细且谨慎对待。本文根据自己之前的测试经验，结合其它相关资料，做个简单的总结汇总，如有其它建议，可以留言或者私聊，期待沟通交流。
优秀可靠的数仓体系，往往需要清晰的数据分层结构，即要保证数据层的稳定又要屏蔽对下游的影响，并且要避免链路过长。那么问题来了，一直在讲数仓要分层，那数仓分几层最好？
以上是几种常见的设计方案，具体根据业务场景去选择。当然实际业务场景中也可借助一些系统已经使用的中间件，比如Redis
英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。
1、建立逻辑数据模型为第一阶段，包括对应用程序需要处理和存储的信息进行建模，并确保所有必要的数据都能够正确、完整且无歧义地表示。在关系数据库的实现中，这通常是指构造一个标准化的实体-关系(E-R)模型。
本文档制定了XX数据仓库中数据库对象的命名规范（用户、表、视图、存储过程、函数、表分区、主键、索引、序列等）、数据库编程规范，JAVA编程规范为系统设计和开发工作提供统一的命名标准，提高系统的规整性和代码的可读性，减轻维护工作量，提高工作效率。
performance_schema 是 MySQL 数据库中的一个内置的系统数据库，最早从MySQL5.5版本产生，这个数据库主要用于收集和存储与数据库性能相关的统计信息和指标。
本文主要讲解数据仓库的一个重要环节：如何设计数据分层！ 其它关于数据仓库的内容可参考之前的文章。
本文介绍了如何在大数据GIS应用中利用SuperMap iObjects Java for Spark实现分布式空间大数据处理和分析，包括空间数据索引、空间数据复制、空间数据连接、空间数据聚合等。通过这些功能，用户可以方便地对空间大数据进行预处理、分析、可视化，从而为城市规划、公共安全、环境保护等领域提供有价值的决策支持。
原文：http://www.enmotech.com/web/detail/1/703/1.html
前段时间看到了一篇文章，很有启发，就有了这篇推送。文章中所讨论的使用熵值来计算城市的功能混合度，思路很棒。
对缺失值的处理是数据预处理中的重要环节，造成数据缺失的原因有：数据丢失、存储故障和调查中拒绝透露相关信息。这里我们使用VIM包中的sleep数据集为样本，介绍缺失值处理的方法。sleep数据集纪录了62个哺乳动物的睡眠信息，包括体重，睡眠时长，做梦时长等。 缺失值分类 1，完全随机缺失（MCAR）：缺失数据与其他变量无关。如果每个缺失变量都为MCAR，则完整样本可看为更大数据集的简单抽样。 2，随机缺失（CAR）：缺失数据与其他观测变量相关，与本身变量不相关。比如体重小的动物Dream数据更容易缺失（较小动
本文共5500字，建议阅读10+分钟。 一个物理表的数据量太大时，就会影响查询和计算的性能。
在我们的土地利用研究过程中，常常会用到土地利用转移矩阵，接下来，我就将详细介绍转移矩阵的制作方法。
当今时代，报表作为信息化系统的重要组成部分，在日常的使用中发挥着关键作用。借助报表工具使得数据录入、分析和传递的过程被数字化和智能化，大大提高了数据的准确性及利用的高效性。而在此过程中，信息化系统能够实现对数据的实时监控和更新，为管理者提供及时、准确的业务数据，帮助他们做出更加合理的决策。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
