首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

你了解你的数据吗

0x00 前言 你了解你的数据吗? 前几天突然来了点灵感,想梳理一下自己对数据的理解,因此便有了这篇博客或者说这系列博客来聊聊数据。...本系列博客会尝试去学习、挖掘和总结这些内容,在数据的海洋中一起装x一起飞。 0x01 数据?数据! 开篇先上几个问题: 你知道自己的系统数据接入量是多少吗? 你知道数据的分布情况吗?...你知道自己常用的数据有什么隐藏的坑吗? 如果你对前面说的问题有不太了解的,那么我们就可以在以后的内容中一起愉快地交流和探讨。...如果前面说的问题你的回答都是 “Yes”,那么我还是会尝试用新的问题来留住你。比如说: 既然你知道系统的数据接入量,那你知道每天的数据量波动吗?波动量在多大范围内是正常情况?...你知道的数据分布情况是什么样子的?除了性别、年龄和城市的分布,还有什么分布? 在偌大的数据仓库中,哪些数据被使用最多,哪些数据又无人问津,这些你了解吗? 在最常用的那批数据中,有哪些核心的维度?

937100

你的企业真的需要“数据中台”吗?

作者:铁叫兽 一、如何理解数据中台 在解决你是否需要数据中台这个问题之前,让我们先理理它究竟是什么。 它是工具?是方法?还是组织架构?我的回答是:都不仅仅是。...再加上企业人员运用数据的能力参差不齐,这就导致了每一家企业的数据中台都是独一无二的,不是购买一个所谓的数据中台工具就能解决的。...有,阿里巴巴是目前成功实施数据中台项目的企业,也是第一个提出数据中台概念的企业,这里有必要简单了解下这段历史: 640-1.jpeg 二、数据中台出现的前提 回顾这段经历你会发现,它的出现基于以下前提...比如:你的真实性别、购物性别、音乐风格偏爱是「R&B」、你的线上购物行为特征是「爱薅羊毛还是财大气粗」等等。...大数据场景:可视化报表(已)、商品猜你喜欢、个性化营销信息推送、商品库存优化、卡劵核销风控等。比较合适的是启动一个数据中台项目。 这里各位可能会有疑问: (1)数据中台和传统数仓的区别是什么?

1.8K31
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    你会描述你的数据吗?

    1 如何描述数据 "机器都能够从数据中学习和趋优了,我们也要如此,坚持学习和进步。" 面对一个数据集,你会描述它吗? 描述数据集,目的是为了理解数据。...你对数据理解的越充分和全面,你就越能够更好地处理数据和应用数据。 描述你自己的数据集,可以从这些方面入手。...一 概况分析 1 数据集大小,包括观察大小和维度大小 2 变量的类型观察,因为不同的变量类型会使用不同观察手段和工具 3 元数据分析,也就是对于数据解释的数据,比方说,每个变量表示什么意思,有什么业务含义...二 数据观察 1 从大量数据中可以先选择一部分数据来观察,以对数据有个直观认识 三 数据摘要分析 1 采用描述性统计分析的方法,变量类型的统计特征进行计算和了解 四 变量重要性分析 1 选择一种算法...描述你的数据 @author: Luqing Wang """ import matplotlib.pyplot as plt import seaborn as sns import pandas

    72620

    ​2023年八大热门编程语言,你的技能在榜上吗?

    如果你所掌握的编程技能在市场中属需求量大的那类,自然不必担心找不着工作;反之,你就需要好好考虑下自己未来的职业发展路线了,是选择转行,还是学习新的编程语言继续在编程行业混饭吃。...无论你是上面的哪种,下面这篇文章都能对你有所帮助。那么接下来,这篇文章将总结2023 年企业需求量最大的编程语言都有哪些!来看看你的技能在不在榜上吧!...在这1400万个职位中,DevJobsScanner仅挑选了明确要求具备编程语言技能的职位进行研究(如果你想了解更多有关这项研究如何进行的信息,可以直接去看文章末尾的研究方法部分)接着看下去,我会告诉你哪些编程语言需求量最大...此外,TypeScript的问世也对其实现这一重要里程碑发挥了推动作用。TypeScript是具有类型安全特性的JavaScript超集,近些年,其受欢迎程度持续上涨。...2、 Python图片Python如同一匹黑马,在无声无息中崭露头角,荣登2023年市场需求量第二大的编程语言宝座。其多功能性,无论是在脚本编写、服务器运行,还是数据分析方面,都助其赢得了这一荣誉。

    68140

    你知道脑机接口中的后门攻击吗?它真的有可能在现实中实现

    这些工作在理论上讨论脑机接口的安全性有重要的意义,然而这些攻击在实际中其实是很难实现的,主要因为: 这些攻击需要在EEG信号预处理和机器学习模型之间插入一个攻击模块去添加对抗扰动,而在实际系统中这两个模块往往被集成在同一块芯片中...这些方法生成的对抗扰动是很复杂的,特别地,不同通道需要生成和添加不同的复杂对抗扰动噪声,这在实际中是很难操作的。...为了使攻击能够更好地在实际中实现,我们选择了特定的窄周期脉冲作为“后门”的钥匙,特别地,窄周期脉冲可以在EEG信号采集的时候通过外界干扰加入到EEG中。...我们的攻击主要克服了以下几个挑战,使得其更容易在实际中实施: 进行攻击的“后门”钥匙是很简单的,包括两点,生成的模式是简单的,以及在实际脑机接口系统中将钥匙加入到EEG数据中是简单的; 攻击使用的钥匙对于不同的...图3:污染之前(蓝色)和之后(红色)的P300数据集的EEG试验。 左:未经预处理的原始脑电图试验; 右:预处理后的脑电图试验。

    1.1K40

    你了解你的数据吗(开篇):总览

    0x00 前言 你了解你的数据吗? 前几天突然来了点灵感,想梳理一下自己对数据的理解,因此便有了这篇博客或者说这系列博客来聊聊数据。...本系列博客会尝试去学习、挖掘和总结这些内容,在数据的海洋中一起装x一起飞。 0x01 数据?数据! 开篇先上几个问题: 你知道自己的系统数据接入量是多少吗? 你知道数据的分布情况吗?...你知道自己常用的数据有什么隐藏的坑吗? 如果你对前面说的问题有不太了解的,那么我们就可以在以后的内容中一起愉快地交流和探讨。...如果前面说的问题你的回答都是 “Yes”,那么我还是会尝试用新的问题来留住你。比如说: 既然你知道系统的数据接入量,那你知道每天的数据量波动吗?波动量在多大范围内是正常情况?...你知道的数据分布情况是什么样子的?除了性别、年龄和城市的分布,还有什么分布? 在偌大的数据仓库中,哪些数据被使用最多,哪些数据又无人问津,这些你了解吗? 在最常用的那批数据中,有哪些核心的维度?

    87340

    工作中,你真的会表达数据吗?

    来源 | 《用数据讲故事》 我们要的不是数据,而是数据告诉我们的事实 在幻灯片中,数据的作用一直很受重视。在工作场合,饼图、柱形图、条形图、折线图、散点图充斥在幻灯片中。...这个世界上的一个大误会就在于,太多人把掌握一个工具软件的操作等同于掌握某个领域需要的专业能力。 要有数据,要理解数据,要可视化呈现数据,而且要干净地呈现,还要围绕你的呈现讲述一个好故事。...如果你提供的数据图表能让人做出更有效的决策,那么我觉得它就是一个成功的图表,否则它仅仅是一个看起来很酷很美的东西,除了浪费大家的制作时间,并没有带来什么本质的改变。...他们可能只是一眼扫过你的图表,忽略了你苦心要表达的信息。并不一定是你的图表数据有问题,而是图表的呈现方式过于单一。 和我到处宣传做 PPT 的原则一样,做数据图表也要琢磨一个道理:少就是多。...10 多种图表,使用最常用的工具,比如 PPT 或 Excel,你就可以做出有故事的图表。

    91430

    职场技能在面试中的体现:如何展示你的职业素养

    职场技能在面试中的体现:如何展示你的职业素养 摘要 在今天的博客文章中,我们将探讨如何在面试中展示职场技能和职业素养。这篇文章将覆盖软技能和硬技能的重要性,以及如何通过具体行动和例子来体现它们。...硬技能:你所掌握的专业知识和技术 专业知识 专业知识是面试中最容易量化和验证的一项技能。如果你是一个软件开发者,那么你可能需要展示你的编程能力。...代码案例演示:数据分析使用Pandas import pandas as pd # 创建一个数据框 df = pd.DataFrame({ 'Name': ['Alice', 'Bob', '...团队合作 团队合作是任何组织中都非常重要的一项软技能。在面试中,你可以通过描述过去的团队项目来展示这一点。 自我管理 自我管理包括时间管理、压力管理等。...在面试中,你可以通过讲述你是如何在紧张的工作环境中保持高效的来体现这一点。 如何具体行动:总结与建议 准备案例: 在面试前准备一些具体的工作案例,以便在面试中用来展示你的硬技能和软技能。

    18610

    你以为你真的了解MySQL中的数据类型吗?这里保证有你不会的!

    Mysql数据类型 MySQL数据库中的数据类型是数据库设计的基石,它们决定了数据的存储方式、数据的有效范围以及数据的处理方式。...INSERT INTO语句用于向events表格中插入三条示例数据。 SELECT * FROM events;语句用于查询并显示events表格中的所有数据。...INSERT INTO语句用于向users表格中插入三条示例数据。 SELECT * FROM users;语句用于查询并显示users表格中的所有数据。...INSERT INTO语句用于向products表格中插入三条示例数据。 SELECT * FROM products;语句用于查询并显示products表格中的所有数据。...存储限制:虽然文本类型可以存储大块文本数据,但也需要考虑数据库的存储限制和性能影响。在实际应用中,需要根据具体需求选择合适的文本类型。

    13110

    你真的理解Verilog 中的module吗?

    你真的理解Verilog 中的module吗?...IEEE中对于module的描述 IEEE Standard 1800-2017 中对modules的定义 我们从中很清楚的知道module是对数字电路的数据、功能和时序的封装,说白了模块的实际意义是代表硬件电路上的逻辑实体...建模的含义 建模的通俗理解:建立模型,展开就是主要是指从现实世界中抽象出我们的目标,在这一过程中,保留相关因素,剔除无关因素,从而直观地表示出问题。...算法级(algorithm):用高级语言结构实现设计算法的模型(写出逻辑表达式)。 RTL级(Register Transfer Level):描述数据在寄存器之间流动和如何处理这些数据的模型。...数据流描述:采用assign连续赋值语句 行为描述:使用always语句或initial语句块中的过程赋值语句 结构化描述:实例化已有的功能模块或原语 下面以一个4位加法器(全加器)为例帮助大家去理解。

    96220

    Java中的List你真的会用吗?

    最近来了一个实习生,小强问他关于java中list的用法,他很快答上来。...典型回答 Vector、ArrayList和LinkedList三者都是实现集合框架中的List,也就是所谓有序集合,因此具体功能比较近似,比如都提供按照位置进行定位、添加或删除的操作,都提供迭代器以遍历其内容等...Vector内部是使用自动增加的容量,当数组已满时,会创建新的数组,并拷贝原有数组数据。 ArrayList是应用更加广泛的动态数组实现方式,它本身不是线程安全的,所以性能要好很多。...外部排序,掌握利用内存和外部存储处理超大数据集,至少要理解过程和思路。...比如哪些是排序是不稳定的呢(快排、堆排),或者思考稳定意味着什么; 对不同数据集,各种排序的最好或最差情况; 从某个角度如何进一步优化(比如空间占用,假设业务场景需要最小辅助空间,这个角度堆排序就比归并优异

    68910

    Java 中的 BigDecimal,你真的会用吗?

    双精度浮点型变量double可以处理16位有效数,但在实际应用中,可能需要对更大或者更小的数进行运算和处理。...所以开发中,如果我们需要精确计算的结果,则必须使用BigDecimal类来操作。...对象中的值相减,返回BigDecimal对象 multiply(BigDecimal) BigDecimal对象中的值相乘,返回BigDecimal对象 divide(BigDecimal) BigDecimal...对象中的值相除,返回BigDecimal对象 toString() 将BigDecimal对象中的值转换成字符串 doubleValue() 将BigDecimal对象中的值转换成双精度数 floatValue...() 将BigDecimal对象中的值转换成单精度数 longValue() 将BigDecimal对象中的值转换成长整数 intValue() 将BigDecimal对象中的值转换成整数 3.2、BigDecimal

    58130

    Java 中的 BigDecimal,你真的会用吗?

    双精度浮点型变量double可以处理16位有效数,但在实际应用中,可能需要对更大或者更小的数进行运算和处理。...所以开发中,如果我们需要精确计算的结果,则必须使用BigDecimal类来操作。...对象中的值相减,返回BigDecimal对象 multiply(BigDecimal) BigDecimal对象中的值相乘,返回BigDecimal对象 divide(BigDecimal) BigDecimal...对象中的值相除,返回BigDecimal对象 toString() 将BigDecimal对象中的值转换成字符串 doubleValue() 将BigDecimal对象中的值转换成双精度数 floatValue...() 将BigDecimal对象中的值转换成单精度数 longValue() 将BigDecimal对象中的值转换成长整数 intValue() 将BigDecimal对象中的值转换成整数 3.2、BigDecimal

    76220

    你知道 Java 中的隐藏类吗?

    前几天给大家介绍了Java 17中新推出的密封类,今天继续给大家介绍一个Java 15开始推出的一个新内容:隐藏类。 如果你喜欢做封装、做框架的话,这个内容可能对你很有用哦!...第三步:通过反射加载上面生成的类,并调用隐藏类中的hello函数,代码如下: /**  * 程序猿DD  * 你跟我一样平时会参与一些基础框架和平台的开发工作的话,一定觉得这个功能还挺不错的吧,毕竟又多了一种动态功能的实现手段! 好了,今天的分享就到这里!...详解 Java 17中的新特性:“密封类” ·································· 你好,我是程序猿DD,10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企...如果你看好一个事情,一定是坚持了才能看到希望,而不是看到希望才去坚持。相信我,只要坚持下来,你一定比现在更好!如果你还没什么方向,可以先关注我,这里会经常分享一些前沿资讯,帮你积累弯道超车的资本。

    68910

    Spring中的@Qualifier注解你会用吗

    1.概述 本文小胖哥将带你来了解一下Spring中的@Qualifier注解,它解决了哪些问题,以及如何使用它。我们还将了解它与@Primary注解的不同之处。...我们需要做的是@Component或者@Bean注解中声明的value属性以确定名称。...除非另有说明,否则将使用与@Primary注释关联的bean 。我们来看一个例子: ? 在此示例中,两个方法都返回相同的Employee类型。...通过对@Qualifier 的探讨,我们知道该注解是用来消除依赖注入冲突的。这种在日常开发,比如 rabbtimq的 队列声明中很常见。...小胖哥也通过该注解和其他上述注解的组合使用和对比中展示了一些常用的用法。这将有助于你对spring的依赖注入机制的了解。

    1.2K20

    MySQL中的kill命令,你用过吗?

    01 MySQL中的kill语法 在MySQL中,kill命令分为如下两种: 1、kill query + pid 2、kill connection + pid 其中connection可以省略...可以肯定的是,不会直接kill线程,因为如果直接kill掉的话,如果该线程中还持有元数据的MDL锁,那么这个锁就没有办法释放了,实际上,kill query的命令会执行如下的动作: 1、首先将session...例如下面这种情况: 情况一: 当我们把参数 innodb_thread_concurrency设置为2,以为这同时只能有2个线程并发,此时我们开3个会话窗口,在第3个会话上执行select语句,然后kill它,你会发现出现如下的场景...在MySQL中,如果一个线程的状态是KILL_CONNECTION,就把Command列显示Killed。...03 ctrl + c 指令 在一些客户端上,当我们发现输入错误之后,往往会使用ctrl + c的命令去终止当前操作,本质上ctrl + c 指令其实是相当于在另外的session中,执行了一个

    10.4K11

    你以为的中台真的是中台吗?

    前段时间一个负责企业数字化建设的CIO朋友找我聊IT规划,谈到他们刚上线的数据中台,从上线一段时间的使用效果来看,感觉并没有取得应有的效果,反而给业务和IT带来很多困扰,增加了不少数据维护工作量,多个系统与中台之间的数据经常出现不一致的情况...但自从上了数据中台之后,一切就变得很糟糕,这个中台不存储业务订单,只有物料主数据,因此供应商利息的计算就要频繁修改物料上的利息栏位,用户不堪其扰。...,那是单机应用系统,上中台只是为了对外宣传的; 不少企业规划中台,第一时间就是考虑选个什么系统,考虑上云,考虑如何去抽数据,搞所谓上中台,技术先行。...不是最先分析搭建中台的性质和必要性,分析数据模型,站在业务的角度分析如何提纯和清洗数据,这也是不少企业上中台的误区。...像上面CIO朋友举的例子,很明显数据中台输出有残缺,没有站在业务的角度去支持业务规则,甚至为了保证业务顺利进行而让用户到中台去手工修改数据,完全就是违背了数据中台的宗旨。

    61620

    Java中的BigDecimal,你真的会用吗?

    双精度浮点型变量double可以处理16位有效数,但在实际应用中,可能需要对更大或者更小的数进行运算和处理。...所以开发中,如果我们需要精确计算的结果,则必须使用BigDecimal类来操作。...对象中的值相减,返回BigDecimal对象 multiply(BigDecimal) BigDecimal对象中的值相乘,返回BigDecimal对象 divide(BigDecimal) BigDecimal...对象中的值相除,返回BigDecimal对象 toString() 将BigDecimal对象中的值转换成字符串 doubleValue() 将BigDecimal对象中的值转换成双精度数 floatValue...() 将BigDecimal对象中的值转换成单精度数 longValue() 将BigDecimal对象中的值转换成长整数 intValue() 将BigDecimal对象中的值转换成整数 3.2、BigDecimal

    1.2K20
    领券