首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【算法】为什么到处都是树

    迷迷糊糊间,一颗颗树出现在眼前,脑海中回响着一个问题:为什么到处都是树啊? 我们身边到处都是树 是的,我们身边有很多树。在公园、在小树林、在小道边,我们都可以看到各种各样的树。...5.jpg 是的,计算机中也到处都是树。但为什么到处都是树?我难以寻得答案,只能抽取出几颗树来,看能不能从中看出些端倪。也寄希望于各位读者,能够赐予我一个满意的答案。...答案的寻找 B+树 我们经常使用的外存索引,例如Mysql中的索引,使用到的就是B+树。因为大型数据的存储,查询瓶颈在于磁盘I/O的访问次数。磁盘I/O访问过于频繁,就会导致查询效率低下。...如果我们想要在一堆数据点中找到和某个数据点p(x, y)最相近的n个点,我们通常的做法是计算所有的数据点与p点的距离,然后返回距离最小的前n个。但是这样做的效率并不高。...主要思想:使用不定长编码来压缩数据,出现频率高的字符对应的编码短,出现频率低的字符编码相对长,从而使数据长度变短。 11.jpg 这里也是利用树形的特性。

    2.1K40

    到处是map、flatMap,啥意思?

    不论是在语言层面还是分布式数据结构上,它其实是一个简单的数组。它有时候真的是一个简单的数组,有时候是存在于多台机器的分布式数组。在下文中,我们统称为数组流。 我们简单分为两类。...java中使用ForkJoin那一套,线程的速度,你知道的… 而对于分布式数据流来说,本来就是并行的,这种参数意义就不大了。 函数种类 一般作用在数据流上的函数,会分为两类。 转换。...一个非常好的向导: https://stackify.com/streams-guide-java-8/ Spark的RDD操作 spark的核心数据模型就是RDD,是一个有向无环图。...Flink中的DataStream程序是实现在数据流上的transformation。 我们同样看一下它的一段代码。...KStream可以看作是KTable的更新日志(changlog),数据流中的每一个记录对应数据库中的每一次更新。 我们来看下它的一段代码。

    3.2K30

    美股分钟&日线历史数据,终于不用再到处拼字段了

    美股分钟&日线历史数据,终于不用再到处拼字段了之前为了拿美股分钟级数据做回测,我在几个常用平台上折腾了快两周,要么缺成交量加权价,要么拆股复权不全,拿到手的分钟线还经常有毛刺,回测结果一塌糊涂。...不过adj_close用来快速核对数据对不对,挺方便。...vwap和close的关系可以简单验证一下数据是不是正常,差太远的话那根K线可能有问题。...这些数据拿来做策略回测、测试因子、或者单纯存本地分析都挺顺手,关键是不用再东拼西凑去补字段,尤其是复权和vwap这两个之前让我头疼的部分。...大家如果也在找美股分钟数据,可以自己去试试,别踩我犯过的错就行。

    12910

    这个汇报常犯错误,还在到处流传……

    是把数据分析师当算命仙人的做法。算命仙人扔了几个铜钱就能知天知地,数据分析师看了几个数字就知道要怎么改善业务了——想得美。 从数据到决策是个很系统的活。...没有数据→找数据 没有标准→找标准 知其然不知其所以然→找原因 不知道从哪里找原因→找假设,一个个检验 知道原因,不知道怎么应对比较好→先搞掂什么叫“好”,再评估应对方法“好不好” 在这中间有大量脏活累活...: 没数据 有数据,不完整 有数据,只有销售数据 没有标准 有标准,但是领导拍脑袋的 有标准,但部门间无法共识 有标准,但业务自己又推翻了 不知道原因 不知道原因,业务经不起ABtest 知道原因,但业务总往外甩锅...知道原因,但是几个纠缠在一起 实际上,大多数数据化管理差的公司,都是死在标准上。...导致业务部门相互甩锅,最后全赖数据分析师“不会深入分析!”所以才有了开篇的猛烈吐槽:标准问题是核心问题。数据分析师自己说话都含糊不清,那就是往热油锅里泼冷水——效果大家可以百度一下哈。

    45920

    Java一次编译,到处运行如何实现的?

    所以JVM担任的职责之一就是当地翻译员,将字节码文件翻译为当时平台看得懂的0、1序列,有了JVM,你的Java程序就达到了“编译一次到处运行”的跨平台目的。所以到这里。...生成的这个.class文件就是可以到处运行的文件。 ? 第二步:Java字节码——到目标机器代码;执行是由JVM执行引擎来完成,JAVA的第二次编译。 ?...2、到处运行的隐含条件——这里的“到处”的前提是“装有JVM”。 看完编译过程在这里说“到处运行”就毫不费力了。因为第二次编译就是在JVM中执行的,也就是在任何一个装有“JVM”的操作系统中完成的。...JAVA提供了各种不同平台上的虚拟机制,所以可以实现“到处”。

    3.5K10

    不要到处翻了 | Hive开窗函数总结与实践

    背景 平常我们使用 hive或者 mysql时,一般聚合函数用的比较多。...但对于某些偏分析的需求,group by可能很费力,子查询很多,这个时候就需要使用窗口分析函数了~ 注:hive、oracle提供开窗函数,mysql8之前版本不提供,但Oracle发布的 MySQL...开窗函数指定了分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化!到底什么是数据窗口?后面举例会详细讲到! 1....注:不加 partition by 的话则把整个数据集当作一个分区,不加 order by的话会对某些函数统计结果产生影响,如sum(). 3. 测试数据 ?...版权声明: 本文为《大数据真好玩》整理,原作者独家授权。未经原作者允许转载追究侵权责任。 责编 | 大数据真好玩 插画 | 大数据真好玩 微信公众号 | 大数据真好玩

    7.1K42

    JAVA的一次编译,到处运行,你知道多少?

    书上说:JAVA是一种跨平台语言,最大的优势就是它实现了,一次编译,到处运行的机制。这是什么?跟平台无关?我以前做的VB,.NET,c#程序也没有考虑过平台呀?...java的“一次编译,到处运行”就跟这个编译器有关。 在具体说之前,我们先要理清楚几个概念,以及它们之间的关系。...生成的这个.class文件就是可以到处运行的文件。 第二步:Java字节码——到目标机器代码;执行是由JVM执行引擎来完成,JAVA的第二次编译。...2、到处运行的隐含条件——这里的“到处”的前提是“装有JVM”。 看完编译过程在这里说“到处运行”就毫不费力了。因为第二次编译就是在JVM中执行的,也就是在任何一个装有“JVM”的操作系统中完成的。...JAVA提供了各种不同平台上的虚拟机制,所以可以实现“到处”。 注意:java并不是编译机制,而是解释机制。

    46300

    Java教程到处都是,究竟怎样能学好Java课程?

    4、你需要学习java数据库技术,如JDBCAPI并且会使用至少一种persistence/ORM构架,例如Hibernate,JDO, CocoBase,TopLink,InsideLiberator...阶段1:Java设计和编程思想掌握的技能 精通面向对象思想和Java基础语法;熟练Java异常处理;精通JavaI/O操作;掌握Java多线程操作;精通Jjava集合类的使用;掌握Java网络编程;精通数据库...阶段2:Web前端开发掌握的技能 掌握html+css+js相关技术;通过H5相关的库快速编写代码;搭建符合大数据要求的界面,使前端+后端+大数据实现三维一体。...阶段4:大数据核心知识掌握的技能 了解hadoop机制原理 ;了解hadoop集群搭建过程;了解Hdfs API使用以及mr编程模型;了解hive、hbase、sqoop、flume等组件的使用方法。

    1.5K70

    Java教程到处都是,究竟怎样能学好Java课程?

    4、你需要学习java数据库技术,如JDBCAPI并且会使用至少一种persistence/ORM构架,例如Hibernate,JDO, CocoBase,TopLink,InsideLiberator...阶段1:Java设计和编程思想掌握的技能 精通面向对象思想和Java基础语法;熟练Java异常处理;精通JavaI/O操作;掌握Java多线程操作;精通Jjava集合类的使用;掌握Java网络编程;精通数据库...阶段2:Web前端开发掌握的技能 掌握html+css+js相关技术;通过H5相关的库快速编写代码;搭建符合大数据要求的界面,使前端+后端+大数据实现三维一体。...阶段4:大数据核心知识掌握的技能 了解hadoop机制原理 ;了解hadoop集群搭建过程;了解Hdfs API使用以及mr编程模型;了解hive、hbase、sqoop、flume等组件的使用方法。

    1.3K80

    30个在线Python自学网站,再也不用到处找资料了

    当然Python的学习,我是建议自学,首先明确自己的学习目标,例如开发自动化脚本、做数据分析等。然后可以制定学习计划,计划一般分三步:基础学习、动手练习(形成肌肉记忆)、项目实践。...除了基本的 Python 概念外,它还涵盖了高级 Python 的多个主题,例如数据库访问、CGI、游戏编程、实现多线程、XML 处理、网络等等。...在这里,借助随示例提供的数据,你可以非常轻松地学习 Python。 它还为其用户提供高级课程,起价为 60 美元。...本教程中包含的一些关键主题如下: 入门 安装 Python 3 运行程序 数据类型和变量 23. pymbook 这是一本免费的在线书籍,提供有关 Python 编程语言的优质内容。...本教程中包含的一些关键主题如下: 变量和数据类型 运算符和正则表达式 24.

    5.4K30
    领券