首页
学习
活动
专区
工具
TVP
发布

xingoo, 一个梦想做发明家的程序员

专栏成员
805
文章
948539
阅读量
80
订阅数
Flink源码剖析:Jar包任务提交流程
Flink基于用户程序生成JobGraph,提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)
用户1154259
2021-01-20
2.3K0
Flink基础:时间和水印
本篇终于到了Flink的核心内容:时间与水印。最初接触这个概念是在Spark Structured Streaming中,一直无法理解水印的作用。直到使用了一段时间Flink之后,对实时流处理有了一定的理解,才想清楚其中的缘由。接下来就来介绍下Flink中的时间和水印,以及基于时间特性支持的窗口处理。
用户1154259
2020-11-24
9790
Flink基础:实时处理管道与ETL
Flink的经典使用场景是ETL,即Extract抽取、Transform转换、Load加载,可以从一个或多个数据源读取数据,经过处理转换后,存储到另一个地方,本篇将会介绍如何使用DataStream API来实现这种应用。注意Flink Table和SQL api 会很适合来做ETL,但是不妨碍从底层的DataStream API来了解其中的细节。
用户1154259
2020-11-13
1.5K0
《大画汽车:图解汽车奥秘》—— 读书笔记
本书是看过最浅显易懂的汽车书了,从汽车发展的历史,讲到发动机、变速箱等重要组件,从汽车行驶到安全,最后介绍了汽车的设计与制造流程,整体对汽车的认识更近了一步。
用户1154259
2020-10-26
7040
Flink深入浅出: 资源管理(v1.11)
Flink在资源管理上可以分为两层:集群资源和自身资源。集群资源支持主流的资源管理系统,如yarn、mesos、k8s等,也支持独立启动的standalone集群。自身资源涉及到每个子task的资源使用,由Flink自身维护。
用户1154259
2020-10-26
1.1K0
Flink深入浅出: 应用部署与原理图解(v1.11)
Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Application 模式,这三种模式主要在集群管理、资源隔离、用户main方法执行位置几个方面有所不同。
用户1154259
2020-10-26
1.2K0
Kubeflow实战: 入门介绍与部署实践
Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合,内部集成的方式融合机器学习中的很多领域的开源项目,比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段:数据预处理、模型训练、模型预测、服务管理等进行管理。只要安装了k8s,可以在本地、机房、云环境中部署。
用户1154259
2020-08-11
4.4K0
Spark 3.0 新特性 之 自适应查询与分区动态裁剪
Spark憋了一年半的大招后,发布了3.0版本,新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心:BI与AI。下面是本次发布的主要特性,包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。
用户1154259
2020-07-27
1.5K0
基于TensorFlow的深度学习系列教程 2——常量Constant
在tensorflow中,数据分为几种类型: 常量Constant、变量Variable、占位符Placeholder。其中:
用户1154259
2019-07-02
7300
深度学习Tensorflow生产环境部署(上·环境准备篇)
TensorFlow Serving是google提供的一种生产环境部署方案,一般来说在做算法训练后,都会导出一个模型,在应用中直接使用。
用户1154259
2019-01-07
1.8K0
深度学习Tensorflow生产环境部署(下·模型部署篇)
部署完docker后,如果是cpu环境,可以直接拉取tensorflow/serving,如果是GPU环境则麻烦点,具体参考前一篇,这里就不再赘述了。
用户1154259
2019-01-07
1.8K0
Crontab和sudo中无法使用TensorFlow ImportError libcublas.so.9.0
最近因为特殊的原因重新安装了python,但是引发了一个很严重的问题——TensorFlow不好使了。
用户1154259
2019-01-03
1.6K0
基于TensorFlow的深度学习系列教程 1——Hello World!
自从12年AlexNet获得ImageNet大赛的冠军后,深度学习开始流行起来,也因为硬件的快速发展GPU并行计算配合易用的API,让深度学习以及神经网络大放光彩。
用户1154259
2018-12-28
9280
《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记
第一章 什么是数据化运营
用户1154259
2018-12-25
5110
《增长黑客》—— 读后总结
之前读到四分之三的时候,手机丢了,无奈放弃微信读书就没继续读;后来换了手机,终于把这本书给续上了。
用户1154259
2018-12-13
4830
在Java Web中使用Spark MLlib训练的模型
模型下载到本地,重新命名为xml。 可以看到默认四个特征分别叫做feild_0,field_1...目标为target
用户1154259
2018-12-13
1.5K0
《百面机器学习》—— 读后总结
?
用户1154259
2018-12-04
9900
《影响力》—— 读后总结
这本书在很久以前就想读了,一直到今天才读完,最大的感触就是:平时生活中容易陷入的陷阱在这里都做了科学的解释和论证。尤其是在买东西的时候,可以多一些谨慎,多买一些更有价值的东西,不能被别人的销售技巧给套住。 粗略总结 互惠:别人在想要你帮忙或者想要你买东西的时候,往往会先给一些优惠。套用那句俗语“那人家的手短,吃人家的最短”,最后碍于情面,只能乖乖顺从。比如买保险,总会在节假日给你送点礼物;请你帮忙时,会提前给买点小东西。 承诺和一致:因为前后不一致会让别人觉得是一个思维混乱、缺乏信仰的人,因此大部分人
用户1154259
2018-11-07
6890
《Opencv 3 计算机视觉 python语言实现》· 第二遍 —— 读后笔记
https://github.com/xinghalo/ml-in-action/tree/master/book-opencv
用户1154259
2018-10-22
5000
程序猿的日常——工作中常用的Shell脚本
如果目录下的文件很多,无法直接rm -rf,那么可以寻找一些匹配模型,分批删除。比如文件下面有很多的文件:
用户1154259
2018-10-12
5790
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档