这是「进击的Coder」的第 576 篇技术分享来源:后浪研究所 End 本文为转载分享&推荐阅读,若侵权请联系后台删除 崔庆才的新书《Python3网络爬虫开发实战(第二版)》已经正式上市了!书中详细介绍了零基础用 Python 开发爬虫的各方面知识,同时相比第一版新增了 JavaScript 逆向、Android 逆向、异步爬虫、深度学习、Kubernetes 相关内容,同时本书已经获得 Python 之父 Guido 的推荐,目前本书正在七折促销中! 内容介绍:《
“ 阅读本文大概需要 1 分钟。 ” 大家好,我是崔庆才。 昨天的时候,我参与了微软 AI Talent Program 的一场直播,主题是「怎样在工作中实现能力提升 」,虽说主题名字和工作相关,但其实内容不限于工作啦,我在直播中讲了我的个人经历、副业经历,还讲了我的一些时间管理经验、学习经验、工作经验等内容。 非常感谢昨天参与观看我直播的朋友们的支持! 当然还有很多朋友因为时间关系没有看到直播,不过没关系,我把回放上传到 B 站啦,大家可以直接观看。 同时打个小小广告:最近我也在尝试转视频博主了,后面
“ 阅读本文大概需要 3 分钟。 ” 上周我搞了一个赠书活动,详情见:618 来了!《Python3网络爬虫开发实战(第二版)》第二波赠书活动也来了!,真的非常感谢大家的热情参与。 活动截止日期是 2022/6/24 23:59,助力的前 10 位朋友可以获取到《Python3网络爬虫开发实战(第二版)》签名版一本。 如下是当时的前 10 位截图,麻烦如下 10 位朋友添加我的微信「CQCcqc」,发送收货地址,领取奖品~ 另外我也观察到 10 位以后的几位朋友人气值也相对比较高,但是由于竞争过于激烈,
快速了解边缘计算 技术诞生背景 📷 物联网 物联网设备地理位置非常分散、响应时间、海量设备管理、数据安全性难以保证. 人工智能 人工智能应用需要大量的逻辑运算资源, 当对运算速度有更高的要求时候, 数据传输带来的性能消耗问题, 将会让 AI 应用响应延迟. 边缘计算解决思路 让计算更贴近数据的源头 📷 总结 引入边缘计算, 在边缘侧直接完成运算, 从而减轻数据传输的压力! 边缘计算, 让计算更贴近数据的源头! 从而解决海量设备管理、数据传输等问题 边缘计算应用案例 文章地址: What edge compu
•Github 地址: https://github.com/Snailclimb/JavaGuide[1]•Star: 32.9k (6,196 stars this month)•介绍: 【Java 学习+面试指南】 一份涵盖大部分 Java 程序员所需要掌握的核心知识。
这是「进击的Coder」的第 622 篇技术分享 来源:baijiahao.baidu.com/s?id=1723528229727988800 “ 阅读本文大概需要 3 分钟。 ” 虽然目前 PC
鲍永成 京东商城基础架构部技术总监 京东技术11.11基础架构峰会讲师 2013年加入京东,负责京东容器集群平台研发,带领团队完成京东容器大规模落地战略项目,有效承载京东全部业务系统以及数据库和中间
【CSDN 编者按】API是Application Program Interface,应用程序连接接口的缩写,作为数据传输流转的重要通道,API网关更成为云原生时代的重要入口。 作者 | 温铭,Apache APISIX PMC主席 责编 | 张红月 出品 | CSDN(ID:CSDNnews) API 是各个不同的应用程序和系统之间互相调用和传输数据的标准方式。在很多的开发团队中都是使用 API-first 的模式,围绕着 API 来进行产品的迭代,包括测试、Mock、文档、API 网关、Dev Po
我的 87 岁的祖母住在沈阳郊区的一所老房子里。虽然她年岁已高,但却很有技术悟性。平常她会用三个 App 进行网购:在京东上买书,在拼多多上买水果,在淘宝上买其他东西(衬衫、围巾、洗涤剂、数独板)。
要出发周边游(以下简称要出发)是国内知名的主打「周边游」的在线旅行网站,为了降低公司内部各个业务模块的耦合度,提高开发、交付及运维效率,我们在 2017 年就基于 Spring Cloud 完成了公司内部业务微服务化的改造,并在 2019 年实现了 Spring Cloud 至 UK8S 平台的迁移。
假设您的家人正在组织一场大型晚宴。出于健康考虑,每个家庭成员都有不同的饮食要求和偏好,因此您需要仔细分配食材和资源,以确保每个人都吃饱饭。但随后问题开始出现——一些家庭成员意外地带来了客人,而另一些家庭成员的胃口却更大,导致对食物的需求突然增加。因此,按比例向每个人平均分配食物变得很有挑战性。
早期单机操作系统也是分层架构,后面才演化成今天的如 linux windows 的宏内核微内核架构,云操作系统也会有类似发展趋势
作者 | fanux. 方海涛 策划 | 褚杏娟 早期单机操作系统是分层架构,后面才演化成今天如 linux windows 的宏内核微内核架构。云操作系统也会有类似发展趋势:以前都是单机应用,而现代应用几乎都是分布式应用。目前,kubernetes 已经成为事实上的“云操作系统内核”,这让能使内核普及的发型版呼之欲出。 现在,IaaS、PaaS 和 SaaS 在云原生技术普及的浪潮中已经名存实亡,比如容器运行在裸机上就已经拥有非常好的性能了,是否还需要 IaaS 这一层?PaaS、SaaS 本质都
Spring Cloud 官方文档说了,它是一个完整的微服务体系,用户可以通过使用 Spring Cloud 快速搭建一个自己的微服务系统。那么 Spring Cloud 究竟是如何使用的呢?他到底有哪些组件?
这是「进击的Coder」的第 619 篇技术分享 整理:梦依丹 来源:CSDN(ID:CSDNnews) “ 阅读本文大概需要 3 分钟。 ” 在 PyCon US 2022 上,Python 开发商 Anaconda 发布了 PyScript,该框架可以在浏览器中运行 Python 应用。它允许开发者在HTML中创建丰富的 Python应用程序,Python 代码可与 JavaScript 实现双向通信。 1. PyScript 是什么? 在 PyScript 的官网是这样介绍的:“Run Pyth
在 Kubernetes 中,Pod 是最小的调度单元。应用程序实际是以 Pod 在运行的,通常情况下出于可扩展性和降低爆炸半径等方面的考虑,只会给 Pod 设置有限的资源。那么对于大流量的场景,一般都是通过水平扩容的方式进行应对。
问题导读 1.微服务有什么特点? 2.本文介绍了哪些案例? 3.你认为事件驱动的微服务、容器、Kubernetes和机器学习结合可以有哪些应用? 随着当今业务和技术的快速变化,开发人员,数据科学家和IT运营部门正在共同构建具有新技术和动态架构的智能应用程序,因为它们具有灵活性,交付速度和可维护性。 这篇文章将介绍有助于进化架构的技术:containers,Kubernetes和Kafka API。 然后我们将看一些Kafka 架构模式和用户案例.
背景 美团点评作为国内最大的O2O平台,业务热度的高峰低谷非常显著且规律,如果遇到节假日或促销活动,流量还会在短时间内出现成倍的增长。过去传统虚拟机的服务运行及部署机制在应对服务快速扩容、缩容需求中存在诸多不足: 资源实例创建慢,需要预先安装好运行所需的环境,比如JDK等。 扩容后的实例,需要经过代码部署流程,一些情况下还需要修改配置后才能承接流量。 资源申请容易回收困难,促销活动后做相关资源的回收下线会比较漫长。 由于业务存在典型的高峰低谷,为保障业务稳定,资源实例数要保障能抗高峰期容量峰值的1-2倍,从
这个架构图看起来会比较复杂,很难看懂,我把这个官方的架构图重新简化了一下,就会非常容易理解了:
这是「进击的Coder」的第 597 篇分享 作者:罗奇奇 来源:OSC开源社区(ID:oschina2013) “ 阅读本文大概需要 4 分钟。 ” 1月 25日, Linus Torvalds 在 Linux 的 GitHub 仓库中提交了一个恶作剧 README 页面:https://github.com/torvalds/linux/tree/8bcab0346d4fcf21b97046eb44db8cf37ddd6da0,其备注名为《delete linux because it sucks》—
在上周发布的《从“鸿沟理论”看云原生,哪些技术能够跨越鸿沟?》一文中,灵雀云CTO陈恺表示:Kubernetes在云计算领域已经成为既定标准,进入主流市场,最新版本主要关注在稳定性、可扩展性方面,在开发人员中变得非常流行。Kubernetes会越来越多往下管理所有基础设施,往上管理所有种类的应用。我们会看到,越来越多的周边技术向它靠拢,在其之上催化出一个庞大的云原生技术生态。
这是「进击的Coder」的第 591 篇技术分享 作者:鱼羊(发自 凹非寺) 来源:量子位(ID:QbitAI) “ 阅读本文大概需要 3 分钟。 ” 喜大普奔,苹果现已正式推出的 macOS 12.3 版本,终于把自带的 Python 2 给删了! 此前测试版推出时,就有网友激动地表示: “终于!虽然我是 Python 的死忠粉,但我真的希望操作系统们不要再内置Python了!!! ” “操作系统捆绑编程语言是缺点而非优点。 ” 毕竟,一顿操作猛如虎,最后因为 Python 版本混乱代码跑不起来
Kubernetes 很火,一大批互联网公司早已领先一步,搭建起专有的 PaaS平台,传统企业们看到的 Kubernetes的趋势,亦不甘落后,在试水的道上一路狂奔……
随着当今业务和技术的快速变化,开发人员,数据科学家和IT运营部门正在共同构建具有新技术和动态架构的智能应用程序,因为它们具有灵活性,交付速度和可维护性。这篇文章将介绍有助于进化架构的技术:容器,Kubernetes和Kafka API。然后,我们将看一些Kafka事件采购架构模式和用例示例。
这是「进击的Coder」的第 571 篇技术分享作者:崔庆才 最近在开发一个前端项目,用到播放视频的功能,所以就查了下有什么前端的视频播放器库可以使用,今天来分享一下给大家。 这个库的名字叫做 Plyr,顾名思义其实就是 Player 的缩写,整体的预览效果如下: 官方网站:https://plyr.io/ GitHub 地址是:https://github.com/sampotts/plyr 看来一圈,发现这个库不仅美观优雅,而且功能十分丰富。 下面我们来介绍下它的一些内置功能。 总体概览 首先我们来
这是「进击的Coder」的第 630 篇技术分享 作者:Travis 来源:OSC 开源社区(ID:oschina2013) “ 阅读本文大概需要 4 分钟。 ” 上个月微软在拆分 VS Code 的 Python 扩展,并率先将扩展中的 linting 功能拆分了出来形成了一个独立的 Pylint 扩展。微软拆分 Python 扩展的目的主要是为了提高性能和稳定性,并且不再要求在 Python 环境中安装这个工具,此外拆分后的功能还可以以扩展的形式单独进行更新。 在上一次拆分后微软并没有停下他们的脚
这是「进击的Coder」的第 581 篇技术分享作者:崔庆才 经常逛 GitHub 的同学可能会听说过大名鼎鼎的 awesome 仓库,没错,就是这个:https://github.com/sindresorhus/awesome。 这个库可谓是一个极大的宝藏,囊括了有关技术的几乎所有领域的资料、工具和库,比如平台、编程语言、前端开发、后端开发、大数据、数据科学、数据库、安全、硬件、DevOps 等等等,几乎想到的全都有。 就拿 Platform 这个平台这个分支来讲吧,里面又有进一步的细分,比如 iOS
如今,一种最为流行的架构设计模式便是将应用程序单体分解为更小的微服务。然后,每个微服务负责应用程序的特定方面或功能。例如,一个微服务可能负责提供外部 API 请求,而另一个可能处理前端的数据获取。
Egor Romanov 曾被朋友邀请到一家初创公司担任 CTO,他先组建了一支工程师团队,然后着手构建后端、Web 管理门户和移动应用,并决定使用微服务架构来构建后端。不幸的是,这个初创业务未能获得市场关注,公司也在几个月后就宣布倒闭。回顾整个创业历程,Egor Romanov 总结了一些经验与教训。以下为他的自述。
在电商平台中,促销是必不可少的营销手段,尤其在国内 各种玩法层出不穷,最开始的满减/秒杀 到优惠卷 再到 拼团/砍价等等
经过上一章的讨论相信你已经被猿人工厂君恶补了一波促销的业务知识。促销是一个高风险的系统,因为一个电商网站的销售手段更多是以促销的形式进行的。所谓高风险,业务上就很高,错误的促销设置会带来巨额的亏损。今天,我们一起来聊一聊促销的促销系统的思考和设计。
定义一系列算法,将每个算法封装到具有公共接口的一系列策略类中,从而使它们可以相互替换,并让算法可以在不影响到客户端的情况下发生变化。
策略模式是对算法的包装,把使用算法的责任和算法本身分隔开,委派给不同的对象管理。策略模式通常把一系列的算法包装到一系列的策略类里面,作为一个抽象策略类的子类。
这是「进击的Coder」的第 633 篇技术分享 整理:一行(一行玩 Python) 来源:blog.csdn.net/daocaokafei/article/details/120733959 “ 阅读本文大概需要 4 分钟。 ” 在某些时候,垃圾代码发生在我们所有人身上。你产生了你并不感到自豪的代码。这些代码让你怀疑,"我怎么会写出这样的东西?"这没什么好羞愧的。我们只是人类。有时候,我们就是没有做到最好。 它发生在我身上,发生在你身上,但它也发生在其他开发者身上。我花了点时间,收集了我能找到的最糟
作为国内领先的生活服务平台,美团点评很多业务都具有非常显著、规律的“高峰”和“低谷”特征。尤其遇到节假日或促销活动,流量还会在短时间内出现爆发式的增长。这对集群中心的资源弹性和可用性有非常高的要求,同时也会使系统在支撑业务流量时的复杂度和成本支出呈现指数级增长。而我们需要做的,就是利用有限的资源最大化地提升集群的吞吐能力,以保障用户体验。
今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区
这是「进击的Coder」的第 721 篇分享 来源:OSC 开源社区 (ID:oschina2013) “ 阅读本文大概需要 5 分钟。 ” 5 年前的 2017 Google I/O 大会上,谷歌宣布:官方正式支持将 Kotlin 作为 Android 开发的 First-Class 语言。 自此,Kotlin 开发商 JetBrains 和谷歌一直围绕 Kotlin 进行紧密合作,并共同创立了 Kotlin 基金会。 正如最初 I/O 公告中所强调的那样,Kotlin 是可互操作、成熟、适用于生产环
这是「进击的Coder」的第 717 篇分享 来源:知乎 在知乎看到一个话题“JetBrains 如何看待自己的软件在中国被频繁破解?”,挺有意思的。 在大学的时候,大家使用的都是破解版的 JetBr
这是「进击的Coder」的第 588 篇技术分享 来源:量子位 “ 阅读本文大概需要 5 分钟。 ” 任何 Linux 用户,几乎都无法绕开命令行,也绕不开 Vim 编辑器。作为 GitHub 上最为知名的文本编辑器,Vim 的 Star 数 2.6w,在技术圈内的影响力可见一斑。 GitHub:https://github.com/vim/vim 几天前,Vim 之父 Bram Moolenaar 传来了一个沉痛的消息:他的挚友、也是 Vim 的主要维护者之一 Sven Guckes 去世了。 Sve
表达式树是一种树形数据结构,通过动态语言运行时 (DLR) 将一组动态语言服务添加到公共语言运行时 (CLR),为静态类型语言添加动态特征。C#属于静态语言.简而言之,就是通过CLR引入DLR,DLR中包含了表达式树的功能,那么C#代码就具备了将静态代码转换成动态代码的功能.常用于一些运算逻辑的转换.将运算逻辑转换成数据结构缓存到内存中.比如通过表达式树缓存通过反射构建对象的过程,减少每次调用反射的性能消耗.具体参考DLR官方文档.
一、层次维度简介 大多数维度都具有一个或多个层次。例如,示例数据仓库中的日期维度就有一个四级层次:年、季度、月和日。这些级别用date_dim表里的列表示。日期维度是一个单路径层次,因
八、多路径和参差不齐的层次 本节讨论多路径层次,它是对单路径层次的扩展。上一节里数据仓库的月维度只有一条层次路径,即年-季度-月这条路径。在本节中加一个新的级别——促销期,并且加一个新的年-促销期-月的层次路径。这时月维度将有两条层次路径,因此具有多路径层次。本节讨论的另一个主题是不完全层次,这种层次在它的一个或多个级别上没有数据。 1. 增加一个层次 下面的脚本给month_dim表添加一个叫做campaign_session的新列,并建立rds.campaign_session过渡表。
这是「进击的Coder」的第 584 篇技术分享 作者:李耀 | 漫图:捷哥 排版:释然 来源:https://zhuanlan.zhihu.com/p/444319023 “ 阅读本文大概需要 5 分钟。 ” 笔者在工作中遇到此场景,如下两条网络限制下,总部如何访问分公司内部 web 服务器? dmz 服务器可以访问总部外网服务器 22 端口,不可以访问 web 服务器; web 服务器不可访问公网,但是到 dmz 网络无限制。 初看需求,我们第一个想到的肯定是内网端口映射到公网,或者 vpn,但是
上一篇我们已经确立的购买上下文和销售上下文的交互方式,传送门在此:http://www.cnblogs.com/Zachary-Fan/p/DDD_6.html,本篇我们来实现售价上下文的具体细节。
策略设计模式---透彻讲解 一. 什么是策略设计模式 设计模式有三种:创建型, 行为型, 结构型. 策略设计模式属于行为型. 为什么属于行为型呢? 来看看下面解释: 1.1 什么是策略呢? 什
(五)进阶技术 2. 按需装载 前面已经做了“初始装载”和“定期装载”。还有一种需要熟悉的装载类型,按需装载。所谓“按需装载”指的是,在正常调度之外,当源数据有效时或者数据仓库需要时进行装载。例如,促销销售源数据只有在促销期内有效,而在其它时间是无效的。 在“准备数据仓库模拟环境”中讨论的“生成日期维度数据”可以看做是一种按需装载。数据仓库预先装载了日期,当日期用完时,需要再次运行预装载。 本篇的主题是按需装载,首先修改数据库模式,然后在dw数据库上执行按需装载。使用促销期场景进行说明。定期装载不适合促销期场景,因为促销期数据并不是按调度装载。下面是需要装载的促销期内容,存储在名为一个promo_schedule.csv的CSV平面文件中。 PROMOTION CODE,PROMOTION NAME,START DATE,LAST DATE SO,Special Offer,2015-04-01,2015-04-10 DP,Disk Promotion,2015-05-05,2015-05-20 MS,Month Special,2015-06-01,2015-06-30 MS,Monitor Promotion,2015-07-10,2015-07-15 BS,Back to School,2015-08-10,2015-08-30 注意源数据提供了促销周期,而不是单个的促销日期。示例假设只需要装载今后新的促销数据,而在数据仓库中不需要促销期的历史数据。 修改数据库模式 图(五)- 2-1 显示了修改后的模式,date_dim表增加了promo_ind列,用来标识该日期是否为促销日期。使用清单(五)-2-1里的SQL脚本修改数据库模式。脚本中还建立了一个促销过渡表,用来装载促销期CSV文件的内容。
领取专属 10元无门槛券
手把手带您无忧上云