序言： 作为年后的首篇实操干货文章，番茄风控一如既往向业内小伙伴输出相关的干货文章。有实操能落地，有数据可撸码，继续将会是番茄风控提供给各位小伙伴的业内标配内容。
点击关注公众号，Java干货及时送达 我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多： 从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。 所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。 一、数据采集 数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。 数据源的种类比较多： 网站日志： 作为互联网行业，
接下来，我们是要讲解商品详情页缓存架构，缓存预热和解决方案，缓存预热可能导致整个系统崩溃的问题以及解决方案；
互联网后台开发，通常意味着分布式、大数据，涉及到高性能、系统容灾、数据容灾、高可用性、数据一致性等。自从2008年Hadoop在华夏大地蓬勃发展，开源如火山爆发在业界百花齐放，茁壮成长。国内的BAT、华为和小米等也大量的参与了国际开源，甚至开源了大量优秀的久经考验的内部系统，如阿里的Tair、druid、fastjson、jstorm、AliSQL、RocketMQ和腾讯的RapidJSON、libco、PhxPaxos、PhxRPC、PhxQueue、PhxSQL、PaxosStore、MSEC、Tars、TAF等。
本文整理自乐凯撒黄道泳在 Techo 大会的分享，文字部分约 5100 字。 下面，让我们一起回顾下黄老师在 Techo 大会的精彩演讲内容： 大家好！我是黄道泳。非常荣幸收到腾讯云的邀请，来给大家介绍一下腾讯云 Serverless 在乐凯撒新餐饮服务上的应用实践。 原文分享：黄道泳 整理编辑：王天云 李永程 乐凯撒是一个披萨的餐饮门店，目前在深圳、广州、上海、苏州、佛山、惠州、东莞、昆明、重庆等地拥有140多家直营门店。乐凯撒是红山资本成员企业，是红杉资本在中国投资的第一家餐饮企业。11年首
CAT（Central Application Tracking）是一个实时和接近全量的监控系统，它侧重于对Java应用的监控，基本接入了美团点评上海侧所有核心应用。目前在中间件（MVC、RPC、数据库、缓存等）框架中得到广泛应用，为美团点评各业务线提供系统的性能指标、健康状况、监控告警等。自2014年开源以来，除了美团点评之外，CAT还在携程、陆金所、猎聘网、找钢网等多家互联网公司生产环境应用，项目的开源地址是http://github.com/dianping/cat。 本文会对CAT整体设计、客户端、
点击关注公众号，Java干货及时送达 来源：https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如
T+0 的概念，运用比较广泛的是在金融领域，T（Transaction）表示交易日期，+0 就是指交易当天，+N 就代表交易的 N 天后
做数据展示你可能会想到ajax，做实时数据展示你可能会想到定时器+ajax。 定时器+ajax可能会造成：如果到一个指定的时间点没有新数据的话会造成一定的资源浪费。 那么就要考虑其他的方式来解决实时的数据推送了。
你们的老哥又来啦，前几天发了很多 MySQL 优化方面的文章，优化玩腻了，我们来点 MySQL 高可用方面的知识。今天我们来讲讲主从复制咋样，同意的小赞点起来，在看刷起来。如果你觉得通过老哥的文章能学到一些知识，请把老哥推荐给你的朋友。分享是一件快乐的事，我们一起来玩Java。
在科技如此兴盛的时代，人类社会实践产生了海量的全样数据、虚拟化、分布式集群、人工智能和深度学习算法等大数据和云计算技术，这些技术的出现意味着能更好地解决传统数据挖掘和机器学习中的大部分难题。借助于国家对大数据产业的助力以及各地方政府的扶持，大数据的落地从传统聚焦于互联网，正逐步向社会的各个领域渗透。
SeaTunnel正式通过世界顶级开源组织Apache软件基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目！
原文地址：http://www.aboutyun.com/thread-9581-1-1.html **笔试类型： ** 1、 java基础类： 2、 linux基础： **面试问答： **1、讲项目经验： 问的很细，给纸，笔，让画公司hadoop的项目架构,说几条业务数据，然后经过平台后，出来成什么样子； 2、java方面： io输入输出流里有哪些常用的类，还有webService,线程相关的知识； 3、linux： 问到jps命令，kill命令，问awk,sed是干什么用的、还有hadoo
Elastic Stack 7.x 版本在过去持续了 3 年左右，当前发展到 7.17.x，这也导致我们一直围绕7.x做着很多可能并无新意的事情。Elastic Stack 团队最近几月动作很快，接连发布了8.x，带来了非常多的新功能特性，性能也有大幅度提升。这意味着我们需要更新我们过去对于 Elasticsearch 与 Elastic Stack 传统认知，更新我们应用的方式。
使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示：
总结起来就是： Java SE 是做电脑上运行的软件。 Java EE 是用来做网站的-（我们常见的JSP技术） Java ME 是做手机软件的。
对于互联网应用和企业大型应用而言，多数都尽可能地要求做到7*24小时不间断运行，而要做到完全不间断运行可以说“难于上青天”。为此，对应用可用性程度的衡量标准一般有3个9到5个9。
实时通信是Web开发的圣杯，由于有了Web Sockets API，我们终于能够将其整合到我们的应用程序中。但是，与大多数浏览器API一样，Web Sockets API的级别也很低，如果您花了很多时间使用它，那么您就会知道有效使用它会有多么困难。
•实时数据落地需求演进•基于Spark+Hudi的实时数据落地应用实践•基于Flink自定义实时数据落地实践•基于Flink+Hudi的应用实践•后续应用规划及展望
作者：冯忠旗原文：https://juejin.im/post/5cfde01bf265da1bba58f863
一、Elasticsearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的，Lucene确实非常复杂。Elasticsearch使用Lucene作为内部引擎，但是在使用它做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。 当然Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还可以进行以下工作: (1)分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 (2)实时分析的分布式搜索引擎。 (3)可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。Elasticsearch的优缺点: 优点 Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication”。 Elasticsearch 完全支持 Apache Lucene 的接近实时的搜索。 处理多租户（multitenancy）不需要特殊配置，而Solr则需要更多的高级设置。 Elasticsearch 采用 Gateway 的概念，使得完备份更加简单。 各节点组成对等的网络结构，某些节点出现故障时会自动分配其他节点代替其进行工作。 缺点 只有一名开发者（当前Elasticsearch GitHub组织已经不只如此，已经有了相当活跃的维护者） 还不够自动（不适合当前新的Index Warmup API） 二、Solr简介 Solr（读作“solar”）是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和索引复制。Solr是最流行的企业级搜索引擎，Solr4 还增加了NoSQL支持。 Solr是用Java编写、运行在Servlet容器（如 Apache Tomcat 或Jetty）的一个独立的全文搜索服务器。Solr采用了 Lucene Java 搜索库为核心的全文索引和搜索，并具有类似REST的HTTP/XML和JSON的API。Solr强大的外部配置功能使得无需进行Java编码，便可对其进行调整以适应多种类型的应用程序。Solr有一个插件架构，以支持更多的高级定制。 Solr的优缺点 优点 Solr有一个更大、更成熟的用户、开发和贡献者社区。 支持添加多种格式的索引，如：HTML、PDF、微软 Office 系列软件格式以及 JSON、XML、CSV 等纯文本格式。 Solr比较成熟、稳定。 不考虑建索引的同时进行搜索，速度更快。 缺点 建立索引时，搜索效率下降，实时索引搜索效率不高。 三、Elasticsearch与Solr的比较 当单纯的对已有数据进行搜索时，Solr更快。
众所周知，很多语言技术已经在长久的历史发展中掩埋，这期间不同的程序员也走出的自己的发展道路。
【AI科技大本营导读】在经过一年多的开发工作之后，LibRec 3.0 版本终于发布了。LibRec 是一个基于 Java 的开源算法工具库，覆盖了 70 余个各类型推荐算法，可以有效解决评分预测和物品推荐两大关键的推荐问题，目前已经在 GitHub 上收获了 1457 个 Star，612 个 Fork。
1. 一些数据2. 热点隔离3. 动静分离4. 基于时间分片削峰5. 数据分层校验6. 实时热点发现7. 关键技术优化点7.1 Java处理大并发动态请求优化7.2 同一商品大并发读问题7.3 同一数据大并发更新问题8. 大促热点问题思考
Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。 应用场景包括推荐系统（实时推荐，根据下单或加入购物车推荐相关商品）、金融系统、预警系统、网站统计（实时销量、流量统计，如淘宝双11效果图）、交通路况实时系统等等。 storm一般从日志系统通过kafka收集数据，然后对数据进行处理运算（运算可以结合数据库以及hdfs的存量数据），不断将运算结果写入redis，然后需要展示这个运算结果的系统从redis读取数据。运算结果写入redis和读取展示运算结果是不断重复的（例如1秒一次），这样能实时观察数据的变化。例如双十一的销售额会不断增长，那么storm就要不断解析日志累加销售额，展示页面也要不断读取redis最新的销售额。 twitter和微博实时统计热搜也是一样，实时分析日志才能发现今天的高频词是哪个。 也可以用于埋点收集日志，用户做某个动作，会触发在日志里打印出某个关键字，通过对关键字的统计，可以实时分析用户行为特征。 本文演示安装单机storm系统，并运行内置的示例程序。分为四个步骤：
笔者也是在互联网软件行业里面摸爬滚打十年多了，回头想想青葱岁月，很多时间都花在各种技术热潮的追逐上，有些是有价值的，也有些因为没人指导走过弯路，下面我就把我自己接触到这么多优秀的开源软件给大家做个梳理。也许比较枯燥无聊，供大家以后查阅。
大家还记得2013年的小米秒杀吗？三款小米手机各11万台开卖，走的都是大秒系统，3分钟后成为双十一第一家也是最快破亿的旗舰店。经过日志统计，前端系统双11峰值有效请求约60w以上的QPS ，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500/s。
如果有幸目睹过系统从零到一的演变过程，大家估计都会有一种感叹，就是随着业务复杂度和流量的不断上升，系统变得越来越难以维护，面对高额的维护成本，攻城师们不得不对现有架构进行改造升级，以便使得系统更适合当下业务的发展。
很多人想学习大数据，但是都不清楚大数据学习应该怎么下手。大数据开发工程师简单整理了一下大数据学习路线图，希望对于学习大数据的朋友，有一定的帮助。
Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功能分别是分布式文件存储、资源调度和计算。
这两天真的是被《啥是佩奇》这支广告片刷屏了。佩奇明明是个喜剧角色，却把所有人都给看哭了！
随着 Flink 实例的迁移下云以及新增需求接入，自建 Flink 平台规模逐渐壮大，当前总计已超 4 万核运行在自建的 K8S 集群中，然而 Flink 任务数的增加，特别是大状态任务，每次 Checkpoint 时会产生脉冲式带宽占用，峰值流量超过 100Gb/s，早期使用 OSS 作为 Checkpoint 数据存储，单个 Bucket 每 1P 数据量只有免费带宽 10Gb/s，超出部分单独计费，当前规模每月需要增加 1x w+/月。
本系列文章参考地址： - https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html - https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html - Elasticsearch: The Definitive Guide by Clinton Gormley and Zachary Tong (O’Reilly). Copyright 2015 Elasticsearch BV, 978-1-449-35854-9。
Node.js 是什么？ Node.js采用C++语言编写而成，浏览器内核V8做为执行引擎；Node不是JS应用、而是一个Javascript的运行环境。Node保留了前端浏览器js的接口，没有改写语言本身的任何特性，依旧基于作用域和原型链。 Node.js 是一个为实时Web（Real-time Web）应用开发而诞生的平台，它从诞生之初就充分考虑了在实时响应、超大规模数据要求下架构的可扩展性。这使得它摒弃了传统平台依靠多线程来实现高并发的设计思路，而采用了单线程、异步式I/O、事件驱动式的程序设计模型。
我想跟大家先讲这么一个故事。在2017年，我有幸参与到ElasticSearch 的创始人 Shay Banon 的现场分享。Shay Banon 在谈及当年接触 Lucene 并开发 Elasticsearch 的初衷的时候， Shay Banon 认为自己参与 Lucene 完全是一种偶然。
大概在三月份开始面了几家互联网公司，主要方向是java后端和大数据开发，最近整理学习资料，都快秋招了，发的有点晚了，不过还是想分享一下。美团，滴滴，蘑菇街等公司的面经。
Waterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。
由于Elasticsearch的功能强大和使用简单，维基百科、卫报、Stack Overflow、GitHub等都纷纷采用它来做搜索。现在，Elasticsearch已成为全文搜索领域的主流软件之一。
编者：本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业，2015年初加入携程，主导了携程实时数据计算平台的建设，以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年，从事大数据平台和架构的工作超过6年。 今天给大家分享的是携程在实时数据平台的一些实践，按照时间顺序来分享我们是怎么一步一步构建起这个实时数据平台的，目前有一些什么新的尝试，未来的方向是怎么样的，希望对需要构建实时数据平台的公司和同学有所借鉴。 为什么要做数据平台 首先先介绍一下背景，为什么我们要做这个数据平台？其实了解携程的
这里的后端基础设施主要指的是应用在线上稳定运行需要依赖的关键组件或者服务。开发或者搭建好以上的后端基础设施，一般情况下是能够支撑很长一段时间内的业务的。此外，对于一个完整的架构来说，还有很多应用感知不到的系统基础服务，如负载均衡、自动化部署、系统安全等，并没有包含在本章的描述范围内。
代码已开源， https://github.com/sunpeak/riskcontrol
Java基础语法，面向对象，字符串，异常，集合，IO，线程、数据库、JDBC，Maven
但遗憾的是，仍然有相当多情况无论怎样优化都不可能跑得更快。这里做 SQL 性能优化真是让人干瞪眼 介绍了一些，并做了相应的技术分析。由于其理论基础关系代数的局限，SQL缺乏离散性和有序集合等特性的支持使得SQL在表达某些高性能算法时异常困难，甚至完全写不出来，只能采用比较笨的低性能算法，眼睁睁地看着硬件资源被白白浪费。在 写着简单跑得又快的数据库语言 SPL 中有对SQL理论基础缺陷的通俗解释。也就是说，SQL的慢是理论性的，这种问题仅仅由数据库在工程层面优化只能局部改善（确实有不少商业数据库能够自动识别某些SQL并转换成高性能算法），而不能根本地解决问题（情况复杂时数据库优化引擎都会“晕”掉，只能按SQL的书写逻辑执行成低性能算法）。理论性的缺陷当然也不能寄希望于更换数据库而得到解决，只要还是用SQL，即使采用分布式数据库、内存数据库也还是这种情况，在消耗更大成本的资源后当然也能有一定的性能提升，但和硬件本应能够达到的性能仍然有巨大的差距。
推荐系统是大数据中最常见和最容易理解的应用之一，比如说淘宝的猜你喜欢和京东等网站的用户提供个性化的内容。但是不仅仅只有电商会用推荐引擎为用户提供额外的商品，推荐系统也可以被用在其他行业，以及具有不同的应用中使用，如网易云音乐的每日歌曲推荐、活动、产品到约会对象。
关于配置的常规方案是将配置信息抽离写入 xml、properties文件中，然后随着应用一块打包发布。如果有开发、测试、预发、生产等多套环境，则通过配置各自独立的文件以区分不同的环境。具备一定的扩展性，但每次配置参数变更都要重新发布应用，灵活性较差。
JMC 是“Oracle Java Mission Control”的缩写，他是一个自 Oracle JDK 7u40 版本开始提供的一个 java 工具。
记一次Java线上服务器CPU过载问题的排查过程，详解排查过程中用到的Java性能监测工具：jvisualvm、jstack、jstat、jmap。
最近，工作中要为现在的老系统做拆分和升级，刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题，刚好基于实践结合个人的看法记录一下一些方案和思路。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
