英明，携程数据研发专家，负责支付离线数据仓库建设及BI业务需求，对并行计算、大数据处理及建模等有浓厚兴趣。
点击关注公众号，Java干货及时送达 来源：https://github.com/superhj1987/pragmatic-java-engineer/blob/master/book/chapter1-servertech/server-basic.md 使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。 纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如
使用Java后端技术的目的就是构建业务应用，为用户提供在线或者离线服务。因此，一个业务应用需要哪些技术、依赖哪些基础设施就决定了需要掌握的后端技术有哪些。纵观整个互联网技术体系再结合公司的目前状况，笔者认为必不可少或者非常关键的后端基础技术/设施如下图所示：
作者：飒然Hang 原文：www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/ （点击文末阅读原文即可前往） 本文更新于2016.12.06,
这里的后端基础设施主要指的是应用在线上稳定运行需要依赖的关键组件或者服务。开发或者搭建好以上的后端基础设施，一般情况下是能够支撑很长一段时间内的业务的。此外，对于一个完整的架构来说，还有很多应用感知不到的系统基础服务，如负载均衡、自动化部署、系统安全等，并没有包含在本章的描述范围内。
墨墨导读：本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历，这里先抛砖引玉，欢迎大家一起交流讨论。
问题 我之前面试一些公司的机器学习或者数据挖掘工程师的职位。感觉自己准备的不够充分。想了解下一般会问哪些问题，考察哪些方面的东西。 我面试过5-6家互联网公司的数据挖掘和分析、机器学习相关职位的工程师。被问到下面一些问题： SVM的原理，SVM里面的核 K-means，如何用hadoop实现k-means naive bayes和logistic regression的区别 LDA的原理和推导 做广告点击率预测，用哪些数据什么算法 推荐系统的算法中最近邻和矩阵分解各自适用场景 用户流失率预测怎么做（
导读：马云说996是“修来的福报”；刘强东给你讲了“地板闹钟的故事”；李国庆认为“管理者提高决策科学性比员工加班更有价值”；经济学家林采宜直接怼马云，说“996是一种洗脑文化”。
概要 为什么要做监控 线上发布了服务，怎么知道它一切正常，比如发布5台服务器，如何直观了解是否有请求进来，访问一切正常。 当年有一次将线上的库配置到了Beta，这么低级的错误，排错花了一个通宵，十几个人。 某个核心服务挂了，导致大量报错，如何确定到底是哪里出了问题。 SOA带来的问题，调用XX服务出问题，很慢，是否可以衡量？ 由于业务系统数量大，每天都会产生大量的系统日志和业务日志，单流式业务的一台服务器产生的日志达400M 想直接查看内容打开可能几分钟，而且内容之多根本无法查看，给开发和运维带来诸多不便，
11月10日，2017第五届中国（广州）国际智慧城市论坛暨云计算大数据物联网应用大会在广州萝岗会议中心隆重开幕，本次大会以“云合物联、数聚力量、智引创新、产城融合”为主题。安恒信息高级副总裁兼首席安全
随着人工智能技术的广泛深入应用，给信息安全行业带来全新的挑战，但同时也带来前所未有的发展机遇。数据泄漏给企业造成的损害日益严重，加强企业数据资产的管理与保护已经刻不容缓。1月12日，由中国信息通信研究院、电子科技大学、企业数据安全技术联盟(筹)联合主办的“2018中国企业和个人数据安全技术大会”在北京国家会议中心隆重召开。来自全国各地的500余位信息化主管部门领导、权威院士、知名专家学者以及国内企业代表汇聚一堂，安恒信息参与协办本次会议，公司高级副总裁、首席安全官刘志乐就数据安全技术实践主题分享了精彩的演讲
注：本文的主要内容是在迅雷公司内部做了分享《大数据成为生产力》 ，150页的PPT，内容太多，讲的速度有些快。删减掉一些敏感信息，汇总主要观点浓缩成为此文，或许对大家构建企业的大数据运营体系有些参考作用。
作者 CDA 数据分析师 前言 2017年7月29日，由CDA数据分析师主办，以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天，除了引人眼球的主会场以外，当天同步开放11个分论坛，我们将逐一推送每个分论坛的盛况，以及演讲嘉宾速记稿整理，给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会下午的大数据与金融分论坛中，来自IBM、诸葛io、民生银行等六位专家与教授，分享了大数据在金融领域的实践和应用 人工智能助
前段时间写了一篇日志收集方案，Kubernetes日志收集解决方案有部分读者反馈说，都是中小企业，哪有那么多资源上ELK或者EFK，大数据这一套平台比我自身服务本身耗费资源还要多，再说了，现阶段我的业务不需要格式转换，不需要数据分析，我的日志顶多就是当线上出现问题时，把我的多个节点日志收集起来排查错误。但是在Kubernetes平台上，pod可能被调度到不可预知的机器上，如果把日志存储在当前计算节点上，难免会出现排查问题效率低下，当然我们也可以选用一些共享文件服务器，比如GFS、NFS直接把日志输出到特定日志服务器，这种情况对于单副本服务没有任何问题，但是对于多副本服务，可能会出现日志数据散乱分布问题（因为多个pod中日志输出路径和名称都是一样的），下面我介绍通过CNCF社区推荐的fluentd进行日志收集。
日志是记录系统中各种问题信息的关键，也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。
原文：http://www.enmotech.com/web/detail/1/735/1.html （复制链接，打开浏览器即可查看）
2017首届粤港澳大湾区新型智慧城市高峰论坛于11月2日在美丽的花城广州召开。本次会议由中国信息协会主办，广州信息协会承办，中国信息协会副会长朱玉，国家工信部杨东日，广州市工信委总工程师胡志刚等领导发
Seren，智行资深研发经理，负责业务系统架构升级和优化，跟踪行业趋势和技术发展方向，
11.11光棍节已经过去，12.12促销又要到来，回望双十一的疯狂与激情，哪些人在买小米、哪些人在买华为，哪些人在买林志玲，哪些人在买杜蕾斯，都将是有趣的话题。11月27日，在京东举办的《京东技术解密》新书发布会上，笔者获得了不少11.11京东商城的趣闻大数据，京东网友的性福指数羞答答出炉，卖出80万块香皂、900万卷手纸，大北京的区县性福对比让我惊讶异常。 《京东技术解密》这本书讲述了京东技术团队从30人到4000人的发展历程，详细介绍了京东在海量订单处理、庞大却高效的供应链管理、大型技术团队管理等方面干
作者：兰军 迅雷产品总监，原腾讯、YY语音高级产品经理。“在迅雷公司内部做了分享《大数据成为生产力》 ，150页的PPT，内容太多，讲的速度有些快。删减掉一些敏感信息，汇总主要观点浓缩成为此文，或许对大家构建企业的大数据运营体系有些参考作用。” 推荐关注兰军公众号：BLUES【公众号ID：bluemidou】 本文将企业大数据体系的构建分为六个层级，但并非是线性过程，每个层级之间或有基础关系，但并不是说一定要逐层构建。例如创业型公司，在缺乏数据研发实力的时候，多数会借助第三方平台进行数据上报与分析。
注：在迅雷公司内部做了分享《大数据成为生产力》 ，150页的PPT，内容太多，删减掉一些敏感信息，汇总主要观点浓缩成为此文，或许对大家构建企业的大数据运营体系有些参考作用。 本文将企业大数
本文将企业大数据体系的构建分为六个层级，但并非是线性过程，每个层级之间或有基础关系，但并不是说一定要逐层构建。例如创业型公司，在缺乏数据研发实力的时候，多数会借助第三方平台进行数据上报与分析。 下面一张图，是本文的精华概括，后面一一展开与大家探讨。 ◆ ◆ ◆ 数据基础平台 基础的数据平台建设工作，包含数据平台建设，数据规范，数据仓库、产品数据规范，产品ID，用户ID，统一SDK等。 很多公司的数据无法有效利用，就是缺乏统一规范，产品数据上报任由开发按照自己的理解和习惯上报，没有标准化的SDK和上报
综上所述，Elasticsearch之所以这么快，由于其运用多项高效技术，提升数据存储、查询、处理效率，构筑快捷搜索体验。
10月12日，由中央网信办网络安全协调局及公安部网络安全保卫局指导，中国计算机学会主办的第32次中国计算机安全学术交流会在苏州隆重举行。本次交流会以“协作·共赢·开创”为主题，中国工程院院士沈昌祥、公
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会 （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第三天的大数据分析及生态系统分论坛中，来自Hortonworks、IBM、京东、百度、eBay、银联智惠和南京大学的七位专家
如果公司使用有一个多版本的项目，由于特殊需求，数据库必须放在他们本地，但是公司又需要汇总整个的数据做数据分析，这样就要实时更新每一服务器上的数据库来保证他们的数据为最新的并且要提取他们数据到总部来做数据分析。以前在这上面浪费大量的人力物力，贵公司出一款实时同步数据以及占用资源低，并且支持多个数据库互相同步的的解决方案。所以满心欢喜的来试用本产品。
入侵排查中，如何攻击溯源是一个很关键的环节，是一个收尾阶段，如何做到自动化攻击溯源，则更是技术能力的体现点。
文：傅志华 大数据的产业链从整体上可以分为四大层，包括IT基础层、数据基础层、数据应用层和数据安全层。个人认为在中国市场对于创业者来说，数据应用层的创业机会最多，想象空间也最大。 本文将重点介绍数据应
本文介绍了大数据分析平台在电网公司中的应用场景、分析模型和主要功能，通过具体案例展示了如何通过大数据分析技术提升电网公司的业务效率和智能化水平。
日志分析在入侵检测中的应用越来越广泛，合适的使用日志，使日志产生巨大的价值，本文旨在探讨如何让日志的价值在安全领域发挥作用。
参考： https://www.kancloud.cn/java-jdxia/big-data/606445 https://www.cnblogs.com/rmxd/p/11455810.html
Growth Hacking这个词在过去一两年开始迅速从硅谷传播到国内，也诞生了一系列专注于企业数据分析业务的明星初创公司，如GrowingIO，神策数据，诸葛IO等。Growth Hacking简单的来说就是用数据驱动的方式来指导产品的迭代改进，以实现用户的快速增长，可以看看上面几家数据分析公司披露的客户就知道它有多流行了： GrowingIO客户：有赞，豆瓣，36Kr等 神策数据客户：秒拍，AcFun，爱鲜蜂，pp租车等 诸葛IO客户：Enjoy，罗辑思维等 我司的一个主要产品是面向中小诊所的运营S
虽然我们栏目名字叫“每天一个数据分析师”，但本期C君采访了可不止一位，他们有的是从业几年甚至十几年的老兵，有的是从零开始想要转型的准数据分析师。但他们不久前做了同一件事儿，那就是参加了第三届CDA数据
hackread 资讯网站消息，两台配置错误的 ElasticSearch 服务器共暴露了约 3.59（35 9019902）亿条记录，这些记录在 SnowPlow Analytics 开发的数据分析软件帮助下收集而来。
性能场景中的业务模型建立是性能测试工作中非常重要的一部分。而在我们真实的项目中，业务模型跟线上的业务模型不一样的情况实在是太多了。原因可能多种多样，这些原因大大降低了性能测试的价值。
博文视点程序员读书节 第二日 ● 精彩继续 持续关注每日推送 > 更多精彩活动享不停 < 行业大咖私房书单 领域专家精彩联播 十日荐书计划 百份大厂联名福袋 学院课程全场超值秒杀 学院超级会员1元抢 …… 限定活动不间断进行 整整十天高密度福利轰炸 给你安排上了！ ▼ 博文视点程序员读书节 10月15日-10月24日 十日好书&惊喜不间断 一波带走十重满足！我可以！ 第 一 弹 十日荐书计划 第二日 荐书官：张俊红 数据分析师 擅长Python、SQL、Excel 数据科学领域实践分享者 推
中国科学院动物研究所灵长类生态学研究组与德国灵长类研究中心等国内外多家科研机构合作，利用比较基因组、种群基因组及其细胞学功能实验，揭示了乌叶猴属中的石山叶猴种组物种适应喀斯特特殊生境的遗传机制，发现石山叶猴的钙离子通道蛋白（CAV1.2）具有有效减少钙离子内流的作用，从而保证了石山叶猴物种在高钙环境中的正常生活。
当我们在开源日志分析系统的领域，谈及 ELK 架构可谓是家喻户晓。然而，这个生态系统并非 Elastic 有意为之，毕竟 Elasticsearch 的初衷是作为一个分布式搜索引擎。其广泛应用于日志系统，实则是一种意料之外，这是社区用户的推动所致。如今，众多云服务厂商在推广自己的日志服务时，往往以 ELK 作为参照标准，由此可见，ELK 的影响力之深远。
FTP是一个文件传输协议，用户通过FTP可以从客户机程序向远程主机上传或下载主机，常用于网站代码维护，日常源码备份等。如果攻击者通过FTP匿名访问或者弱口令获取FTP权限，可直接上传webshell，进一步渗透提权，直至控制整个网站服务器。
采集页面被浏览器加载展现的记录，这是最原始的互联网日志采集需求，也是一切互联网数据分析得以展开的基 础和前提。
“一切都被记录，一切都被分析”就了一个信息爆炸的时代，人类过去两年产生的数据占据了整个人类文明中所产生的数据的90%。而在这些无限丰富的数据中，蕴藏着巨大的价值，数据分析在数据爆炸式增长的前提下变得炙手可热，数据分析师甚至被称为“性感的职业”。由于需求的迫切增加和人才的短缺，数据人才显得弥足珍贵，数据分析师由此披上了华丽的光环。那么对于并非科班出身的人来说，如何通过自己的学习入门并成为厉害的数据分析师呢？下面是一份比较基础的书单，但也可以说是一个相对完整的入门学习体系。
清华的小伙伴们看过来，听说校内有一个能力提升项目备受各院系师生推崇，因为它： 群星璀璨——项目吸引了25个院系的名师加盟； 人气超高——历年报名同学累计超3000人，几乎涵盖校内所有院系； 校企联动——知名企业深度参与，提供各种资源和实践机会； 没错，它就是清华大学大数据能力提升项目~ 通过项目学习，同学们将进阶为具有跨学科交叉应用能力的复合型人才！非信息类同学将更具数据思维和跨学科交叉能力，信息类同学将更具产品营销思维和业务管理能力！ 2022年秋，大数据能力提升项目全新升级为“3+X”培养方案，
「每天一个数据分析师」新一期内容奉上，请享用~ 人物档案 茹志强，数据分析与挖掘老兵，有6年的通讯行业数据分析工作经验。曾因为备考研究生，通过人大经济论坛接触到数据分析行业，从此入行。闲时喜欢阅读和
参考：超详细的数据分析职业规划 一个产品的出现可以从业务和技术两个方向分析，业务需求+技术支持=产品的出现。 如果把职业也当成一个产品，也有类似的分析，
随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：
在《网络安全法》正式实施的大背景下，11月8日，为期两天的“2017国际反病毒大会”在天津隆重召开。此次国际反病毒大会以“万物互联背景下反病毒的新挑战”为主题，旨在积极推进技术革新，阐明我国在网络安全
本文介绍了k8s官方提供的日志收集方法，并介绍了Fluentd日志收集器并与其他产品做了比较。最后介绍了好雨云帮如何对k8s进行改造并使用ZeroMQ以消息的形式将日志传输到统一的日志处理中心。 容器日志存在形式 目前容器日志有两种输出形式： stdout,stderr标准输出 这种形式的日志输出我们可以直接使用docker logs查看日志，k8s集群中同样集群可以使用kubectl logs类似的形式查看日志。 日志文件记录 这种日志输出我们无法从以上方法查看日志内容，只能tail日志文件查看。 在k
iCDO为您推荐互联网数据分析与应用行业一周（2.27-3.6）资讯： 2月27日 Sizmek、RTBAsia、舜飞联合发布《移动App广告作弊分析报告》； 2月28日 国双发布互联网发展报告，大数据实现关键洞察； 3月1日 IBM为美国陆军建立私有云数据中心； 3月1日 Gartner 2017 年《商业智能和分析平台魔力象限》报告将 Tableau 评为“领先者”； 3月2日 美国数据分析公司Incorta获得A轮融资 帮企业实时分析复杂数据； 3月2日 舜飞科技发布《品牌程序化广告投放指南》； 3月
8月18日上午，由清华大学研究生院和软件学院共同开设的大数据能力提升项目实践模块必修课——《大数据实践课》在线上进行了期末答辩和成果展示。 授课教师、软件学院闻立杰副教授首先对实践课近八周以来的项目进展情况进行了整体回顾，肯定了同学们在期中答辩时的表现，同时感谢各合作单位和企业导师们提供的真实数据、系统、算力以及对同学们耐心细致的指导，最后预祝同学们答辩顺利。 本次课程的12个实践项目均为企业提供的真实项目，涉及电力、石化、建筑、医疗等行业，来自土木水利学院、环境学院、经管学院等24个院系的同学们依次以小
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
