首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

你的每一次点击行为,是如何变成数据的?| 聊一聊互联网公司的内部数据采集

数据是怎么来的? 在很多行业,数据都是人工收集来的,比如医学疾病数据、环境数据、经济数据等。数据的更新周期也比较长,比如年度、月度。 但互联网行业不一样,这个天然的流量行业,数据量巨大,更新周期按天就算长了,通常有小时级、分钟级、实时秒级,甚至来不及落入表中,直接对实时流数据就进行计算。 最后说的这种「流式计算」,之前介绍过:什么是流式计算 | 另一个世界系列,对数据流实时进行计算,不需要存储到表里,主要为了满足一些实时级的需求,比如实时监控、实时个性化推荐等。 不管是「流式计算」还是存储到表里再计算

07

一个优秀的产品经理该如何做好数据分析?|数据分析

这两年,随着大数据、精益化运营、增长黑客等概念的传播,数据分析的思维越来越深入人心。处于互联网最前沿的产品经理们接触了大量的用户数据,但是却一直困扰于如何做好数据分析工作。 那么产品经理该如何搭建自己的数据分析知识体系?数据分析的价值又在哪里?产品经理做数据分析有哪些具体的方法?又如何学习数据分析?本文将和大家分享一下这些问题。 数据分析体系:道、术、器 “道”是指价值观。产品经理要想是做好数据分析,首先就要认同数据的意义和价值。一个不认同数据分析、对数据分析的意义缺乏理解的人是很难做好这个工作的。 “术

010

Cyber​​bit Range培训和模拟平台新功能New

Cyberbit是以色列最大的国防公司ElbitSystems的子公司,该公司的总部位于以色列,专注于保护关键基础设施和其他高价值资产的解决方案。该公司的技术针对端点检测和响应、安全调度和自动化等热门安全领域。Elbit Systems 则是国防和国土安全解决方案的全球提供商。Cyberbit的办公室分布于四大洲,深受公用事业单位、机场、制造商和政府信赖,并与之展开合作,保护其运营网络(OT)的安全。Cyberbit现目前提供的产品组合用于管理IT、OT和物联网系统趋同的从检测到响应的整个事件生命周期。使SOC团队、MSSP和关键基础架构组织能够检测并消除IT和OT网络中的高级攻击。Cyberbit的产品通过大数据、行为分析和机器学习,收集和分析TB级的数据,产生实时分析并大大加快响应速度。Cyberbit的端到端产品组合包括端点保护、SOC管理、ICS/SCADA安全解决方案和CyberRange平台。

03

大数据揭秘无人超市:是真风口,还是伪需求?

人力、租金成本的上升和互联网电商流量红利的消逝,传统零售业转型迫在眉睫。而移动支付、人工智能、人脸识别技术、大数据技术等的快速发展和普及,为零售创新带来更多可能。 无人超市的运作原理 “无人超市综合利用了人工智能、图像识别技术、射频感应扫描技术、大数据、云计算、计算机软件等技术,把支付系统集成到门禁系统,把货物软件与支付系统捆绑,如微信、支付宝,进行支付,利用监控系统和人脸系统来保证购物安全,货架区则是用视频信息捕捉来优化运营,帮助结算。利用信用系统约束人们的购买行为,进行商业化运营。” 用通俗的大白话解释

04

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

大数据实时流式数据处理是大数据应用中最为常见的场景,与我们的生活也息息相关,以手机流量实时统计来说,它总是能够实时的统计出用户的使用的流量,在第一时间通知用户流量的使用情况,并且最为人性化的为用户提供各种优惠的方案,如果采用离线处理,那么等到用户流量超标了才通知用户,这样会使得用户体验满意度降低,这也是这几年大数据实时流处理的进步,淡然还有很多应用场景。因此Spark Streaming应用而生,不过对于实时我们应该准确理解,需要明白的一点是Spark Streaming不是真正的实时处理,更应该成为准实时,因为它有延迟,而真正的实时处理Storm更为适合,最为典型场景的是淘宝双十一大屏幕上盈利额度统计,在一般实时度要求不太严格的情况下,Spark Streaming+Flume+Kafka是大数据准实时数据采集的最为可靠并且也是最常用的方案,大数据实时流式数据采集的流程图如下所示:

02

如何快速全面建立自己的大数据知识体系?

作者刘永平经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体系思路,让大家系统性学习和了解有关大数据的设计架构。 很多人都看过不同类型的书,也接触过很多有关大数据方面的文章,但都是很零散不成系统,对自己也没有起到多大的作用,所以作者第一时间,带大家从整体体系思路上,了解大数据产品设计架构和技术策略。 大数据产品,从系统性和体系思路上来做,主要分为五步: 针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量数据,

05

如何做好大数据产品设计架构和技术策略?

作者经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体系思路,让大家系统性学习和了解有关大数据的设计架构。 很多人都看过不同类型的书,也接触过很多有关大数据方面的文章,但都是很零散不成系统,对自己也没有起到多大的作用,所以作者第一时间,带大家从整体体系思路上,了解大数据产品设计架构和技术策略。 大数据产品,从系统性和体系思路上来做,主要分为五步: 针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量数据,何谈

08
领券