首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

双十一云端大数据实时搜索推荐

双十一云端大数据实时搜索推荐涉及多个基础概念和技术应用。以下是对该问题的详细解答:

基础概念

  1. 大数据处理: 指对海量数据进行分析和处理,以提取有价值的信息。
  2. 实时搜索: 能够在用户输入查询时立即返回相关结果的技术。
  3. 推荐系统: 利用用户行为、偏好和历史数据来预测用户可能感兴趣的内容,并主动推荐。
  4. 云计算: 通过网络提供可扩展的计算资源和数据存储服务。

相关优势

  • 高效性:能够快速处理和分析大量数据,实时响应用户请求。
  • 可扩展性:基于云端的架构可以轻松应对流量高峰。
  • 精准性:通过机器学习和数据分析提供个性化的搜索和推荐结果。

类型

  • 基于内容的推荐:根据用户过去的行为和偏好来推荐相似内容。
  • 协同过滤推荐:通过分析用户群体的行为来预测单个用户的兴趣。
  • 混合推荐:结合多种推荐算法以提高准确性。

应用场景

  • 电商网站:在双十一等购物节期间,为用户提供实时的商品搜索和个性化推荐。
  • 社交媒体:根据用户的社交互动和兴趣推送相关内容。
  • 新闻资讯:实时更新并推荐用户可能感兴趣的新闻故事。

可能遇到的问题及原因

  1. 延迟问题: 原因可能是数据处理速度不够快或网络带宽不足。 解决方案:优化算法、增加计算资源和使用更快的存储系统。
  2. 数据不准确: 可能由于数据收集不全面或算法模型不够精确。 解决方案:改进数据采集策略和定期更新训练模型。
  3. 系统崩溃: 在高流量情况下,系统可能因过载而崩溃。 解决方案:实施负载均衡和使用弹性伸缩技术。

示例代码(Python)

以下是一个简单的基于内容的推荐系统示例:

代码语言:txt
复制
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel

# 假设我们有一个商品数据集
data = {
    'product_id': [1, 2, 3],
    'description': ['高质量手机', '便宜耳机', '新款笔记本电脑']
}
df = pd.DataFrame(data)

# 使用TF-IDF向量化商品描述
tfidf = TfidfVectorizer(stop_words='english')
df['description'] = df['description'].fillna('')
tfidf_matrix = tfidf.fit_transform(df['description'])

# 计算商品间的相似度
cosine_sim = linear_kernel(tfidf_matrix, tfidf_matrix)

# 推荐函数
def get_recommendations(title, cosine_sim=cosine_sim):
    idx = df.index[df['description'] == title].tolist()[0]
    sim_scores = list(enumerate(cosine_sim[idx]))
    sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True)
    sim_scores = sim_scores[1:3]  # 获取最相似的两个商品
    product_indices = [i[0] for i in sim_scores]
    return df['product_id'].iloc[product_indices]

# 使用示例
print(get_recommendations('高质量手机'))

总结

双十一云端大数据实时搜索推荐系统结合了大数据处理、云计算和机器学习等技术,旨在为用户提供快速且个性化的购物体验。通过不断优化算法和增加计算资源,可以有效应对高并发场景下的挑战。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

腾讯云与Elastic达成战略合作,携手推进云端大数据实时搜索企业服务

5月22日,在腾讯举办的全球数字生态大会上,腾讯云与Elastic签署战略合作协议,将在产品、技术、生态三个维度展开合作,携手打造云端大数据实时搜索的企业服务。...双方的战略合作将基于Elastic领先的大数据搜索产品和腾讯云在云计算和大数据领域卓越的技术能力,结合腾讯云覆盖全行业的企业客户,进一步提高双方的市场竞争力和品牌影响力,促进彼此业务发展。...Elastic开发的托管型的产品,能让实时地使用数据来实现如应用搜索, 网站搜索, enterprise search, 开源日志管理, APM, metrics, security, business...应用于全文搜索、日志检索与分析、运营数据分析等场景,针对性的解决企业在高速增长中遇到的数据量庞大和类型复杂情况下实时查询和分析处理的挑战,,帮助全球用户加快在搜索相关应用场景的信息化建设,把握发展机遇。...在Elastic 的 产品和解决方案的基础上,双方还将进一步深化合作,加强技术交流,推动技术创新,共同探索前沿的大数据搜索技术和产品,促进全行业发展和进步。

13.8K25841

金融科技&大数据产品推荐:日志易—机器数据实时搜索分析引擎

日志易是强大、灵活的日志大数据分析工具,既提供云端的SaaS服务,也提供本地部署,企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等 官网 | www.datayuan.cn 微信公众号...,既提供云端的SaaS服务,也提供本地部署,企业可以利用它对日志进行集中管理和准实时搜索、分析、可视化和监控告警等。...6、产品优势 灵活:可在搜索框里直接使用搜索处理语言SPL编写脚本,满足各类分析需求; 实时:日志从产生到分析结果出现,只有秒级延时; 海量:每天可集中处理TB级日志量; 多数据源:除常见日志源外,还支持文本及二进制格式数据...8、市场价值 日志易可帮助企业降低业务流程和应用系统的开发和运维成本,实现准实时处理海量日志,从而达到大数据时代的风险管控需求。可极大提高运维效率,防止内外部的安全威胁,满足企业安全审计等。...、搜索、分析、可视化系统研发的大数据公司,提供企业部署版软件和SaaS服务,及面向金融、运营商、电力、互联网等行业的日志分析解决方案。

2.1K40
  • 天猫双11订单峰值58.3万笔秒,消费狂欢背后隐藏了哪些技术?

    2015 年恰好是移动互联网兴起,移动交易笔数超过 PC,阿里中台做到了在支撑这么大数据量级下,用实时数据驱动商业。...在 AI 技术的支撑下,购物变得更加智能,个性化推荐、用户购买行为实时分析等成为可能。...三、更智能的体验 除了购物更快,今年双十一的另一个特征是更「智能」。 今年双 11 前夕,淘宝首页大幅改版。在信息流、搜索、聚划算、会场和直播等用户场景,智能计算调用量日均已高达数千亿次。...平台对用户消费行为的洞察和商品推荐也更加精准,而这背后的技术引擎是智能搜索引擎。阿里的智能搜索推荐日均模型发布 1000+,单模型容量 1TB+,模型可以即时分析,分钟级更新 1 亿参数。...阿里测算,这些数字化的 IoT 设备在今年双 11 期间,会帮消费者节省 15 万个小时。 出身两个月不到的小蛮驴也已经应用在了双十一实践中,使社区无人配送成为可能。

    8.5K10

    谁顶住双11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍

    阿里云智能计算平台事业部研究员关涛(观涛)表示,双十一的挑战从商务角度看是商品和消费者最优化匹配的问题,往下则是大数据和AI能力的挑战, 从数据来看,今年双11数据量达到970 PB,这大概是一个什么量级...据统计,去年2018年双十一的时候,这样的实时推荐给商家的智能决策,90%都会被商家采用。...实时计算的系统层面,能够支持TPS、每天有超过万级别的在线实时在跑,每天处理超过10 Trillions of Records,包括实时分析、实时预警、实时搜索、在线机器学习、广告实时推荐,这些都是大数据和...网络、服务器、存储这些基础设施多年来发生了翻天覆地的变化,微服务,容器化,数据库等一系列的底层技术和框架的持续演进,带动了电商技术今天在搜索,个性化推荐,视频互动,消息等各个应用领域支撑和连接着数亿消费者...通过这一系列手段,应对双十一峰值的计算资源的成本得到了有效的控制。 在成本问题之后,阿里借助神龙服务器、云的弹性能力、秒级扩容技术、云端一体研发等实现了更有效率和更加开放。

    10.7K10

    轻量级深度学习端侧推理引擎 MNN,阿里开源!

    覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。在IoT等移动设备场景下,也有若干应用。 MNN背后的技术框架如何设计?未来有哪些规划?今天一起来深入了解。...目前,MNN已经在手淘、手猫、优酷、聚划算、UC、飞猪、千牛等 20 多个 App 中使用,覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景,每天稳定运行上亿次。...手淘作为电商的超级 App ,业务形态丰富,拍立淘、直播短视频、互动营销、试妆、个性化推荐搜索等业务场景都有端智能诉求,结合端智能能力,可以给用户带来新的交互体验,助力业务创新突破。...2018年双十一购物节中,MNN 也在猫晚笑脸红包、扫一扫明星猜拳大战等场景中使用。 ?...笑脸红包是18年双十一猫晚开场的第一个节目,这个玩法是基于实时人脸检测和表情识别能力做的,相比之前各种通过屏幕触控的交互玩法,这个活动通过摄像头实时人脸检测算法实现从传统触控交互玩法到自然交互玩法的跨越

    7K40

    不只是1207亿,双11之于阿里的新内涵是大生态、生活方式和用户运营

    马云在双11晚会上的总结是,双十一的成交额数字并不重要,双十一的目的是要激发拥有13亿人口的内需市场,促进物流等基础设施的改进,倒逼零售行业的升级换代。 ?...在天猫双十一媒体中心的后勤服务区,放置了搭载YunOS的电冰箱等产品,让媒体直观感受到YunOS驱动的IoT(万物互联)时代已然来临。...但同时又强化云端服务,YunOS在云端会整合大量来自于阿里和阿里之外的大数据、金融支付、零售、文化娱乐、移动资讯、O2O等服务。轻终端重服务的玩儿法让它可让设备变得真正智能起来。...它可以兼容更多设备,尤其是计算能力弱或者计算需求弱的设备,比如手环、冰箱、微波炉;它是实时在线的系统,可以进行数据收集、云端智能处理、云端实时推送;它还更适合实现不同设备之间的互联互通,进而协同发挥。...新的玩法、新的品牌、新的商品会在这一天让消费者接受,比如YunOS驱动的智能化生活,通过双11就让更多消费者接触并接受,人们不只是购买简单的功能性产品,还有品牌、云端服务、智能体验,更多消费者通过双11

    18.4K40

    9小时交易额1000亿,这些技术在双十一给你下“圈套“,让你不停买买买

    基于各种线上搜索和买买买 你在商家面前已经成为了一推数据 这是镁客君的双十一淘宝界面,在“双11精选会场”标签下,我们能够看见钢笔、箱包、跑鞋等商品。...细细想来,唯一有直接关系的也就是镁客君平常的搜索和浏览记录了,也就是我们日常常挂在嘴边的“大数据”。...在最初,双十一活动就是在线上电商平台开创的,作为活动的大本营,线上大数据已经成为了双十一营销活动的最大助力。不过,我们也发现,双十一活动的影响力正在从线上慢慢覆盖到线下。...线上数据之外 线下实体店怎么洞察用户需求、做好推荐呢? “2009年阿里开启双十一,到现在,双十一早就已经不再是线上电商混战,线上线下高度协同成为战略。”...利用这些技术解决方案,任何一个线下店就可以低成本地让传统的线下客户“上线”了,即可以实时洞察这些消费者,并与他们实时互动。 新零售的本质是以人为中心,而人的需求正在向体验化、场景化转变。

    4.2K00

    端智能在大众点评搜索重排序的应用实践

    另外,在搜索推荐场景下也有一些实践,其中,手机淘宝“猜你喜欢”在端上部署了智能推荐系统,取得较为显著收益(EdgeRec[1],双十一 IPV 提升 10%+,GMV 提升 5%+)。...这种客户端分页请求,云端服务检索排序返回给用户最终展示列表的 Client-Server 架构,对于大众点评 LBS 场景、类推荐的搜索产品来说,存在以下两个问题: ① 列表结果排序更新延迟 分页请求限制会导致排序结果的更新不及时...而实时反馈反映着用户的实时偏好,对于搜索排序的优化有着十分重要的意义。...,对用户反馈作出实时决策:不再受限于云端的分页请求更新机制,具备进行本地重排、智能刷新等实时决策的功能。...通过利用端上计算的能力,更高效地捕捉用户的实时兴趣偏好,弥补云端服务决策延迟、用户反馈信息获取延迟等问题。及时调整未曝光候选结果的顺序,把更符合用户意图的商户排上来,从而带来更好的用户搜索触达体验。

    76920

    GAN、云原生、分布式系统、自动驾驶…哪些技术撑起今年618?

    中国基金报数据显示,去年618交易额已经突破万亿,首次超过同年双十一,成就全球最大规模消费盛宴。看今年,618势头自然只热不凉。...一位相关从业者对量子位表示:历次电商大型活动中,从商品推荐到展示,到下单、客服、仓储物流,云计算结合大数据这样的前沿技术贯穿始终。...比如带深度学习的推荐系统会根据一个搜索词,将相同「隐含特征」商品排布在你眼前。分析、计算、调用、呈现在一两秒内就会完成。...看似朴实却左右胜负的核心工具产品 除却云端之上的前沿科技,看似朴实无华却必不可少的技术工具与产品,也在为你的618添砖加瓦。...支撑上述产品企业的,又是15年爆发的冷链物流、平台大数据精准推荐等技术及应用。 还有更多你不太注意的技术应用和产品,也在618中默默贡献协作,满足从业者们的实用需求。

    71820

    双十一硬核装备与云资源全攻略【必备收藏清单】💻🌐

    腾讯云的 AI 和大数据分析产品 在AI和大数据领域,腾讯云的产品如TI平台(腾讯智能AI平台)和TBDS(腾讯云大数据解决方案)功能齐全且易于上手,适合从开发到应用的全流程服务。...推荐购买一些热门培训平台上的课程包(如极客时间、腾讯课堂),双十一期间通常折扣巨大,适合入手。...双十一期间通常会有低价优惠或免费试学活动,提升职场竞争力的好机会!部分云服务厂商如腾讯云学院会在双十一期间提供免费课程试听甚至课程包优惠,直接提升职业技能。 四、私藏好物推荐 1....六、腾讯云资源推荐 双十一期间,腾讯云的活动力度也是每年最大的。这不仅是入手云资源的好时机,也为长期项目节省了大量成本。以下是几款特别推荐的腾讯云服务和优惠活动: 1....可以趁双十一购买一些高质量的教程和书籍。 总结 本篇双十一采购指南为开发者推荐了从硬件设备到云服务的多类优质产品。

    27941

    端智能在大众点评搜索重排序的应用实践

    另外,在搜索推荐场景下也有一些实践,其中,手机淘宝“猜你喜欢”在端上部署了智能推荐系统,取得较为显著收益(EdgeRec[1],双十一 IPV 提升 10%+,GMV 提升 5%+)。...这种客户端分页请求,云端服务检索排序返回给用户最终展示列表的 Client-Server 架构,对于大众点评 LBS 场景、类推荐的搜索产品来说,存在以下两个问题。...而实时反馈反映着用户的实时偏好,对于搜索排序的优化有着十分重要的意义。...,对用户反馈作出实时决策:不再受限于云端的分页请求更新机制,具备进行本地重排、智能刷新等实时决策的功能。...无延时感知用户实时偏好:无需通过云端的计算平台处理,不存在反馈信号感知延迟问题。

    1.2K40

    端智能在大众点评搜索重排序的应用实践

    端智能在大众点评搜索重排序的应用实践 2022年02月24日 作者: 祝升 刘哲 汤彪 文章链接 12434字 25分钟阅读 1 引言 随着大数据、人工智能等信息技术的快速发展,云计算已经无法满足特定场景对数据隐私...另外,在搜索推荐场景下也有一些实践,其中,手机淘宝“猜你喜欢”在端上部署了智能推荐系统,取得较为显著收益(EdgeRec[1],双十一 IPV 提升 10%+,GMV 提升 5%+)。...这种客户端分页请求,云端服务检索排序返回给用户最终展示列表的 Client-Server 架构,对于大众点评 LBS 场景、类推荐的搜索产品来说,存在以下两个问题: ① 列表结果排序更新延迟 分页请求限制会导致排序结果的更新不及时...而实时反馈反映着用户的实时偏好,对于搜索排序的优化有着十分重要的意义。...,对用户反馈作出实时决策:不再受限于云端的分页请求更新机制,具备进行本地重排、智能刷新等实时决策的功能。

    59930

    Flink流批一体在阿里双11首次落地的背后

    除了 GMV 媒体大屏之外,Flink 还支持了诸如搜索推荐实时机器学习,广告实时反作弊,菜鸟订单状态实时跟踪反馈,云服务器的实时攻击探测以及大量基础设施的监控报警等等重要业务。...鉴于 Flink 流批一体计算技术的不断成熟,以及前期在搜索推荐场景的成功落地,今年双 11 数据平台开发团队也展示出坚定的信心和信任,与 Flink 实时计算团队并肩作战,共同推动实时计算平台技术升级...Flink “流批一体”技术在阿里巴巴的发展历程 阿里巴巴是国内最早选择 Flink 开源技术的公司,在 2015 年我所在的搜索推荐团队希望面向未来5-10 年的发展,选择一款新的大数据计算引擎,用来处理搜索推荐后台海量商品和用户数据...经过团队一年的努力,基于 Flink 的搜索推荐实时计算平台成功的支持了2016 年的搜索双 11,保证了搜索推荐全链路实时化。...2018 年 Flink 开始走向云端,阿里云上推出了基于 Flink 的实时计算产品,旨在为广大中小企业提供云计算服务。

    2.3K20

    大数据:人工智能的基石

    根据马丁·希尔伯特(Martin Hilbert)的总结 ,今天我们常说的大数据其实是在2000年后,因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据: 信息交换:据估算,从1986年到...例如,谷歌的大数据虽然主要从搜索引擎的日常使用中获得,但如果深入挖掘,这些数据往往具有非常高的专业价值。...例如,每年双十一,在阿里的淘宝、天猫这样的电子商务平台上,每时每刻都有成千上万笔交易正在进行,所有这些交易数据在阿里交易平台的内部,都可以实时汇总,供人们对双十一当天的交易情况进行监控、管理或分析、汇总...一部分数据的时效性非常强,如果不能实时利用,则数据的附加值会大幅降低。大数据的实时性为大数据的应用提供了更多的选择,为大数据更快产生应用价值提供了基础。 大数据往往混合了来自多个数据源的多维度信息。...假如能利用用户ID,将用户在微博上的社交行为,和用户在电子商务平台如淘宝、京东等的购买行为关联起来,通过对不同来源的大数据的整合,采集到更多维度的数据,就可以向微博用户更准确地推荐他最喜欢的商品。

    1.1K30

    腾讯云2024双11大促:主机安全最佳实践

    推荐蜂驰型CVM云服务器,经济高效,兼顾性能性价比,非常适合长期稳定运行的个人及企业应用。 随着云计算技术的快速发展,越来越多的企业选择将业务部署到云端,以享受其便利、高效和低成本的优势。...现支持用户非腾讯云服务器统一进行安全防护,轻松共享腾讯云端安全情报,让私有数据中心拥有云上同等级别的安全体验。 三、双十一活动采购主机安全产品 在活动中,有不同时长,不同版本的主机安全产品可以采购。...5.高危命令 基于腾讯云安全技术及多维度多种手段,主机安全可对系统中的命令实时监控,若检测出高危命令,系统会提供实时告警通知。此外还可配置策略,对威胁命令进行危险程度的标记并执行相应动作。 6....实时对攻击和告警进行自动化关联分析,输出攻击流量数据、通知攻击事件。...腾讯云2024年双十一活动提供了多重优惠,助力用户以更低成本享受高质量云服务。 活动入口:可以通过链接直接参与活动 https://mc.tencent.com/ju8C7t8k

    21421

    人工智能涉足电商 大数据驱动京东未来?

    移动端普及不能忽视在今年双十一中,京东新引入的微软著名“黑科技”——人工智能管家小冰。据了解,此次小冰技能升级,最大的颠覆性创新在于电商大数据集成和人工智能的底层运用。...今年双11大量趋势表明,大数据电商未来发展方向正在明朗。大数据俨然已经成为电商发展的第一生产力。大数据要怎样与电商相结合?大数据将怎样驱动电商的新未来?大数据又将给消费者带来什么?...实际上,在大数据成为流行名词之前,微软便已着手于大数据的应用与研发,例如微软Bing的高质量搜索结果,便是通过分析超过100PB的数据得到的。...微软小冰会根据用户的购买行为分析,通过实时决策系统,决定对特定用户的内容推荐角度,并带有鲜明的购物达人观点。 在这一过程中,大数据能够实现的便是精准营销。...随着大数据挖掘平台、实时大数据解决方案、推荐搜索系统、电子商务全链条企业级数据仓库的顺利推进,大数据在京东发展的道路上背负起更加重要的使命,大数据将驱动京东下一个十年。

    1K50

    腾讯云11·11:千亿订单背后的安全“暗战”

    防护与腾讯安全大数据平台联动,实时更新防护策略库,有效防护新攻击手法。...腾讯云就现金电商平台的业务需求,总结了以下三大创新应用: 智能推荐,是最普适的一个诉求,面对不同的用户,根据客户的特征、喜好,展现不同的商品,一来可以提升用户好感度,另一方面也是提升转化率的良方。...腾讯云依托腾讯在电商、游戏、金融、泛娱乐、资讯及 3C 等多领域深厚的大数据技术积累,为客户提供基于海量用户画像 + 实时大数据机器学习的内容个性化推荐 PaaS 服务。 电商 + 直播。...而小程序现有的 SDK/DEMO 缺乏对云端的支持,依赖开发者逐个模块搭建云端服务,过程繁琐。腾讯云提供了一键构建具备云端能力的专属小程序,提高小程序开发的效率。...写在最后 本文通过云端海量并发弹性扩容、AI 安全体系防御构建与实施、电商领域的创新应用三大板块介绍了腾讯云如何在双十一电商大促的情境下,为电商平台提供可用、高效、完善的安全护航方案。

    5.4K41

    【资讯】Google Ventures 1.3亿美元领投Flatiron Health

    据WSJ报道,Google Ventures 领投了用大数据服务肿瘤医疗行业的创业公司Flatiron Health的 1.3 亿美元 B 轮融资,该轮的跟投者还有First Round Capital...据 Google Ventures 确认,这是他们迄今为止对医疗软件公司的最大一笔投资。...而此次获得 Google Ventures 领投的 1.3 亿美元融资之后,Flatiron 会将一部分资金用于收购Altos Solution—— 一家提供基于云端的肿瘤电子医疗记录公司。...收购了Altos之后,Flatiron 将可以让医生在治疗病人能够实时地使用 Flatiron 的数据库,并可实时地增添、补充电子化的诊疗信息。...在投资 Flatiron 之前,Google Ventures 还投资过为基因信息提供分析、并使 DNA 信息可搜索的DNAnexus公司,以及用大数据工具分析肿瘤的Foundation Medicine

    1.5K60

    聪明的ET,更多的是阿里的人工智能布局

    双十一晚会上,ET在全国观众面前玩了一把魔术,瞬间震惊了众多吃瓜群众,所受到的关注不亚于春晚的刘谦。在晚会结束之后,除了阿里云官方,也有不少大牛对此魔术进行了分析。...据阿里云官方解密,在这场震惊全国的魔术中,ET所运用到的人工智能技术主要包括人脸识别、语音识别和智能语音交互。...比如与魅族、海尔进行的智能家居合作,阿里云向魅族手机和海尔家电提供自己所拥有的中国用户大数据及云端服务,不必多费力气,就造出了一个适合中国用户的阿里巴巴智能家居生态圈,而这正是其智能生活部门的三大业务之一...除了语音导航、快捷支付、系统搜索等常规服务,还会根据阿里巴巴数据中对于用户消费行为的分析,为车主提供更多个性化的服务,可以说是做到了“让汽车更懂你”的程度。...比如德国的地图服务商Here,在该合作中,双方将通过合作提供包括拥堵和事故在内的实时信息,以及参考以往用户使用的历史记录提供最佳路线导航等功能。

    1.2K60

    Flink Forward Asia 2020干货总结!

    从图中的 Logo 来看,Flink 技术已经应用到各行各业,深入到我们的日常点滴生活中,从知识分享到在线教育;从金融服务到理财投资;从长短视频到在线直播;从实时推荐搜索到电商服务等等。...大数据与 AI 一体化流程管理也是一个很值得深入探讨的问题,其背后的本质问题是在离线学习实时化的大背景下,如何设计离线在线机器学习一体化的流程管理架构,以及该架构如何与大数据工作流程相结合,实现大数据与机器学习全链路一体化的问题...2016 年,Flink 在双十一搜索推荐场景中首次亮相,并用 Flink 实现搜索推荐和在线学习全链路实时化。2017 年,Flink 成为阿里巴巴集团内实时计算的标准解决方案。...今年双十一的实时数据处理峰值更是达到 40 亿条记录/秒的新高。 ? 莫问老师强调,“全数据链路实时化”并不是终点,阿里巴巴的目标是“实时离线一体化”。...Flink 在美团的主要应用场景包括实时数仓,实时分析;推荐搜索;风控监控;安全审计。这几个应用场景其实也是 Flink 现在的几个最主流的应用场景。

    2.3K31
    领券