这几天在辰哥的技术交流群里有读者反应说不会爬取携程的评论数据,今天辰哥给读者安排上。作为辰哥的文章读者,辰哥必须教会大家如何爬取携程评论数据(哈哈哈)。
作者简介 刘江,携程金融管理部风险管理总监,负责携程集团的全面风险管理工作。拥有近15年风险管理经验,先后在广发银行、OperaSolutions、阿里巴巴和腾讯等公司任重要管理岗位,一直从事风控政策、风控模型、大数据征信等相关工作。 携程反欺诈体系经过超过10年的发展和积累,在大数据实时并行计算和实时多维关联分析方面已经非常成熟,是整个体系稳定高效运行的基础。 近两年来,我们在大数据和人工智能方向投入研发资源,产出了设备指纹、CDNA、实时复杂变量计算引擎等一系列创新项目,取得到很好的应用效果。2017年
作者简介 王润辉,携程技术中心信息安全部高级经理。2015年加入携程,负责携程业务安全。个人专注在:安全漏洞,数据分析建模,业务安全,风控系统整体架构等。 *视频时长约1小时11分钟,请在WiFi环境下观看* 作为国内第一大OTA企业,业务安全一直是携程所面临的重要安全风险之一。 在面对各类从散兵作战到越来越专业化的黑产,以及技术从单一到持续自动化的工具化下的攻击时,我们也根据不同的业务安全风险,建立了相应的系统进行防护,并和黑产进行持续的技术和思维上的攻防。 其中经历了从业务驱动技术(被动式防御),到
昨天收到一个订单需求需要爬取携程云南酒店的名称,价格,评分,点评数,道路特点和地址信息1000条用来做酒店数据分析的工作,虽然1000条数据量不是很大,但是复制粘贴也需要花费很长的时间而且数据也不好整理,所以我们今天使用python来完成这件事情。开发工具我们还是选择pycharm和谷歌浏览器,python我用的是3.6版本。本次数据采集总共有四个步骤:1.分析目标网址;2.获取网站响应内容;3.解析网站响应内容;4.保存响应内容。目前大部分都会将数据保存至csv文件中,因为csv文件以逗号分开,可以在wps中直接转为excel文件,比较方便。当然我们也可以根据不同的需求保存到不同的文件类型。接下来我们将按照步骤依次来完成爬虫工作:
周昕毅,携程系统研发部云平台高级研发经理。目前负责携程K8S平台运维管理、分布式存储和云平台网络组件研发及运维管理。熟悉云基础设施建设,从事运维自动化及DevOps工具研发工作十年以上。长期关注云原生技术领域,Infrastructure AS Code理念的坚定践行者。
数人云上海&深圳两地“容器之Mesos/K8S/Swarm三国演义”的嘉宾精彩实录第四弹!小数已经被接连不断的干货搞晕了,沉浸技术的海洋好幸福~Windows container在国内的实践还比较少,携程作为.Net大户,率先进行了调研和实践应用,将其中的成果与大家分享。
如果用一个词来形容携程近几年的发展和变化的话,我想,最为贴切的一个词,或许就是「蜕变」了。是的,携程正在发生一场全面的改变,最终,让携程早已不再是以往的那个携程。同样地,正是因为携程有了这样一种改变,因此,我们才会有理由对于它的未来有更多的畅想。
对于携程来讲,过去的三年,绝对可以称得上是极不寻常的三年。在这三年当中,我们见证过太多太多携程艰难的场面,我们听到过太多太多携程绝地反击的号角,我们看到过携程太多太多的改变。事实证明,携程实现了自我的涅槃重生,经历了三年的洗礼之后,携程已然归来,携程仍是少年。
架构设计到底是做什么? 每个人都有不同的答案,毕竟在不同的时间,不同的系统层级,不同的需求背景上,架构设计的任务都有所不同。 那么,如何成为顶尖的架构师? 通往顶峰的道路有千百种走法,希望本书单能帮助你少走弯路,更快地实现自己的架构梦想! 01 ▊《架构整洁之道》 【美】Robert C. Martin 著 孙宇聪 译 整洁之道再续新篇 Bob大叔封山之作 熔举世热门架构于一炉 揭通用黄金法则以真言 本书是创造“Clean神话”的Bob大叔在架构领域的登峰之作,围绕“架构整洁”这一重要导向,系统地剖析
作者简介 吴毅挺,携程系统研发部高级总监。2012年加入携程,从零组建携程云平台团队,目前负责携程私有云、虚拟桌面云、网站应用持续交付等研发。 一、在线旅游与弹性需求 近年来随着大众旅游消费的火热,携程的业务每年呈高速增长,2016年Q4财报显示携程2016年全年营业收入同比增长76%,交通票务营业收入同比增长98%,酒店预订营业收入同比增长56%,其他BU也有大幅增长,预计2018年携程的GMV将突破10000亿,并在2021年突破2万亿。 我们开发的私有云和持续交付平台为携程超过 20 个 BU/SBU
说到受疫情影响最为严重的行业,旅游行业首当其冲。其中携程作为国内市占率最高的OTA企业,稍有动静便会激起千层浪。比如最近携程回港二次上市的传闻不绝于耳,但携程一直对外表示“不予置评”。
序言 2021年仍然是艰难的一年。反复的疫情和全球经济的不确定性,让几乎所有对旅游业不利的因素都在释放。但于变局中开新局,在危机中育新机,旅游业人带着穿越寒冬的信念,奋力前行。携程技术人则“深耕国内,心怀全球”,切身体会到反复疫情为用户出行带来的困难,我们重点提升服务效率,推动进一步化繁为简并提高灵活性,加强系统的自动化程度,加快对用户需求的响应。 移动端的跨端技术深入进一步赋能业务,React Native、Flutter、小程序等跨平台框架将动态化的能力最大化的支撑业务,带来业务迭代周期缩短、开发效率的
近期,携程与百度地图“官宣”上线境外打车服务。携程表示:携程境外打车一站式整合了Grab等境外主流打车的平台,为海外用户提供境外租车、接送机、包车、打车约车四大服务,同时在司机的交互界面配备在线翻译功效,避免用户语言不通的尴尬。截止目前,携程境外打车已覆盖全球56个国家,886个城市。
在那个疫情突然来袭的时候,一切都是渺小的。纵然是头部的企业,亦未能幸免。时至今日,我的脑海里还在浮现携程CEO孙洁接受采访时痛哭流涕的画面,可以想见的是,这场突如其来的事件对于携程的打击是巨大的。然而,如果我们再一次回转身,观察整个事件,就会发现,对于携程来讲,这更像是一个分水岭。
“携程在手,说走就走”,这句广告语有多深入人心?只要说出上半句,有一半以上的国人都能对出下半句。作为1999年成立的旅游平台,携程已然成为业内外公认的“顶流”,为人们的出行带来了很多便利,甚至引领着人们全新的旅行方式。
对于游山玩水,古人似乎总有不知凡几的热情,而这份热情延续至今,终于成为了成熟的旅游业务不断的满足人们的游玩之心。
现在有一个需求,想查询一下给定出发地和目的地的机票数目,然后得到所需要的航班信息。不知道哪个网站比较好,于是用bing查了一下,搜索结果中第一个是携程在bing打的广告。 秉承着对bing搜索一贯的信
叶亚明万万没有想到,他在携程网大干快上的技术改造升级给其OpenStack团队造成巨大压力。这位携程网新任技术副总裁自上任始,便对整个技术构架进行大刀阔斧的改革。 成也萧何,败也萧何。 乌云漏洞平台上披露的一则信用卡支付“漏洞”,让雄心勃勃的叶亚明绊了个大跟头。这个漏洞散列是:bf9165488f5e2ea3ca02ec6b310446b0。 虽然在此前,乌云网已经连续披露京东商城、支付宝、网易等国内著名互联网企业在用户信息安全防护中存在高危漏洞。然而,此次对于携程漏洞的详细描述——“通过
管理大师彼得·德鲁克曾说过,在动荡的时代,动荡本身并不可怕,可怕的是延续过去的逻辑。
“疾风知劲草,烈火见真金。”2023年,是我们的挑战之年,也是我们的成长之年。全球旅游行业在经历了三年疫情的严重打击后,终于迎来了全面的复苏和爆发式的增长。我们多个业务线订单量均突破了历史最高值,随着五一、暑期、十一、春运多个业务高峰接踵而至,我们系统承受了前所未有之压力,面对压力,我们没有退缩,而是选择了挑战。我们进行了一系列的技术改进和创新,提升了系统的效率、可扩展性、稳定性和安全性,同时降低了成本,强有力地保障了业务的发展。
7月12日,中国互联网协会、工业和信息化部信息中心发布了2016互联网企业100强榜单(下称“互联网百强”),携程作为唯一一家在线旅游服务企业入选前十,其为推动“互联网+旅游”进程所做努力再次获得了各方的认可。 从公开的消息看,携程在这一个月内的时间里,收获了来自业界各方的认可。6月2日,“互联网女皇”Mary Meeker发布2016年互联网趋势报告,其中,对于中国旅游行业里,这位“互联网女皇”特别提到:携程建立起了“广阔的一站式旅游服务”。 6月25日,世界经济论坛(达沃斯论坛)宣布携程获评2016年“
导语 携程今年动作不断,继5月份收购艺龙后,前不久又宣布了与去哪儿合并,成为国内在线旅游领域当之无愧的霸主。那么一路走来,技术是如何支撑携程成长到今天的地位,我们基于过去三年携程在QCon会议中分享的十几篇技术主题内容,从一个独特视角来下分析下携程技术的演进之路。 在今年11月17日QCon旧金山的中国技术开放日专场上,携程旅行网CTO叶亚明(Eric Ye)先生也将上台与大家分享携程的技术演化进程。 基础架构 携程在多年的发展中不断进行架构优化,逐步采用分布式架构,解耦业务和架构,提高可扩展性,现在已逐步
随着新冠病毒疫情的缓解和控制,全球旅游业逐渐开始重新复苏。尤其在一些度假胜地,游客数量已经恢复到疫情前的水平。
刚成功赴港二次上市,就迎来了五一小长假,主打在线票务、旅游、酒店服务的在线旅游平台携程迎来全新增长期。
API网关是携程路由体系内的重要一环,在隔离&解耦网络环境、海外加速、单元化等场景内都承担着重要角色。网关同时也是公共业务需求的载体,包括安全认证、反爬、限流熔断、监控告警等。作为公共基础设施,保证自身稳定性,同时支撑业务发展是我们的首要目标。 博文视点学院联合携程技术团队,于9月22日(今晚)19:00带来技术分享《携程DRC-MySQL数据双向复制实践》,由携程软件技术专家俞炯老师带你一同深入剖析携程API网关。 携程第二代API网关设计与实践 9月22日(今晚) 19:00 ▲扫码即刻报名▲
2019年已悄然来到我们身边,回首过去的2018年,携程GMV达到6900亿元,首次成为全球OTA行业第一;线下门店超7000家,国内城市覆盖率达到80%;海外平台月度活跃用户量已达到9000万,携程全品牌月活跃用户数超过2亿。
近日,第十二届中欧工商峰会在比利时首都布鲁塞尔召开,多家中国企业随国务院总理李克强参会与欧洲工商界交流合作。携程CEO孙洁尤为引人注目:她是《福布斯》杂志“2017中国最杰出商界女性排行榜”上的美女企
颜值高的,点上面! 近日,携程对外宣布通过了ISO 27001(信息安全管理体系标准)认证,成为国内首家获得该认证的在线旅游服务企业。这也意味着,今后用户在携程上预订相关产品并支付,会有更全面的保护。 1 什么是ISO 27001? 据了解,ISO 27001是一项针对信息安全管理的国际标准。其前身为英国的BS 7799标准,该标准由BSI于1995年2月提出,并经过陆续的修订和完善,携程此次所通过的认证版本为其最新的ISO/IEC 27001:2013。该标准已成为当今国际上最权威、最严格,也是最被广泛接
不到一周时间,携程就迅速完成了美国存托凭证和可转债的发行。 美国时间9月13日,携程旅行网宣布,2850万股美国存托凭证发行完成,定价为45.96美元/股。同时,总额9亿美元、于2022年到期的高级可转换债券(下称“可转债”)同步发行完成。根据计划,携程会为初始购买方提供选择,允许其在30天内进行可能的超额认购。 投资人对携程的认可超乎想象。亚洲权威金融刊物《亚洲金融》杂志(Finance Asia)披露的信息显示,携程实际上“一共收到了超过80亿美元的认购申请”,是预计认购申请额的4倍多。 业内人士分析,
全球AI技术开放日,是由AICamp发起的学习和练习AI技术的一系列交流学习活动。组织国内外AI专家学者走进优秀的AI技术公司,一起交流学习AI技术具体实践。 7月14日走进携程专场,将探索携程在线旅游业务背后的AI大脑。由来自硅谷和携程的讲师围绕相关业务发展过程中遇到的问题和解决方案展开,从技术挑战与选型、架构设计与阶段性演进、新技术应用探索等多个层面进行分享。 活动信息 ---- 【时间】7月14日(周六)12:30-17:00 【地点】上海市长宁区金钟路968号,凌空SOHO12号楼 【报名】点击文
今天分享的内容分为两部分,前面一部分为携程网Ceph的具体实践讲解,后面一部分为携程工程师在Ceph中国社区针对Ceph应用的一系列问答
十一小长假将至,微博热搜频频出现“十一假期高速免收通行费”、“十一假期小助手”、“哪些人不建议国庆假期去外地旅游”等关键词,透露了疫情后期旅游市场基本复苏的行业现状。
11)由于VIS作为一个封装的JS库,因此生成的顺承图谱在项目中暂时设置到500,见travel_event_graph.html
10)使用VIS插件进行顺承关系图谱构建与展示, event_graph.py 11)由于VIS作为一个封装的JS库,因此生成的顺承图谱在项目中暂时设置到500,见travel_event_graph.html
5 月 28 日消息,携程官网和客户端出现故障,目前全部搜索功能都无法使用,搜索框中出现一段代码,而携程官网显示,“携程网站目前遇到问题,深表歉意,正在紧急修复中…”此外,携程的二级页面均无法打开
随着携程国际化战略的实施,业务海外部署需求增大,MySQL数据库主从架构下,海外服务写延迟大。携程内部历时1年,代号为“流浪地球”的机房级故障演练,验证了IDC级别故障容灾能力,实现了服务的单元化,但没有实现数据的单元化。 DRC通过将部署在不同机房的MySQL数据进行双向复制,实现单机房保存全量数据,业务本地读写。单机房故障时,分钟级机房流量切换。 博文视点学院联合携程技术团队,于9月15日(今晚)19:00带来技术分享《携程DRC-MySQL数据双向复制实践》,由携程软件技术专家李明冬老师带你一同深入
据美国市场调查显示,92%的企业正在使用公有云,81%的企业要求同时使用多家云供应商(混合云或者多家云服务商)。支持多家公有云的混合云系统,即保障了企业数据安全,又能实现弹性增长快速部署,同时规避单一云供应商带来的单一依赖风险。 携程的混合云正是按这一理念设计的Multi-Cloud/Hybrid-Cloud系统,正帮助携程实现对业务透明的全球化部署,助力携程国际化。 在本次《携程混合云微服务化》直播分享中,你将了解到: •携程混合云简介 •混合云单体架构 •混合云架构迁移 •混合云微服务架构 •新的挑战
专访携程商旅邱斐:博弈中的大猪如何利用数据驱动业务?
3月22日,乌云平台连续披露了两个携程网安全漏洞,漏洞发现者称由于携程开启了用户支付服务借口的调试功能,导致携程安全支付日志可被任意还可读取,日志可以泄露包括持卡人姓名、身份证、银行卡类别、银行卡号、CVV码等信息。 漏洞发现者进一步解释,该漏洞之所以存在,是由于携程用于处理用户支付的安全支付服务器接口存在调试功能,将用户支付的记录用文本保存了下来。同时因为保存支付日志的服务器未做较为严格的基线安全配置,存在目录遍历漏洞,导致所有支付过程中的调试信息可被黑客任意读取。 对此
原本,美团和携程的主战场并不在同一个空间。一直注重商旅用户的携程,借助垂直布局酒店、机票预订、跟团游等产品吸引一二三线用户;而注重本地用户的美团则围绕本地生活服务与出行俘获了四五六线用户,双方用户重合度并不算高。
携程前端框架团队,为携程集团各业务线在PC、H5、小程序等各阶段提供优秀的Web解决方案。产品涉及各类前端/Node端应用框架、研发工作台、前端中台化、静态资源发布系统等。当前主要专注方向包括:新一代研发模式探索,Rust构建工具链路升级、Serverless应用框架开发、在线文档系统开发、低代码平台搭建、适老化与无障碍探索等。
本文来自携程酒店研发部研发经理崔广宇在第三期【携程技术微分享】上的分享,以下为整理的内容概要。墙裂建议点击下方视频,“现场”围观段子手攻城狮大崔,如何高智商&高情商地完美碾压爬虫。。。
10月19日,携程上海总部,来自华为、网易、携程等行业内深耕多年的资深专家和实战派人物,与250余位参会者一起,聚焦测试工程效率提升,围绕AI、自动化平台、DEVOPS等多个前沿议题进行探讨。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/100101.html原文链接:
在前不久的文章中,我们抛出了这个互动,引得程序猿段子手们纷纷出动,随便摘几条回答,你们感受下:
百度和携程的绯闻传出,一位百度系人士告诉我,这确实是板上钉钉。被竞争对手在今天这个特别的日子,委托媒体在凌晨泄露出来,用心良苦。这是百度在蛰伏多日之后的又一个大动作——就像19亿美金天价的91无线给互联网投资并购市场带来的影响一样。 最大规模互联网并购事件 我了解到的情况是,最终的操作方式可能有两种:携程收购去哪儿,百度用去哪儿去置换新携程的控股权。第二种则是媒体所披露的百度控股携程,再与去哪儿整合。并购的操盘过程应该是百度、去哪儿和携程三方均参与其中,最终由庄辰超还是梁建章来主导新的携程(或者说
国内在线旅游企业的科技感越来越浓。上周,携程旅行网在上海密集展示了一系列新科技成果。近日,携程科研团队撰写的深度学习主题的论文成果,又被大洋彼岸的顶级学术会议AAAI(美国人工智能协会)录用。这也意味着,携程在人工智能+旅游细分领域的研究达到国际前沿水平。 AAAI是国际人工智能领域的顶级学术会议,其论文代表当今人工智能技术研究的最高水准,它既是AI学术泰斗讨论和发布学术成果的主阵地,也是Google、微软等公司的AI知名项目成果论文的重要出版机构。如今,携程也正式迈入了AAAI顶级科技企业成员。 据悉
本文作者为携程平台UED团队,同时感谢机票、度假、酒店UED团队协同搭建插画系统。
近日携程攻略客户端2.4正式上线Apple Store和各大安卓市场,新版本突破性地引入了VR游记功能,用户通过携程攻略客户端即可预览VR场景。 此外,用户可以通过后台上传和即时拍摄两种方式在新版携程
领取专属 10元无门槛券
手把手带您无忧上云