携程的反爬机制有点让人害怕，当某些参数不对的时候，直接返回的房价价格比实际价格要高，这也可以当作“千人千面”吧。 阅读步骤 效果展示 项目地址 携程反爬机制图示 携程反爬三点 总结 效果展示 ?...项目地址 https://github.com/justcodedroid/spider_js/tree/master/xiecheng 携程反爬机制图示 ? 携程反爬三点 我们抓取的地址是这类的。...https://hotels.ctrip.com/hotel/7067729.html 抓取数据是乱码（温馨提示不要使用json中html字段），我们可以通过debugjs函数发现，字体之间有一个映射函数
历程墙的对面是携程依托大数据的实时分析能力，制作出的实时、动态的可视化订单展示系统，不仅订单生成状况一目了然，更可实时了解目前各地区、景点的热度情况。...不停闪烁的光点将冰冷的数据转化成了生动可视的形象。 ? 携程的员工福利也令人羡慕，台球桌、跑步机、按摩椅等健身娱乐器材配置齐全。 ?...携程技术中心基础业务研发部高级研发经理赵辛贵，在本次活动中分享了《React Native在携程的工程实践》。 携程App于2011年开始开发，随着功能的增多，问题也逐渐凸显。...随后，携程高级无线开发总监和无线技术委员会主席陈浩然分享了《携程无线网络服务方案》。...演讲的最后，陈浩然总结，现有无线服务模型是Request-Response模式，存在无法实时推送业务数据变更的问题，业务需要数据变更时只能轮询拉取，低效且不够及时。
其中携程作为国内市占率最高的OTA企业，稍有动静便会激起千层浪。比如最近携程回港二次上市的传闻不绝于耳，但携程一直对外表示“不予置评”。 而日前，携程回港的传闻也终于得到证实。...多因素推动携程回港 照目前形势来看，携程回港二次上市已成定局，但从整个市场形势来看，全球旅游业危机仍在，此时并非旅游平台上市的一个好时机，更何况携程如今还处于回血中的状态。...2020年旅游市场降至冰点，身为行业老大哥的携程受到的影响也更为突出。根据携程最新的财报数据来看，2020年携程全年净营收同比下降49%，净亏损更是达32.47亿元，也给携程的复苏带来了危机。...根据港交所聆讯显示的数据来看，2020年携程的毛利率仍保持在78%的高位，说明携程的盈利能力依然表现甚佳，自身有足够的竞争力。 其二，内容营销，回血速度快。...根据文旅部数据显示，在刚刚过去的清明节假期中，全国国内旅游出游1.02亿人次，按可比口径同比增长144.6%，恢复至疫前同期的94.5%。
作者简介 dot，携程技术经理，专注高并发、高性能领域。...一、背景 Elasticsearch是最近几年非常热门的分布式搜索和数据分析引擎，携程内部不仅使用ES实现了大规模的日志平台，也广泛使用ES实现了各个业务场景的搜索、推荐等功能。...由于携程使用ES的业务非常多，迫切需要一个简单易用的框架或者工具完成这个工作，以便大家从繁琐重复的代码里脱身，专注在完成业务本身上。...2）第二种是MQ增量，携程内部使用QMQ接收了来自Otter的MySql变更，MQ里会有变化的数据库表、字段的信息，因此可以针对性地实现对MQ的解析的规则，从而可以轻而易举地达到通过MQ对ES里的文档进行全部...这种方法是最常用的，对临时更新数据也非常友好。如果提供的Id在最终的数据里没有发现，将删除ES里对应的数据，以处理数据在DB里被物理删除的情况。
文/孟永辉 如果用一个词来形容携程近几年的发展和变化的话，我想，最为贴切的一个词，或许就是「蜕变」了。是的，携程正在发生一场全面的改变，最终，让携程早已不再是以往的那个携程。...同几乎所有的互联网玩家们一样，携程主要做的是撮合和中介的买卖，只是携程做的是旅游相关的撮合和中介罢了。纵观携程的发展史，我们可以非常明显地看出，它的身上有相当浓烈的互联网的味道。...正是在这样一种情况下，我们看到的是，携程不断通过自身平台的数据积累来改变供给的模式。这其实是所有互联网平台都在做的。即，它们凭借自身所掌握的海量的数据来赋能产业，以提高产业上下游的对接效率。...对于携程来讲，什么才是它的「根」呢？笔者认为，旅游业，才是真正孵化携程，并且真正可以让携程继续发展的行业。...结语 疫情给携程带来了不少挑战，同样地，一场蜕变，正在携程身上发生。经历了这样一场蜕变之后，我们所认识的携程，或许将不再是以往的那个携程，而是成为了一个全新的存在。
作者简介 Roy，携程软件技术专家，负责MySQL双向同步DRC和数据库访问中间件DAL的开发演进，对分布式系统高可用设计、分布式存储，数据一致性领域感兴趣。...一、前言 在携程国际化战略背景下，海外业务将成为新的发力点，为了保证用户高品质的服务体验，底层数据势必需要就近服务业务应用。...Proxy作为公网数据传输携程内部统一的解决方案，参见《携程Redis海外机房数据同步实践》，开源地址：https://github.com/ctripcorp/x-pipe，欢迎关注。...DRC开源地址： https://github.com/ctripcorp/drc 【推荐阅读】 支持10X增长，携程机票订单库Sharding实践 携程基于BookKeeper的延迟消息架构落地实践...携程 SOA 的 Service Mesh 架构落地 万字长文详解携程酒店订单缓存 & 存储系统升级实践 “携程技术”公众号 分享，交流，成长
作者简介 刘丹青，携程信息安全部高级开发工程师。2014年加入携程，主要负责验证码、风控数据平台的开发设计工作，提供性能测试与性能优化的相关支持。...在携程，各BU经常受到恶意注册、登录、恶意刷单、扫号等行为，所以建设了一套数据平台，希望能够从数据中挖掘出有用的信息，不仅可以为风控系统提供数据支持，还可以为其他服务提供支撑。...本文主要从架构和业务的角度介绍下携程信息安全团队的数据平台建设之路，以及如何为业务和风控提供支持的。 一、数据平台1.0的特点 ?...1.0数据平台架构图 为了快速支持风控平台，在早期建设数据平台的时候，我们直接通过RabbitMQ收集业务数据，再使用数据引擎对数据做清洗、计算，再存储在MySQL中，把数据处理以sql的形式写入到代码中...，又由于数据格式各异，通过数据平台创建数据模型，并保存到HDFS存储上。
作者简介 cxzl25，携程软件技术专家，关注大数据领域生态建设，对分布式计算和存储、调度等方面有浓厚兴趣。...本文介绍携程数据血缘如何构建及应用场景。第一版T+1构建Hive引擎的表级别的血缘关系，第二版近实时构建Hive，Spark，Presto多个查询引擎和DataX传输工具的字段级别血缘关系。...三、携程方案 携程采用了方案二，运行时分析SQL并收集分析结果到Kafka。由于开源方案在现阶段不满足需求，则自行开发。...七、总结 以上描述了携程如何构建表和字段级别的血缘关系，及在实际应用的场景。...团队招聘信息 我们是携程集团的大数据平台研发团队，主要负责携程大数据平台的建设，包括但不限于Hadoop生态源码二次开发，任务调度，查询平台的开发，致力于为集团提供稳定、高效、易用的大数据存储和计算服务
其中流量指的是指携程在大数据、算法和私域流量管理的支持下，提供目标人群画像，实现流量的定向分发和广告投放。内容指的是通过直播、榜单和社区打通线上线下内容渠道；而商品则指预售、优惠和促销等玩法。...目前，携程PUGC平台化直播已于3月18日内测成功，并将在4月2日开始稳定推进。从内测数据显示，无论从用户观看时长、互动数还是交易转化方面，都优于行业和预期。 其次是“势”，即携程的旅游基因。...可见，携程不仅精准用户多，平台还掌握了用户消费大数据，在算法加持下，能提供目标人群画像，实现流量的定向分发和广告投放，提升营销效率。...据fastdata 极数相关研究数据表明，预计2021年全年中国旅游广告市场规模将达到800-1000亿元，未来的旅游广告将会成为旅游业新的“千亿赛道”。...从携程财报数据可知，其2020年Q4及全年财报显示，2020年全年收入为183.2亿元，同比下降48.63%。2020年Q4，携程收入为49.66亿元，同比下降41%。
伴随这一过程的是如何管理数据库扩展，如何规范数据库访问，如何保护数据库投资，如何应对访问量增加，如何预防安全问题等一系列挑战。 作为国内在线旅游行业的翘楚，携程也曾经面对同样困扰。...为了应对这些挑战，实现企业10倍速发展，携程开发了具有自己特色的数据库访问框架Ctrip DAL。...Ctrip DAL由携程技术中心框架部DAL团队开发，历经3年不断打磨，在长期的实际使用中吸收了大量用户反馈。目前携程超过117个独立DAL团队通过代码生成器管理数据库和创建DAO。...2000多个应用在使用DAL框架，占携程所有数据库应用总数超过90%。 本次开源的产品包括代码生成器和Java客户端，C#客户端也将近期开源。...通过开源携程自身使用DAL框架，携程希望在满足自身需求的同时，服务于广大企业，并继续为中国方兴未艾的开源运动出点力。 Dal定位 Dal的定位是数据库访问层。是以数据访问类（dao）的形式出现。
有时候需要登入网站，然后去抓取一些有用的信息，人工做的话，太累了。有的人可以很快的做到登入，但是需要在登入后再去访问其他页面始终都访问不了，因为他们没有带Cookie进去而被当做是两次会话。...php //test.php function getWebContent($host,$page=”/”,$paramstr=””,$cookies=”,$medth=”POST”,$port=80...php //index.php if(isset($_COOKIE[‘cname’]) && $_COOKIE[‘cname’]){ echo “12...> 将上面三个文件分别保存，login.php和index.php放在root目录下的test目录下。然后test.php放在任意目录，然后去命令行运行php test.php，结果就能出来。...”); //设定返回的数据是否自动显示 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 我们在POST数据哦！
这样的你，对诗词有见地、有追求、有文化、爱旅游、爱编码，携程旅游网特在此招募这样的你们加入我们的 。哈哈。...携程一面： 1.栈和堆的大小，申请一个整形数组最大可以达到多少，float的大小，（linux（不同的内核版本）和windows） 2.100万个商品价格，找出前100个，前10个，前1个，如何提高效率...10多分钟） 3.外排序的磁盘io效率如何提升 4.线程同步的机制（四种锁，信号量，屏障，条件变量） 5.自旋锁的存在的问题以及自旋锁的底层实现 6.读写锁的特点，底层实现 7.100万的整形数据占多大...8.一堆数据，需要线程同步，如何实现，比较方法的优劣 9.如何用程序测试堆的大小 10.建推的时间复杂度，调整堆的时间复杂度 11.倒排索引，hash索引，B+索引的特点 12.自己对虚拟内存的理解...三次握手和四次挥手的状态转换，问的很细，timewait，clostwait的特点 15.如何用一个指针在o(n)的时间内判断单链表是否有环 16.一道算法题：旋转数组，要求空间O(1),时间O(n) 携程二面
“携程技术”公众号 分享，交流，成长
编者：本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业，2015年初加入携程，主导了携程实时数据计算平台的建设，以及携程大数据平台整合和平台技术的演进。...今天给大家分享的是携程在实时数据平台的一些实践，按照时间顺序来分享我们是怎么一步一步构建起这个实时数据平台的，目前有一些什么新的尝试，未来的方向是怎么样的，希望对需要构建实时数据平台的公司和同学有所借鉴...其实了解携程的业务的话，就会知道携程的业务部门是非常多的，除了酒店和机票两大业务之外，有近20个SBU和公共部门，他们的业务形态差异较大，变化也快，原来那种Batch形式的数据处理方式已经很难满足各个业务数据获取和分析的需要...在完成了这些功能之后，我们就开始初期业务的接入了，初期业务我们只接了两个数据源，这两个数据源的流量都比较大，就是一个是UBT（携程的用户行为数据），另一个是Pprobe的数据（应用流量日志），那基本上是携程用行为的访问日志...第一个展示的是携程这边的网站数据监控平台cDataPortal，携程会对每个网页访问的性能做一些很详细的监控，然后会通过各种图表展示出来。 ?
作者简介 许鹏，携程机票大数据基础平台Leader，负责平台的构建和运维。深度掌握各种大数据开源产品，如Spark、Presto及Elasticsearch。...现如今大数据一块有很多的开源项目，因此首先搭建平台的难点其实在于如何选择一个合适的技术来做整个平台的架构，第二，因为有业务数据，用了平台之后的话，如何用平台把数据分析出来让用户有很好的交互性的体验。...第三个层面就是理工科喜欢建模，而在这整个过程当中，我们会形成一种非数据建模，而主要是我们如何分不同层面的人员搭配，进而做成这样一个大数据团队。 一、数据平台技术选型 1、整体框架 ?...因为查询时不是所有人都应该看到所有的数据，这很容易出问题，可能有比较实实在在的数据，它不像一般的日志数据，特别像机票或者我们这边的酒店，它的数据有不少的一些敏感信息，这需要做相应的权限管理。...其实在做一套大数据的平台时，少不了任务调度这一块。任务调度这一块我们使用的是Zeus系统，携程在这一块开源出来，由我们公司Ops的团队专门来负责开发和维护个平台。
时至今日，我的脑海里还在浮现携程CEO孙洁接受采访时痛哭流涕的画面，可以想见的是，这场突如其来的事件对于携程的打击是巨大的。...携程创始人梁建章在直播带货上的探索与实践让携程找到了新的方向——内容。 以内容为核心，增加流量沉淀，让携程不再仅仅只是单纯意义上的工具，而是变成一个生态。...流量不仅可以通过携程来订机票、订酒店，而且还能够在携程上面获得知识、信息和生活方式，才是让流量持续不断活跃和留存的关键。...今年二季度，携程平台发布的内容数量环比一季度增长近一倍，携程签约旅行家数量环比一季度增长50%。当内容不断丰富，携程的核心已经从流量转移到了内容上。...只有真正意识到新周期里的新机会，并且找到迎风翱翔的正确姿势，携程才能成为一个全新的携程。 —完—
作者简介 孟文超，携程技术中心框架研发部高级经理。2016年加入携程，目前负责框架数据（数据库，缓存）及相关项目。此前曾在大众点评工作，任基础架构部门通信团队负责人。...一、背景 随着携程国际化业务的发展，为了给海外用户提供更好的服务，公司开始在欧洲部署业务（使用Amazon云），欧洲的用户访问欧洲的本地服务。...携程机票业务重依赖于Redis，同时目前的数据产生大部分都在上海，这样就对Redis数据同步至欧洲产生了极大的需求，部署在欧洲的业务只需读取Redis数据即可。...XPipe（https://github.com/ctripcorp/x-pipe）是携程内部开源的一套Redis多机房系统，现有的功能在以往的基础上继续扩展，可以参考公众号的另外一篇文章《携程Redis...BBR算法，下面是在10MB数据传输速率下，公网24小时延时测试数据(单位为纳秒)，数据最大延迟为88S。
继去年爆出了“酒店同房不同价”的消息之后，前两天微博网友@陈利人 发文称，在携程订票未支付时，发现忘记勾选“报销凭证”，退回修正再支付时被提醒“已无票”。...3月11日，携程发布致歉说明称，携程绝不存在任何“大数据杀熟”行为，声称二次支付无票是系统Bug，已于3月10日23点紧急修复了此漏洞。...“大数据杀熟”事件多次出现，此次回应同样引起网友质疑。 什么是大数据杀熟？ 大数据杀熟，指的是互联网行业的一种区别定价模式。...“大数据杀熟”的几个特征： 同样的商品/服务，在同样的交易场景下，不同的价格； 定价差异和变化的基础是大数据，基于互联网技术获取的数据，而不是传统的市场调研方式； 侵犯用户知情权，对于可能出现的价格差异...浙江大学中国跨境电子商务研究院院长马述忠总结了“大数据杀熟”的3种套路： 1.借助大数据进行“用户画像” 根据用户的收入水平与消费习惯实现“杀熟”。这是最常见的套路。
对于携程来讲，过去的三年，绝对可以称得上是极不寻常的三年。在这三年当中，我们见证过太多太多携程艰难的场面，我们听到过太多太多携程绝地反击的号角，我们看到过携程太多太多的改变。...事实证明，携程实现了自我的涅槃重生，经历了三年的洗礼之后，携程已然归来，携程仍是少年。 透过携程三季度的财报，我们便可以看出一丝端倪。...事实证明，透过携程的一系列的转型和升级，携程是抵挡住了经济的寒冬的。现在的携程，早已不再是我们以往所认识的那个携程。一个全新的携程已经归来，而归来之后，携程仍然是少年。...无论是携程农庄，还是携程对于乡村振兴的支撑，我们都可以非常明显地看出，携程正在开启一场拥抱实体的全新发展。...站在这样一个角度，我们就会理解为什么携程可以如此快速地实现复苏，我们就会理解为什么携程可以穿越经济的周期，我们就会理解为什么携程可以顺利地实现转型和升级。 携程已经归来，归来的携程已然是一个少年。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
