规则圈选中所使用的画像标签数据是离线计算出来的,大部分在计算过程中剔除了很多明细信息,仅保留了最关键的画像内容,即某日某用户的标签值。...虽然画像数据是浓缩精简后的核心数据,但在很多人群圈选场景中依赖行为明细数据,比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户...第一种使用Hive表导入,首先需要找到离线行为明细数据,然后将数据整理后写入到ClickHouse中;第二种直接消费实时行为数据并写入ClickHouse中,其圈选结果也更具时效性。...行为明细数据包含时间属性,可以计算出每一个用户按时间排序后的行为序列,基于该序列可以实现行为序列圈选。比如圈选出点赞文章后又分享文章的用户,找到收藏商品后最终购买了商品的用户。...在行为明细圈选时可以结合画像标签数据一起使用,比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户,可以直接关联画像宽表进行计算。
基于LBS圈选学校周边用户应用背景:调研人员期望了解当代大学生就业观念,主要通过私信的方式给用户推送调研问卷。调研人员指定了几所国内高校,期望在这些高校中分别选取几十人进行问卷调研。...应用方式:调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户,并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后,私信平台可以通过接口拉取人群数据并进行私信推送。...应用结果:通过LBS圈选出的学校附近用户大部分都是大学生,不仅可以实现精准的私信触达而且还减少了对无关用户的打扰,最终帮助调研人员顺利完成既定工作。...以此类推,针对特定场合如医院、公园、电影院、旅游景点都可以进行精细化的人群圈选。3....应用方式:在画像平台上通过规则圈选创建女性用户人群A,通过文件导入的方式创建黑产用户人群B,通过组合人群的方式创建人群A与B的差集人群C。
例如,小区周边新开了一家生鲜买菜的线下体验店,需要对曾经在周边1Km内取菜点取过菜的用户进行短信推送,吸引用户前来光顾,此时主要会用到【XX小区】+【周边1Km】+【订单数>0】等标签条件,来圈选出目标人群...此外,相比较线上实时的LBS召回运营,提供POI圈选能力,可以让运营同学有更多基于经验规则运营的灵活性。...即,建立完善的LBS类的标签,与已有的精准营销平台打通,实现从圈选到营销触达的一站式能力。数据产品规划时,针对LBS标签需求提供灵活的配置能力。...:通过多种条件筛选出目标POI或周边区域,如POI类型、属性、省份、城市、具体地址信息等,离线场景直接圈选目标人群,实时场景输出区域规则 服务输出:圈选的目标区域,作为LBS位置标签,对接精准营销平台,...2.LBS标签构建方案示例 针对实时营销场景,POI标签圈选是构建地理围栏的规则,当用户实时定位获取到经纬度信息时,再经过Geohash匹配算法与圈选的规则进行匹配,如果命中规则就触发相应的产品或运营动作
同时,通过规则客群的圈选能力实力客群的精细划分。用户数据分析:基于丰富的用户标签数据,CDP 平台提供用户画像洞察功能,支持实时效果评估和营销漏斗分析。...数据服务层则包括用户数据服务、客群圈选、营销策略、实时事件、 AB 实验和实时效果分析回收在内的全方位数据服务,满足各业务场景的数据需求。...随后,利用 Spark 作业将 DWS 层数据抽取到 Impala 中,进行离线的标签计算和客群的圈选。...客群圈选在架构 1.0 中,客群服务先生成动态 SQL,然后将其传输到 Impala 中进行客群圈选。完成圈选后,结果集需被重新读取回客群服务,并由其上传到对象存储中。...未来,我们计划在 3.0 版本中,实现离线标签和实时标签的混合圈选功能,并依托 Doris 进行 OneID 实时计算。
Redis 刚刚发布了 3.2 版本,其中官方支持了地理位置相关的 GEO API 非常适合简单的位置服务场景,例如 查找附近的商家、计算用户与商家的距离 使...
currentCity;//城市 NSString *_strLatitude;//经度 NSString *_strLongitude;//维度 同时,CLLocationManager给我们提供了一些关于LBS...的配置: // LBS的精度选择,如设置10就只保证10米的精度。..._locationManager.desiredAccuracy = kCLLocationAccuracyBest; // LBS的更新距离,如设置10表示,当位置改变超过10米时,会调用位置更新的回调..._locationManager.distanceFilter = kCLDistanceFilterNone; // LBS的回调代理,回调定位的更新or失败。
但是昨晚逛朋友圈看到该课程的一个学生在他的公众号:《 医学僧的科研日记》,写了一个笔记:突变特征(Mutational signatures),让我很感动,就翻了翻 他的朋友圈,发现一个超级有意思的图及配文《朋友圈选美大赛
据了解腾讯云分析(mta.qq.com)近日推出的“社交LBS”SDK服务,其覆盖Android和iOS两大主流平台,所有功能免费。...腾讯社交LBS提供何种服务? 首先,社交LBS服务主要围绕实现“附近的人”,以及与之相关的路径轨迹、授权分享等功能,为开发者提供快速有效的管理自己App产品用户群在基于地理位置的社交关系链的能力。...换句话说,社交LBS是开发者可使用的免费“关系链存储和查询”神器。
http://www.cnblogs.com/LBSer/p/3295642.html LBS定位技术从方法上可分成三类:基于三角关系的定位技术、基于场景分析的定位技术、基于临近关系的定位技术(唐毅和杨博雄
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合,比如北京市男性用户,最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后,首先判断是否适合通过BitMap实现人群圈选,如果适合,可以获取标签的BitMap在内存中进行交、并、差操作;不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选,其实现逻辑是将人群圈选条件转变为SQL语句,借助ClickHouse引擎查询出所有满足条件的UserId并构建人群;当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...,同理,人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。...基于BitMap进行人群圈选主要分为两步,第一步是从ClickHouse中读取标签BitMap,第二步是在内存中进行BitMap的交并差运算,其实现语句如下所示。
人群LookALike是给定种子人群,然后通过技术手段找到与该种子人群相似的用户群体。...借助画像数据对种子人群进行特征分析并找出其主要标签特征,比如种子人群标签特征趋向于:性别男、年龄30至40岁、兴趣爱好-军事,那么可以把非种子人群中的所有30-40岁之间爱好军事的男性用户圈选出来作为目标人群...图片基于分类算法计算相似人群。把种子人群当作正样本,其他非种子人群(或者其他人群)当作负样本,通过训练分类模型计算出满足条件的用户并构建目标人群。...目前也有利用社交网络进行人群LookALike的实践方案,通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标,借助算法能力找到满足要求的用户并构建人群。...人群挖掘的思路是先找到训练样本(种子人群),然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是,人群挖掘的结果中可以包含种子人群中的用户数据。
该模块提供人群画像和人群聚类两个功能: 人群画像 (Audience Insights) 是对人群做画像的工具,它不仅对商家选定的人群做简单的统计分析,还会将用户包的人群特征和平台上全体用户的平均水平做对比...微信斑马系统的人群画像可以结合本文后面介绍的精准推广模块的各个筛选功能对海量人群秒级画像,比如通过上传公众号列表快速生成关注人群的画像。 ?...人群聚类 虽然人群画像可以通过属性选择在各个维度上观察人群特征,但需要操作人员对行业有一定了解,人群聚类可以根据用户之间的相似性自动将其分为不同的人群,便于商家分析人群的内部结构和分布特点。 ?...目前系统支持: 1, 基于 LBS 的圈选用户,适合线下 O2O 商家。 ? 2,根据对产品的认识编写用户标签的组合规则筛选受众。 ?...商家可以通过上传自己的会员包或是通过标签组合筛选和 LBS 圈选获取初期投放的种子用户,系统获取到种子用户后人群画像系统快速的展示出这批人群的特征和各项统计结果,整个过程只需要等待数秒。
导入人群是将外部数据导入画像平台构建人群,主要有3种实现方式:文件导入、Hive表导入和SQL导入。...Hive导入和SQL导入方式创建的人群数据直接存储到Hive表中,后续需要通过HiveToBitmap将人群数据写入BitMap并存储在OSS中。...与Hive导入人群方式不同,文件导入优先生成人群BitMap,之后再通过BitMapToHive过程写入到人群结果Hive表中。...导入人群是画像平台最常用的人群创建方式之一,其实现了将各类数据源沉淀为人群的功能,支持更灵活的人群创建方式,拓展了画像平台数据范围。...比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群,后续可以进行广告投放或者人群分析;数据分析师离线统计出了一批高价值用户,导入平台构建人群后可以直接提供给业务使用。
没有了MySQL就好像缺了一条腿 如果说利用MySQL搞LBS,是需要分版本的,分水岭是5.7: 5.7之前的MySQL没有内置对GIS查询的支持 5.7以及之后的MySQL直接内置了对GIS查询 然而实际上对于...在5.7之前的话,一般说遇到GIS查询量不太大的话,利用MySQL实现LBS都会利用一种叫做GEOHASH的技术。...如果你业务对LBS使用并不频繁,不想因此引入一个新的应用软件,就可以考虑使用这种方式来实现一下。
明确了人群需求后,数据的流程主要包括: 数据源准备: 圈选目标人群所需要的标签数据从哪里来?...火车票订单、酒店订单、红包卡券数据 标签生产: 按照场景人群逻辑,清洗加工标签 人群圈选: 以标签为限定条件,从全量用户中过滤圈选出目标人群 用户触达: 将用户数据传输到营销通道,对用户进行触达 效果评估...: 回收效果数据,持续优化人群圈选条件 3.2 CDP产品架构 CDP(CustomerDataPlatform)是基于用户实时数据标签,精准圈选目标用户并快速输出数据服务的数据产品,充分融合了低代码...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求,基于标签和判断条件,将用户划分成一个个精细化的人群包,不同人群承接差异化的运营策略。...(4)人群画像 不同人群的用户画像构成是怎么样的,不同特征的用户,对运营转化的效果是否相同呢?人群画像的应用价值一是人群圈选过程中确定是否满足运营需求,二是事后效果分析时,不同特征用户进行对比分析。
画像数据存储引擎是为了提高人群圈选速度,直接基于底层大数据原始表做人群圈选性能较差,需要借助画像数据存储引擎提高人群生产效率。...本节提到的技术选型主要偏重存储层涉及的画像引擎及画像分析相关技术方案,对应到功能层面上的人群圈选和画像分析功能。 阿里达摩盘是阿里妈妈广告投放平台,该平台可以进行人群圈选并应用于后续广告投放环节。...美团和滴滴的实现方案比较相似,在人群圈选中主要使用的是Elasticsearch和Spark引擎,Elasticsearch可以快速找到筛选逻辑比较简单的人群,当涉及复杂的圈选逻辑时可以降级为Spark...百度内部用户画像相关圈选和分析基本都是基于Doris实现的。知乎的画像圈选也借助了Doris,并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行,今日头条DMP以及CDP均通过ClickHouse实现了人群圈选,借助ClickHouse的BitMap实现了人群圈选的提速;快手DMP在人群圈选场景下也借助ClickHouse
1、人群创建 人群创建即找到满足条件的用户并构建人群,根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群:画像平台底层存在大量的画像标签,可以直接基于标签间的交、并、差操作进行人群圈选,比如圈选出常住省是北京且性别为男性的用户;最近一个月送礼次数超过5次且爱好军事的用户;常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式,图2-6展示了规则人群圈选的功能示意图,可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选:行为圈选是基于用户的行为明细数据进行圈选,其数据粒度较细且与时间紧密相关,基于这一特点,可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式,但是不同场景下对于人群圈选方式的要求不同,下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike:人群LookALike是借助算法能力实现人群的放大与缩小。
基于这种单表结构,可以很容易筛选出满足条件的用户,比如找到所有常住省为山东的男性用户;人群分析功能可以基于表中的指定标签列进行聚合操作来实现,比如统计所有省份的用户分布情况。...这一特点决定了该模型不支持精细化的基于行为数据的画像圈选和分析,比如圈选出1号到4号点赞过某视频的用户。...但很多场景并不关注与时间相关的明细行为数据,比如DMP平台中人群圈选大部分都是使用离线标签,用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中?...基于用户-行为模型,可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能,比如圈选出3月1日到3月24日之间,平均在线时长超过1000秒的河南省男性用户;针对给定人群,分析其从3月15日到3...基于行为明细数据可以实现更加细致的人群圈选和分析功能,比如圈选出3月1日到3月7日,中午12:00到14:00之间,使用Android系统进行登录的河南省女性用户;筛选出3月24日登录2小时之内发生了点赞行为的用户
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表?基于原始的标签数据表进行人群圈选有什么问题?如何生成画像宽表?针对这些问题本节会给出详细解答。...当用户圈选需求涉及任意N天的用户行为时,只能通过存储历史标签数据来解决。 支持跨时间的人群分析。...如果画像平台用户对于人群圈选的速度没有要求,直接基于Hive表进行计算是可行的。...但是有些业务对人群圈选速度有比较高的要求,比如热点运营团队,当热点事件出现之后,需要能够以最快的速度找到目标用户并推送Push消息,此时直接从Hive表中圈选用户便不再满足业务需求。...ClickHouse也比较擅长做宽表分析,基于这一特点可以把其作为Hive表的“缓存”使用,从而满足人群圈选和人群分析的提速。
3、业务实现 在搭建了人群圈选引擎之后,我们重点改造了我们的消息推送系统,作为人群精细化运营的一个重要落地点。 3.1 闲鱼消息推送简介 消息推送(PUSH)是信息触达用户最快捷的手段。...实时计算层:根据人群的筛选条件,从用户大宽表中,查询符合的用户数量和用户ID列表,为应用系统提供服务。 人群圈选前台系统:提供可视化的操作界面。...闲鱼PUSH系统:从人群圈选前台系统中获取人群对应的where条件,再从实时计算层,分页获取用户列表,给用户发送PUSH。在实现过程中,我们重点解决了分页查询的性能问题。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时,圈选人群,也可以应用到其他的业务场景,比如首页焦点图定投等需要分层用户运营的场景,为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据,我们目前是T+1导入的。这是考虑到人群相关的指标,变化频率不是很快,且很多指标(比如用户标签)都是离线T+1计算的,因此T+1的数据更新频度是可以接受的。