规则圈选中所使用的画像标签数据是离线计算出来的，大部分在计算过程中剔除了很多明细信息，仅保留了最关键的画像内容，即某日某用户的标签值。...虽然画像数据是浓缩精简后的核心数据，但在很多人群圈选场景中依赖行为明细数据，比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户...第一种使用Hive表导入，首先需要找到离线行为明细数据，然后将数据整理后写入到ClickHouse中；第二种直接消费实时行为数据并写入ClickHouse中，其圈选结果也更具时效性。...行为明细数据包含时间属性，可以计算出每一个用户按时间排序后的行为序列，基于该序列可以实现行为序列圈选。比如圈选出点赞文章后又分享文章的用户，找到收藏商品后最终购买了商品的用户。...在行为明细圈选时可以结合画像标签数据一起使用，比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户，可以直接关联画像宽表进行计算。
同时，通过规则客群的圈选能力实力客群的精细划分。用户数据分析：基于丰富的用户标签数据，CDP 平台提供用户画像洞察功能，支持实时效果评估和营销漏斗分析。...数据服务层则包括用户数据服务、客群圈选、营销策略、实时事件、 AB 实验和实时效果分析回收在内的全方位数据服务，满足各业务场景的数据需求。...随后，利用 Spark 作业将 DWS 层数据抽取到 Impala 中，进行离线的标签计算和客群的圈选。...客群圈选在架构 1.0 中，客群服务先生成动态 SQL，然后将其传输到 Impala 中进行客群圈选。完成圈选后，结果集需被重新读取回客群服务，并由其上传到对象存储中。...未来，我们计划在 3.0 版本中，实现离线标签和实时标签的混合圈选功能，并依托 Doris 进行 OneID 实时计算。
圈选对军事感兴趣的人群并用于Push应用背景：运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户，刚开始主要通过手动的方式在画像平台创建人群，然后导入到Push平台进行推送。...应用方式：调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户，并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后，私信平台可以通过接口拉取人群数据并进行私信推送。...以此类推，针对特定场合如医院、公园、电影院、旅游景点都可以进行精细化的人群圈选。3....基于组合人群赠送优惠券应用背景：三八妇女节当天电商平台会给女性用户赠送商品优惠券，主要通过画像平台的规则圈选找出所有女性用户并构建人群，当用户位于人群中时则赠送优惠券。...应用方式：在画像平台上通过规则圈选创建女性用户人群A，通过文件导入的方式创建黑产用户人群B，通过组合人群的方式创建人群A与B的差集人群C。
上图这里患者是业务工人好理解，因为组织是慢性病患者人群，但医生是业务工人就不是太好理解。...或者我是不是可以这样理解：对于以目标人群为研究对象的用例，在实现这个用例的序列图中，与目标人群代表交互的人都可以理解为业务工人（而不用管这个人可能是存在于业务执行者组织里的人），与它交互的非人智能系统都可以理解为业务实体...UMLChina潘加宇 2019-5-24 6:33 零件是可以共享的 医院机构是组织，医生是医院使用的的零件 患者人群也是组织，医生是患者使用的零件 再对比 医院机构是组织，支付宝是医院使用的零件 患者人群也是组织
明确了人群需求后，数据的流程主要包括： 数据源准备： 圈选目标人群所需要的标签数据从哪里来?...火车票订单、酒店订单、红包卡券数据 标签生产： 按照场景人群逻辑，清洗加工标签 人群圈选： 以标签为限定条件，从全量用户中过滤圈选出目标人群 用户触达： 将用户数据传输到营销通道，对用户进行触达 效果评估...： 回收效果数据，持续优化人群圈选条件 3.2 CDP产品架构 CDP(CustomerDataPlatform)是基于用户实时数据标签，精准圈选目标用户并快速输出数据服务的数据产品，充分融合了低代码...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求，基于标签和判断条件，将用户划分成一个个精细化的人群包，不同人群承接差异化的运营策略。...(4)人群画像 不同人群的用户画像构成是怎么样的，不同特征的用户，对运营转化的效果是否相同呢?人群画像的应用价值一是人群圈选过程中确定是否满足运营需求，二是事后效果分析时，不同特征用户进行对比分析。
整体来看，平台支持灵活的标签及人群创建方式，使用者按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析，人群在多场景的应用等。...画像应用：提供基础标签分析及针对特定人群的标签分析，另外还提供人群圈选跟踪分析及线上应用等。...支持灵活的标签及人群创建方式，让客户能按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包，支持人群的跟踪分析、人群在多场景的应用能力。...怎么设计能节省存储同时加速查询是重点考虑的问题之一。...4.3 人群创建 4.3.1 人群实时创建 人群包实时创建类似上面描述的人群大小实时预估，区别是在最后人群创建是需要将圈选的人群包用户明细写入到存储中，然后返回人群包的大小给到用户。
平台为业务人员提供海量标签，支持快速圈选目标人群，同时提供精细化人群画像洞察能力，联动多渠道进行推送，并支持人群效果的数据查看，助力业务人员进行全链路用户运营。...画像平台的工作要点一是产品服务、二是营销应用，不仅是画像能力建设起来，也要让业务上知道怎么用，并且用起来效果好。...04 用户画像平台能力 在平台建设层面，自如用户画像平台能力包含人群圈选，人群洞察、人群营销、营销效果分析，支持全链路定向用户营销。...人群圈选：通过人群圈选可进行精细化用户分层，而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式，适应营销人员在不同场景下的圈选需求。...人群营销：支持 push/短信/优惠券等方式进行定向用户营销，例如圈选北京 7 日活跃用户，推送中秋礼包活动，进行节日关怀；圈选解约业主，通过短信活动触达，进行业主召回；自如的人群包对接至家服 CRM
使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群，而使用BitMap进行圈人会对用户进行预聚合，在人群圈选时直接使用聚合后的结果进行计算。...首先将指定标签值下的所有用户聚合后生成BitMap，然后基于这些BitMap执行交、并、差操作实现人群筛选。图5-8展示了基于宽表和BitMap进行人群圈选的功能示意图，两种方式最终产出的人群相同。...BitMap特殊的数据结构决定了其适合做用户聚合并应用到人群圈选场景下。...基于宽表中全量用户的明细数据可以实现所有的人群圈选功能，但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。BitMap适用的标签类型和业务场景有限，要结合实际的数据进行判断。...业界一般使用混合模式，优先通过BitMap进行人群创建，不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间，这增加了工程的实现复杂度。
然而，怎么样才能第二次、第三次……精准的触达这些目标客户呢？ ▍ 如何做到精准呢？ 越来越多的企业一改往日铺天盖地的占地盘式营销方法，已经开始加大了对精准营销的重视。...▍ 营销方案 这一类客户是目标用户，也可以看做是种子用户，通过相似人群扩散，可以扩散出最多100万这样的特征的目标用户群，然后通过广点通去触达这些相对较精准的目标用户群，实现低成本、高质量的拉新。
画像数据存储引擎是为了提高人群圈选速度，直接基于底层大数据原始表做人群圈选性能较差，需要借助画像数据存储引擎提高人群生产效率。...应用层：前端研发可以使用Vue搭建前端工程并开发可视化的画像平台功能；平台对外提供的服务均可以封装到SDK中，本书以Java语言为主，因此SDK主要以JAR（Java Archive，Java归档）包的形式存在...本节提到的技术选型主要偏重存储层涉及的画像引擎及画像分析相关技术方案，对应到功能层面上的人群圈选和画像分析功能。 阿里达摩盘是阿里妈妈广告投放平台，该平台可以进行人群圈选并应用于后续广告投放环节。...百度内部用户画像相关圈选和分析基本都是基于Doris实现的。知乎的画像圈选也借助了Doris，并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行，今日头条DMP以及CDP均通过ClickHouse实现了人群圈选，借助ClickHouse的BitMap实现了人群圈选的提速；快手DMP在人群圈选场景下也借助ClickHouse
2.2.2 人群圈选：在构建人群圈选系统时，提供多样化的创建方式是满足不同业务需求的关键。...SQL查询：允许用户编写SQL查询来定义人群，提高灵活性。同步DMP人群包系统集成：与数据管理平台（DMP）集成，实现人群包的同步。数据映射：确保DMP中的人群信息可以正确映射到本系统的人群定义中。...采用KKV方式存储主要用于解决正查场景，即通过用户id查询所有人群包，通过这种结构对于同时判定多个人群的场景下只需与Redis交互一次即可。...例如，需要对某个人群包开放某个新功能，但是在正式上线前，我们不确定这个圈人策略是否合理，或不确定圈选的sql逻辑是否万无一失，如果一次性应用于整个人群，万一有问题，所有用户都会受到影响，所以需要灰度放量来将风险降到最低...另外当人群包圈选策略需要调整但线上服务又不方便修改人群ID时，可在标签系统进行人群替换，替换过程中也可灵活进行流量控制。人群数据如果出现问题还支持快速回滚到某个版本。
如何解决粘包问题 粘包就是连续向对端发送两个或者两个以上的数据包，对端在一次收取中受到的数据包数量可能大于1个，当大于1个时，可能时几个包加上某个包的部分，这这干脆几个完整的包在一起。...当然，也可能收到的数据只是一个包的部分，这种情况一般也叫做半包。 无论是半包问题还是粘包问题，因为TCP是流式数据，所以其解决思路还是从收到的数据中把包与包的边界区分出来。...固定包长的数据包。固定包长，即每个协议包的长度都是固定的。假如我们规定每个协议包的大小都是64字节，每收满64字节，就取出来解析（如果不够，就先存起来），则这种通信协议的格式简单但灵活性太差。...以指定的字符串为包的结束标志。这种协议包比较常见，即在字节流中遇到特殊的符号值时就认为到一个包的末尾了。例如FTP或者SMTP，在一个命令或者一段数据后面加上\r\n表示一个包的结束。...由于包头的大小是固定的，这是是8字节，所以对端先收取包头大小的字节内容，然后解析包头，根据包头中指定的包体大小收取包体，等包体收够了，就组装成一个完整的包来处理。
首先我们需要有一个Java环境，接着在命令行中使用java -jar命令即可。以下是基本操作的示例。
登录npm账号在发布包之前，需要登录你的npm账号。复制代码npm login在命令行中输入你的npm用户名、密码和邮箱地址，完成登录过程。...准备package.json确保你的package.json文件中的name字段是唯一的，这样可以避免与现有的包发生冲突。检查包名是否唯一你可以在npm官网搜索你的包名，确保没有重复。...，就可以将你的包发布到npm。...复制代码npm publish验证发布结果为了验证你的包是否成功发布，可以创建一个新的文件夹，然后尝试全局安装你的包。...arduino复制代码npm install -g yourPackageNameyourPackageName -h // 使用 -h 参数来查看包的帮助信息如果一切顺利，你将看到包的帮助信息，这意味着你的包已经成功发布并且可以被安装
1、人群创建 人群创建即找到满足条件的用户并构建人群，根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群：画像平台底层存在大量的画像标签，可以直接基于标签间的交、并、差操作进行人群圈选，比如圈选出常住省是北京且性别为男性的用户；最近一个月送礼次数超过5次且爱好军事的用户；常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式，图2-6展示了规则人群圈选的功能示意图，可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选：行为圈选是基于用户的行为明细数据进行圈选，其数据粒度较细且与时间紧密相关，基于这一特点，可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式，但是不同场景下对于人群圈选方式的要求不同，下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike：人群LookALike是借助算法能力实现人群的放大与缩小。
什么是RTARTA即Realtime API的简称，用于满足广告主实时个性化的投放需求，这里的实时是指API接口实时调用，比如定向人群包圈选可能都是T+1，甚至T+2。...2.广告主RTA人群圈选，营销目标，比如拉新、促活，用户分析。3.广告主离线算法模型，通过算法模型进行人群圈选输出。4.接口性能，因为API实时接口调用，接口调用要求较高，50ms-100ms。
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后，首先判断是否适合通过BitMap实现人群圈选，如果适合，可以获取标签的BitMap在内存中进行交、并、差操作；不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选，其实现逻辑是将人群圈选条件转变为SQL语句，借助ClickHouse引擎查询出所有满足条件的UserId并构建人群；当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...，同理，人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。...基于BitMap进行人群圈选主要分为两步，第一步是从ClickHouse中读取标签BitMap，第二步是在内存中进行BitMap的交并差运算，其实现语句如下所示。
设备号归因主要应用在付费广告投放中，目前在业界使用比较广泛且技术比较成熟，主要根据用户安装时的IMEI/OAID/IDFA等进行归因；渠道包归因将渠道信息打包到安装包中，当用户安装带有渠道号的App时便可以归因到具体的投放渠道...根据新用户归因结果构建“用户来源”标签，使用该标签可以进行人群圈选和画像分析。构建新用户渠道分析看板，支持按时间范围查看各渠道新增用户量变化趋势，支持查看不同渠道新增用户的画像分布。...为了满足灵活的人群圈选需求，在画像平台需要新增“距今最近一次活跃天数”标签，该标签属于离线统计类标签，其标签数值表达了用户最近一次活跃距离当前的天数。...画像平台数据研发工程师可以根据用户每日活跃明细数据统计生产出该标签，标签生产完成后注册到画像平台并配置其支持人群圈选功能。...该标签支持按数值范围筛选用户，比如筛选出距今最近一次活跃天数在15天到30天内的用户；人群圈选过程中还可以结合其他标签进行精细化筛选，比如找出指定地域、年龄段下最近未活跃的用户。
3、业务实现 在搭建了人群圈选引擎之后，我们重点改造了我们的消息推送系统，作为人群精细化运营的一个重要落地点。 3.1 闲鱼消息推送简介 消息推送(PUSH)是信息触达用户最快捷的手段。...实时计算层：根据人群的筛选条件，从用户大宽表中，查询符合的用户数量和用户ID列表，为应用系统提供服务。 人群圈选前台系统：提供可视化的操作界面。...闲鱼PUSH系统：从人群圈选前台系统中获取人群对应的where条件，再从实时计算层，分页获取用户列表，给用户发送PUSH。在实现过程中，我们重点解决了分页查询的性能问题。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时，圈选人群，也可以应用到其他的业务场景，比如首页焦点图定投等需要分层用户运营的场景，为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据，我们目前是T+1导入的。这是考虑到人群相关的指标，变化频率不是很快，且很多指标(比如用户标签)都是离线T+1计算的，因此T+1的数据更新频度是可以接受的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
