首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

位图在推荐系统中的妙用

这个还是两年多之前做的需求, 最后选择了位图作为推荐系统的核心数据结构, 过程很有意思, 简单总结一下. 1.业务背景 当初广告对外投放因为整体进线索量不足, 导致很多销售老师很多时间无客户可联系, 但是公海池的线索量多达几百万...如果使用缓存肯定比数据库性能要高一数量级, 考虑数据结构采用集合或布隆过滤器, 但是集合占用空间较大, 数据比对复杂, 不适于中大型数据规模采用, 例如: 推荐10条未被推荐的数据, 则需要根据已推荐和总推荐数据取差集..., 在大数据量场景下是非常局限的....bitmap一条一条验证的话, 会大量增加IO次数, 这里我们计算游标值, 采用字符串批量读取, 解析成二进制字符串来进行寻找0 获取字符串 字符串转换二进制 image.png 3.3 资源全局位图与销售位图定期同步不能推荐的线索填充...1, 避免在请求中扫描过多失效线索 image.png 3.

60530

高效压缩位图在推荐系统中的应用

中作为一个总的过滤集合,在召回打分时就会过滤掉这些黑名单游戏。...现在我们来分析一下在推荐业务中RoaringBitMap是如何帮助我们节省开销的。...三、总结 在文章中我们探讨了在过滤去重的业务中,使用Redis存储的情况下,利用intset,bloom filter 和 RoaringBitMap这三种数据结构保存整数型集合的开销。...其中传统的bloom filter 方式由于对准确率的要求以及短id映射空间节省有限的不足,使得该结构在游戏推荐场景中反而增加了存储开销,不适合在该业务场景下存储数据。...最终我们选择了RoaringBitMap这个结构进行存储,这是因为游戏推荐业务保存的过滤集合中,游戏id在大趋势上是自增整数型的,且排列不是十分稀疏,利用RoaringBitMap的压缩特性能很好的节省空间开销

46920
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python中的位图

    在 Python 中,位图(Bitmap)是一种用于表示二进制数据的数据结构。它可以高效地存储和操作大量的布尔值(True/False)。...位图的基本概念 位图通常由一个字节数组或位序列组成,其中每个位表示一个特定的状态或属性。例如,可以使用位图来表示一组整数是否存在于某个集合中,或者表示某个图形中的像素是否被选中。...Python 中实现位图的方法 使用内置的bytearray类型 bytearray是一个可变的字节序列,可以用来存储位图数据。每个字节可以表示 8 个位,通过位操作可以设置、清除和检查特定的位。...内存高效的数据存储: 当需要存储大量的布尔值时,位图可以比使用列表或字典等数据结构更节省内存。 图形处理: 在图像处理中,位图可以用来表示像素的颜色或透明度等属性。...举例:打印列表中的重复数字 https://leetcode.cn/problems/find-all-duplicates-in-an-array/description/ 给你一个长度为 n 的整数数组

    14110

    Flash在DirectX中的绘制

    这里使用的是之前我说过的OLE控件在Direct3D中的渲染方法, 自己不进行swf的解析, 这不现实....创建一个ShockwaveFlashObjects::IShockwaveFlash的对象 实现一个IOleClientSite来做为IShockwaveFlash的容器 绘制 通过OleDraw来把...GDI的像素数据绘制到DC上(IShockwaveFlash是一个IViewObject) 把DC的像素数据拷贝到D3D的Texture上....中间涉及像素格式的内存操作, 需要明白图像数据的内存格式. 半透明支持(可选): 如果不需要半透明支持的话, 其实可以直接OleDraw到Texture的DC上, 不用再多一次拷贝....但是有时候不得不用(像UI), 可以这参考Transparent Flash Control in plain C++, 用黑色背景和白色背景绘制两次, 比较两次结果 的Red通道计算出相应的Alpha

    1.8K30

    Android中View是如何绘制的

    界面窗口的根布局是DecorView,该类继承自FrameLayout,而FrameLayout继承自ViewGroup。感觉绘制肯定会在ViewGroup或者View中 但是木有找到。..., 10),那么不管布局中怎么设置这个View的大小 都是没用的,最后显示出来大小都是10*10。...中的performDraw方法开始的: private void performDraw() { if (mAttachInfo.mDisplayState == Display.STATE_OFF...一般情况下这两个的值是相同的,getMeasureWidth()方法在measure()过程结束后就可以获取到了,而getWidth()方法要在layout()过程结束后才能获取到。...如果我们在layout的时候将宽高 不传getMeasureWidth的值,那么这时候getWidth()与getMeasuredWidth的值就不会再相同了,当然一般也不会这么干…

    2.2K40

    位图数据结构及其在-Java和-Redis中的应用

    目录 位图的基本介绍 概念 什么是位图?BitMap,大家直译为位图. 我的理解是:位图是内存中连续的二进制位(bit),可以用作对大量整形做去重和统计....在关系型数据库中存储的话,这将是一个比较麻烦的操作,要么要写一些表意不明的SQL语句,要么进行两次查询,然后在内存中双重循环去判断....总结 在本节,我们手动实现了一个极其简陋的位图,然后阅读了JDK中位图实现类BitSet的源码,然后分析了如何使用EWAHCompressedBitmap来解决稀疏数据的问题,对于EWAHCompressedBitmap...Redis中的位图 这是redis官网对位图的介绍,很短.......Bloom-Filter)的原理及在推荐去重中的应用/">布隆过滤器(bloom filter)的原理及在推荐去重中的应用 总结 总之,bitmap可以高效且节省空间的存储与用户ID相关联的布尔数据

    1.8K10

    位图数据结构及其在 Java和 Redis中的应用

    位图的基本介绍 概念 什么是位图?BitMap,大家直译为位图. 我的理解是:位图是内存中连续的二进制位(bit),可以用作对大量整形做去重和统计....在关系型数据库中存储的话,这将是一个比较麻烦的操作,要么要写一些表意不明的SQL语句,要么进行两次查询,然后在内存中双重循环去判断....Java中的位图 上面讲了位图的原理,那么我们先来自己手动实现一个!...总结 在本节,我们手动实现了一个极其简陋的位图,然后阅读了JDK中位图实现类BitSet的源码,然后分析了如何使用EWAHCompressedBitmap来解决稀疏数据的问题,对于EWAHCompressedBitmap...Redis中的位图 Redis是支持位图的,但是位图并不是一个单独的数据结构,而是在String类型上定义的一组面向位的操作指令.也就是说,当你使用Redis位图时,其实底层存储的是Redis的string

    1.8K30

    【DB笔试面试551】在Oracle中,位图索引是什么?

    ♣ 题目部分 在Oracle中,位图索引是什么? ♣ 答案部分 位图索引(Bitmap Indexes)是一种使用位图的特殊数据库索引。它针对大量相同值的列而创建,例如:类别、型号等。...,以及这些键值的位置编码,位置编码中的每一位表示键值对应的数据行的有无。一个块可能指向的是几十甚至成百上千行数据的位置。 在位图索引中,数据库为每个索引键存储一个位图。...在传统的B-Tree索引中,一个索引条目指向单个行,但是在位图索引中,每个索引键存储指向多个行的指针。相对于B-Tree索引,位图索引占用的空间非常小,创建和使用速度非常快。...由于位图索引本身存储特性的限制,所以,在重复率较低的列或需要经常更新的列上是不适合建立位图索引的。另外,位图索引更新列更容易引起死锁。...创建位图索引的语法很简单,就是在普通索引创建的语法中的INDEX前加关键字BITMAP即可,如下所示: CREATE BITMAP INDEX IDX_SEX_LHR ON T_USER(SEX); 关于位图索引

    1.7K20

    Redis 中的 BitMaps(位图)命令详解

    可以把 Bitmaps想象成一个以位为单位的数组,数组中的每个单元只能存0或者1,数组的下标在bitmaps中叫做偏移量。单个 bitmaps 的最大长度是512MB,即2^32个比特位。...可以把 Bitmaps 想象成一个以位为单位的数组,数组的每个单元只能存储0和1,数组的下标在 Bitmaps 中叫做偏移量。...end 参数,可以让计数只在特定的位上进行。...,只有在指定start和end参数(指定start和end位是可行的),该范围被解释为一个字节的范围,而不是一系列的位。...BITFIELD 命令可以在一次调用中同时对多个位范围进行操作: 它接受一系列待执行的操作作为参数, 并返回一个数组作为回复, 数组中的每个元素就是对应操作的执行结果。 一次对多个位范围进行操作。

    1K20

    UWP 手绘视频创作工具技术分享系列 - 位图的绘制

    下面看一个用户使用来画Pro制作的视频中的截图,用户制作的是一个旅游方面的视频,每个景点的图片都是位图,人物也有一部分位图,这就是位图在手绘视频中的一种表现形式: ? ?...下面来详细介绍一下位图在手绘视频中的普通绘制方式: 一般来讲,如果对于位图的处理会简单粗暴一些,就是采用一种默认的方式,而不是图片信息包含的路径数据(因为位图本身没有路径数据),来绘制位图,比如从位图的左上角开始...其实这也是画师在素材制作中一种很常见的方式,在 PS 中处理静态图片的特效,处理完成后保存导入到 AI 中,在静态图片上面描画透明路径,描绘完成后保存成 SVG 文件。...这就是一种比较特殊的 SVG,包含了一张位图作为底图,而透明路径的作用,是在路径描绘时,显示路径对应位置的位图像素。...另外系统检测的一个缺点就是,边缘路径是完全无序,没有分组的,就是说路径不会按照物体的区别分组绘制,也不会按照某个固定顺序绘制,这都需要我们后续再去处理,根据边缘路径的相连属性去分组,在根据方向上的某个顺序去处理排序

    86170

    As3.0中的位图(BitmapBitmapData)编程

    As3.0中的位图(Bitmap/BitmapData)编程功能十分丰富,下面这些是官方文档上的基本示例: 1.位图使用(模糊)滤镜 //创建一个矩形区域的BitmapData var bmd:BitmapData...bmd.copyChannel(bmd, rect, pt, BitmapDataChannel.RED, BitmapDataChannel.BLUE);//将红色通道复制到以(10,10)为顶点,宽为20,高为40的矩形区域的蓝色通道中...= new Bitmap(bmd); this.addChild(bm); 6.截取位图的某一部分(像素) var bmd1:BitmapData = new BitmapData(40, 40, false...pt为左上顶点的rect矩形像素复制到bmd2中 var bm1:Bitmap = new Bitmap(bmd1); this.addChild(bm1); var bm2:Bitmap = new...this.addChild(bmp); bmp.x = stage.stageWidth/2 - bmp.width/2; bmp.y = stage.stageHeight/2 - bmp.height/2; 8.仿PS中的颜色填充工具

    1.7K60

    Oracle中索引位图转换的优势

    Oracle数据库里有一个映射函数(Mapping Function),它可以实现B树索引中ROWID和对应位图索引中的位图之间互相转换。目的是对相同ROWID做AND、OR等连接运算。...然后在执行位图布尔运算。...最后再将运算结果转换为ROWID并回表,这个过程在实际生产环境中的执行效率往往是有问题的,我们可以通过隐藏参数_b_tree_bitmap_plans禁掉该过程中从ROWID到位图的转换。...同时,由于采用了OBJECT_ID,其自增长特性,索引的聚簇因子比较小,属于相对高效的索引。 得出结论:在聚簇因子较小时,通过OR扩展、IN-LIST迭代的方式其执行效率高于索引位图转换。...这又是索引位图转换的一大好处。 得出结论: 聚簇因子越大的索引,其越能在索引位图转换的方式中受益。因为其只需要回表一次。 索引位图转换后的回表,其消耗的资源开销会低于传统的回表方式。

    96430

    使用 Pandas 在 Python 中绘制数据

    在有关基于 Python 的绘图库的系列文章中,我们将对使用 Pandas 这个非常流行的 Python 数据操作库进行绘图进行概念性的研究。...这非常方便,你已将数据存储在 Pandas DataFrame 中,那么为什么不使用相同的库进行绘制呢? 在本系列中,我们将在每个库中制作相同的多条形柱状图,以便我们可以比较它们的工作方式。...我们使用的数据是 1966 年至 2020 年的英国大选结果: image.png 自行绘制的数据 在继续之前,请注意你可能需要调整 Python 环境来运行此代码,包括: 运行最新版本的 Python...在本系列文章中,我们已经看到了一些令人印象深刻的简单 API,但是 Pandas 一定能夺冠。...) 只有四行,这绝对是我们在本系列中创建的最棒的多条形柱状图。

    6.9K20

    【DB笔试面试552】在Oracle中,位图连接索引是什么?

    ♣ 题目部分 在Oracle中,位图连接索引是什么? ♣ 答案部分 位图连接索引(Bitmap Join Indexes)是建立在两个或更多表的连接之上的位图索引。...对于表列中的每个值,索引存储被索引表中的相应行的ROWID。相比之下,在标准位图索引中,索引是建立在一个表上的。在数据仓库环境中使用这种索引可以改进连接维度表和事实表的查询性能。...创建位图连接索引时,标准方法是连接索引中常用的维度表(Dimension)和事实表(Fact)。当用户在一次查询中结合查询事实表和维度表时,就不需要执行连接,因为在位图连接索引中已经有可用的连接结果。...通过压缩位图连接索引中的ROWID可以进一步改进性能,并且减少访问数据所需的I/O数量。位图连接索引,就是将事实表和维度表的ROWID提前进行映射,省去了连接时的开销。...位图连接索引有如下几点限制: ① 只可以索引维度表中的列。 ② 用于连接的列必须是维度表中的主键或唯一约束;如果是复合主键,那么必须使用连接中的每一列。

    1K20

    Android高级进阶之路【一】Android中View绘制流程浅析

    我们都清楚Activity中onCreate()方法在setContentView()后,View的宽高是获取不到的。...同时我们知道Activity在onResume()后才完全可见,并且初次在onResume()方法中也是拿不到View的尺寸的,这样可以推算得出:View的绘制流程是在onResume()方法执行结束后才开始的...这就解释了为什么初次在onResume()方法中获取不到View的宽高。对DecorView不太明白的可以参考Activity中setContentView浅析。...子View在父View中的位置,需要4个点来确定,同时也可以通过点的距离来计算出View的大小。 ...不同的ViewGroup有着不同的方式来安排子View在自己心中的位置。所以View类中的onLayout()是一个空方法,等着View们自己去实现。

    1.2K00

    绘制路径:Android 中矢量图渲染

    在这篇文章中,我将深入探讨这些技巧:颜色资源、主题颜色、颜色状态列表和渐变的使用。 简单的颜色 绘制路径最简单的方法是指定一种硬编码的 fill/stroke 颜色。 的资源:比较着色和填充模式 请注意,你可以通过设置 android:theme 属性,在Activity/View 级别改变可绘制对象的主题,或者在代码中使用 ContextThemeWrapper...渐变是在它们自己的文件中以 res/colors/ 的形式声明的,但是我们可以使用 内嵌资源技术 来代替在矢量图形中声明的渐变,这样更方便: 复制代码 在构建时,渐变被提取到它自己的资源中,并在父元素中插入对它的引用。...加入我们下一部分关于矢量图形的探索: 在 Android 应用中使用矢量资源:在之前的文章中我们已经了解了 Android 的VectorDrawable 图像格式和它的功能 即将展示:为 Android

    3K20

    解决canvas在高清屏中绘制模糊的问题

    一、问题分析 使用 canvas 绘制图片或者是文字在 Retina 屏中会非常模糊。如图: [img] 因为 canvas 不是矢量图,而是像图片一样是位图模式的。...也就是说二倍屏,浏览器就会以 2 个像素点的宽度来渲染一个像素,该 canvas 在 Retina 屏幕下相当于占据了2倍的空间,相当于图片被放大了一倍,因此绘制出来的图片文字等会变模糊。...类似的,在 canvas context 中也存在一个 backingStorePixelRatio 的属性,该属性的值决定了浏览器在渲染 canvas 之前会用几个像素来来存储画布信息。...", 50, 50); 这样就可以解决 canvas 在高清屏中绘制模糊的问题。...完整的demo:https://www.html.cn/demo/canvas_retina/index.html 参考文章:《解决 canvas 在高清屏中绘制模糊的问题》

    6.6K10

    Material Design 在 Android 中的应用

    在分享时能将每个知识点都有个透彻而又完整的分析,不要追求速度。实话说这次分享确实给我带了不少的收获,相信在下次分享中能够有一个满意的表现。...越读越能感受到它的妙处,假如你能严格按照它的规范进行开发项目,哪怕你不是专业的UI设计师,相信你的产品一定会不难看的。 那接下来就主要介绍一下Material Desing在Android中应用。。...跟随着15年Android 5.0的问世,谷歌设计师们还给我们带来的一系列的具有Material Design风格控件。这些控件被统一放置在support design库中,以供开发中使用。...窗口背景颜色 navigationBarColor 导航栏颜色 通过在styles中配置颜色来定制您的主题,并在AndroidManifest中应用。...Material Design 在「口袋」中的应用 其实在咱们的「口袋贵金属」项目中也到找到很多MD的元素。 首先是点击的水波纹效果: ? 其次是交易圈的滑动交互: ?

    1.3K20

    动态代理在Android中的运用

    在Android开发中,动态代理可以用于各种用例,如性能监控、AOP(面向切面编程)和事件处理。本文将深入探讨Android动态代理的原理、用途和实际示例。 什么是动态代理?...Android中的动态代理 在Android中,动态代理通常使用Java的java.lang.reflect.Proxy类来实现。...该类允许你创建一个代理对象,该对象实现了指定接口,并且可以拦截接口方法的调用以执行额外的逻辑。在Android开发中,常见的用途包括性能监控、权限检查、日志记录和事件处理。...通过创建适当的代理,你可以将这些关注点应用到多个类和方法中。 事件处理 Android中常常需要处理用户界面上的各种事件,例如点击事件、滑动事件等。...结论 动态代理是Android开发中强大的工具之一,它允许你在不修改原始对象的情况下添加额外的行为。在性能监控、AOP和事件处理等方面,动态代理都有广泛的应用。

    95430
    领券