首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

SQLite 数据修复实践

作者:guoling 1、前言 众所周知,在后台服务器不保存聊天记录,在移动客户端所有的聊天记录都存储在一个 SQLite 数据库中,一旦这个数据损坏,将会丢失用户多年的聊天记录。...而我们监控到现网的损坏率是0.02%,也就是每 1w 个用户就有 2 个会遇到数据损坏。考虑到这么庞大的用户基数,这个损坏率就很严重了。更严重的是我们用的官方修复算法,修复成功率只有 30%。...[1501741549148_7493_1501741549398.jpg] 对于之外的空间占用,例如相册、视频、其他App的空间占用,本身是做不了什么事情的,我们可以提示用户进行空间清理:...那么只要 master 表某个节点损坏,这个节点下面记录的表就都恢复不了。更坏的情况是 DB 第0页损坏,那么整个 master 表都读不出来,就导致整个DB都恢复失败。...本文来源于:WeMobileDev 公众号

9.1K53

SQLite 数据修复实践

本文来自:移动客户端开发团队公众号(WeMobileDev) 1、前言 众所周知,在后台服务器不保存聊天记录,在移动客户端所有的聊天记录都存储在一个 SQLite 数据库中,一旦这个数据损坏...而我们监控到现网的损坏率是0.02%,也就是每 1w 个用户就有 2 个会遇到数据损坏。考虑到这么庞大的用户基数,这个损坏率就很严重了。更严重的是我们用的官方修复算法,修复成功率只有 30%。...对于之外的空间占用,例如相册、视频、其他App的空间占用,本身是做不了什么事情的,我们可以提示用户进行空间清理: 2.2、优化文件 sync 2.2.1、synchronous = FULL...那么只要 master 表某个节点损坏,这个节点下面记录的表就都恢复不了。更坏的情况是 DB 第0页损坏,那么整个 master 表都读不出来,就导致整个DB都恢复失败。...3.4、优化效果 通过备份 master 表,我们成功将修复成功率提高了一倍多。 4、其他 通过这些优化,我们提高了聊天记录存储的可靠性。

1.8K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    linux磁盘头数据损坏修复

    本次模拟 通过fdisk分区的磁盘头损坏,造成文件目录无法使用。...如果是asm磁盘,可通过asm相关命令进行修复 现有环境 [root@pgtest testdata]# df -hFilesystem Size Used Avail Use%...附 fsck 工具介绍 -a:自动修复文件系统,不询问任何问题; -A:依照/etc/fstab配置文件的内容,检查文件内所列的全部文件系统; -N:不执行指令,仅列出实际执行会进行的动作; -P:当搭配...,而非同时执行; -t:指定要检查的文件系统类型; -T:执行fsck指令时,不显示标题信息; lvm方式元数据修复 #备份文件位置ls -lrt /etc/lvm/backup/#查看...vg创建信息vgcfgrestore --list vg_backup#查看损坏的pv信息pvscan#通过备份修复 pv元数据pvcreate --uuid "9a2Lzl-B1Z0-zaR7-jgLj

    2.1K00

    出现数据损坏怎么办?如何恢复数据

    出现数据损坏是什么意思1、数据损坏可能是存储空间不足。...数据文件发现有损坏,是由于内存储空间不足导致的,从遇到这个问题的用户来看,在崩溃之前没有什么特别显著的提醒,在选择修复后所有的联系人跟聊天记录都没有了。...3、朋友圈数据损坏尝试修复就是朋友圈里面的数据,会在本地形成缓存。可能是你不小心把本地缓存删除了,或是手机系统问题。之前缓存在本地的文件或照片,统统都没有了。...5、出现闪退或者其他BUG,其实是由于手机内存不足而引发的,因此我们可以预留足够的内存空间,重启手机再打开进行尝试。利用自带反馈机制修复数据库。6、这可能是手机的问题。...这导就导致了突然数据损坏。你可以修复这些数据数据库底层损坏什么意思1、数据损坏,这是由于你的操作系统和该版本的不兼容或者你的软件有损坏

    4.9K20

    如何识别损坏的Tick数据,今天教你来修复

    可是,Tick数据也是最容易受数据损坏影响,因此在用于任何形式的分析之前必须要进行清洗和调整。 1 数据损坏的原因是什么?...由于数据量大,Tick数据特别容易受到数据损坏,有些股票的数据可以达到每天10个Tick,这使得错误检测非常具有挑战性。通常情况下,是信号中断或信号延迟导致了损坏的或无序的数据。...2 定义损坏数据 在生成数据过滤器之前,我们首先需要指定什么是构成Tick损坏的因素。...因此,需要在数据完整性和完全性之间进行权衡,权衡的基础是分析对损坏数据的敏感程度。...缺乏经验的分析师往往会将损坏数据门槛设置得很低,排除任何看似不正常的数据,并删除对理解市场结构至关重要的有效数据

    2K20

    公众平台登录不了?用手机公众号助手群发消息!

    其实,公众平台登录不了可以用公众号助手群发消息!...【公众平台移动版开始内测了】   (ps:公众平台推出"保护"提升账号安全,公众平台群发消息还需要扫扫,附保护开启教程) 一、要实现公众号助手代替公众平台群发信息,需要先绑定个人信号...  登录公众平台=》设置=》公众号助手=》需要绑定的个人信号 ?   ...二、用手机向公众号订阅用户群发消息   和平常你跟别人聊天一样,打开聊天界面,编辑要群发的公众平台消息,点击发送给公众号助手,系统将自动群发给所有用户。 ? ? ?   ...用公众号助手群发消息就这么简单,手机也能向所有的公众号订阅用户群发消息,再也不用担心公众平台登录不了了!   公众平台登录不上去已成往事! ?

    4.1K70

    你还不了小程序么?

    你还不了小程序? 随着小程序覆盖人们日常生活中的大部分场景,所有细分行业都有机会通过小程序的社交流量获取大量的新用户。...对于开发者而言,小程序类型丰富、适用场景众多、商业价值更高。 对于传统商户,小程序便捷的入口和出色的用户体验,让用户的留存率更高,利于其服务拓展和转型升级。 ?...先看一下车流的方向吧 18年12月,腾讯NEXT学院联合团队推出了《人人都会小程序》课程。截止目前,已经有超过11万人报名学习,好评如潮。 ? ▲阅课无数的大学老师▲ ?...▲心念奖学金的宅男诗人▲ 为了激发大家的学习热情,腾讯NEXT学院与设置了“诱人”的奖学金激励机制,学员结课并上线小程序,就能申请丰厚奖学金,还能获得官方证书。

    71730

    服务器崩溃导致数据损坏修复方法

    在镜像过程中发现6号磁盘的镜像速度很慢,结合先前对硬盘SMART状态检测时发现的问题综合判断,6号盘应该存在大量损坏以及不稳定扇区,导致在windows下的一般应用软件无法对其进行操作。...,只能等待6号盘镜像完毕后,通过同一条带进行xor以及根据文件系统上下文关系的方式手动修复损坏的文件系统。...数据库恢复流程 1.拷贝数据库文件到原数据库服务器,路径为/home/oracle/tmp/syntong.作为备份。...3.对数据库文件进行逐个检测,检测到所有数据文件没有物理损毁。...得到镜像数据后需要对数据进行分析,找出原来阵列中的结构参数以便重建服务器阵列及逻辑校验,通过校验后即可成功导出服务器数据

    2.6K40

    Windows端IM消息数据库的优化实践:查询慢、体积大、文件损坏

    本文由客户端技术团队工程师“Jon”分享,原题“Windows:消息数据库架构演进”,有较多修订。...1、引言本文分享的是,客户端团队基于对信用户日常使用场景和数据分析,通过分离重要和非重要数据、采用可靠的分库策略等,对Windows端IM本地数据库的架构进行的优化和改造,并最终得到一个具备良好实践效果的技术改造方案...PS:移动端也有类似困扰,有兴趣可以阅读《客户端SQLite数据损坏修复实践》。4、原因分析4.1 概述上述数据库存储文件变大和查询变慢的问题,都是由于消息数据的不断增多引起。...7、未来展望后续我们客户端团队将继续研究数据修复相关的实践,持续关注数据库相关的性能数据,提升可靠性,打造更好的用户体验!...以下是相关技术文章,有兴趣的读者可以一并阅读:客户端SQLite数据损坏修复实践移动端的全文检索优化之路移动端的全文检索多音字问题解决方案iOS端的最新全文检索技术优化实践本地数据库破解版

    73740

    数据分析和传播模型

    什么是数据分析 试想一下,如果是你,会怎么向你的领导、你的下属,进行数据分析呢? 是像描述天气一样——昨天阴天,今天天气挺好,风和日丽的,明天预报多云?还是用其他的方式?...大多数人所谓的数据分析就像刚才描述天气一样,那不是分析,而是描述数据数据分析需要从来源、行为、流失等方面进行分析。 数据分析要根据传播的特性而定,传播是基于好友分享内容而产生的。...数据分析需要从用户入手——新增、活跃、留存代表着数据分析的三个方面。 数据分析的作用,能够帮助我们回顾过去,评估现在,计划明天,预测未来,从而能够展望未来。...数据分析的内容 (举栗子而已哦) 1、 新增用户数 主要包括:男、女、未知来源、员工推广、活动推广、用户传播、老用户传播、新用户传播、未知来源占比、员工推广占比、活动推广占比、用户传播 占比、老用户传播占比...7、通过交叉分析看产品运营数据的前生今世,了解昨天、评估今天,为前景而计划明天的具体实施。 传播模型 1、循环模型 ?

    1.1K70

    数据分析和传播模型

    什么是数据分析呢? 试想一下,如果是你,会怎么向你的领导、向你的下属,进行数据分析呢?是像描述天气一样“昨天阴天,今天天气挺好,风和日丽的,明天预报多云”,还是用其他的方式?...数据分析要根据传播的特性而定,传播是基于好友分享内容而产生的,这里不考虑单纯的复制粘贴,那样的传播指向性不明确,这里我们只讨论指向性明确的分享链接和内容。...数据分析需要从用户入手,新增、活跃、留存代表着数据分析的三个方面,进行开源 节流。 数据分析的作用,能够帮助我们回顾过去,评估现在,计划明天,预测未来,从而能够展望未来。...数据分析的内容(举栗子而已) 1、 新增用户数,主要包括:男、女、未知来源、员工推广、活动推广、用户传播、老用户传播、新用户传播、未知来源占比、员工推广占比、活动推广占比、用户传播占比、老用户传播占比...传播模型 1、循环模型 分析模型 模型来源,巧贝科技CEO Hata 2、循环公式(来源,巧贝科技CEO Hata) NU – New Users(新用户数) AU – ActiveUsers(

    1.1K40

    运维案例 | Exchange2010数据损坏的紧急修复思路

    一般邮件数据库的紧急故障,首先判断数据库状态是否正常,是否可以挂载使用;数据库无法挂载使用则可以通过命令判断是否需要进行数据修复;使用如下图的命令,如果数据库状态并非Clean Shutdown则需要进行修复操作...如果数据库需要进行修复,则管理员需要判断,是等待数据库完全修复好之后再进行恢复邮件服务?还是优先恢复用户邮箱使用,邮箱数据则等待数据修复之后再进行恢复?...因为有的时候数据修复时间较长,用户无法等待这么久的时间。笔者就曾遇到过修复600GB数据库的案例,首先软修复耗费3个多小时,硬修复耗费1个多小时的情况。...3、用命令exeutil /p修复原始数据库文件(*.edb),如下图示例: ? 4、确认数据库状态为"Clean Shutdown"; ?...-Database 新数据库名 2、同第一种方法对故障数据库进行修复,待数据修复完毕,我们可以: 新建RDB,将修复好的数据库拷入合并数据到新建的数据库,具体步骤可以参照第一部分。

    1K30

    定位精灵服务器或网络异常,为什么定位精灵定位不了怎么办?

    方法如下: 1、下载“定位精灵”软件,安装; 2、按图示设置如下,然后缩小地图,把光标定位在大马或任意地方,点击左上角的圆形定位按键完成定位,点右上角的菜单栏,选择“启动”,接下来的正常操作就行了...6、打开右边的启动。找身边的人。查查你朋友的岗。查找好友的位置有点繁琐。你要初步定位到朋友身边,然后更换地点,只到越来越接近。多试试,基本上就可以定位了。...功能: 1、定位精灵是一款多功能的手机地理位置的应用,用以伪装所在的地理位置。用户可以在地图上将任何地方设置为所在的位置; 2、搭讪周围的人不再受自己当前所在区域限制。...支持手机应用的伪装地理位置,支持发送图文博和伪装地理位置信息,支持摇一摇自动切换定位信息,在玩的时候无需切换到定位精灵的界面,只需摇一摇就可以自动换位置。

    3.3K20

    Windows乱用激活工具会损坏系统文件或引入病毒木马,一般修复不了,chew wga 0xc000007b

    slmgr /skms kms.03k.orgslmgr /ato实在不行,就4句参考https://cloud.tencent.com/developer/article/2022946乱用激活工具,极可能损坏系统或引入病毒木马...图片图片幸亏备份了现场,又把原wowsys64里4个文件相关的文件还原了,说白了只替换system32目录的,替换后重启按F8选最后一次正确配置顺利进入系统了,但是报错,然后restore恢复,然后sfc继续修复...,然后重启进入系统没再报错,即便这样,也建议备份数据重装系统DISM.exe /Online /Cleanup-image /Restorehealthsfc /scannow图片图片重启后密码变了,这点很诡异...,从winpe给Administrator改回原密码了,安全起见,尽快备份数据、重装系统。...吃一堑长一智,以后不用第三方工具了,乱用激活工具,极可能损坏系统或引入病毒木马,后患无穷。

    2.5K51
    领券