关注腾讯云大学,了解行业最新技术动态 直 播 预 告 详 情 9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精
9月24日下午,ACMUG(全称China MySQL User Group,中国MySQL用户组)来腾讯云啦。 ACMUG是一个中国MySQL及相关技术爱好者的交流社区,是得到Oracle User Group Community和MariaDB Foundation双重认可的官方交流社区,由ACMUG举办的走进企业的系列直播活动,是面向开发者和数据库从业者分享技术干货,而本周四,ACMUG将联合腾讯云,邀请腾讯云的四位技术大咖给大家带来其精心准备的技术干货,一起为各位技术爱好者带来精彩的技术分享。下面
大模型(LLM)为通用人工智能(AGI)的发展提供了新的方向,其通过海量的公开数据,如互联网、书籍等语料进行大规模自监督训练,获得了强大的语言理解、语言生成、推理等能力。然而,大模型对于私域数据的利用仍然面临一些挑战,私域数据是指由特定企业或个人所拥有的数据,通常包含了领域特定的知识,将大模型与私域知识进行结合,将会发挥巨大价值。
也许很多企业很幸运,从来没有经历过数据丢失。但是,一旦发生企业关键数据的丢失,就会很大程度上影响业务发展,同时造成严重经济损失。
前段时间学习了Redis,虽然可能没有涉入太深入,但根据惯例,还是需要梳理一下的ヽ(・ω・´メ)
BeanShell是一种完全符合Java语法规范的脚本语言,但又拥有一些独有的语法和方法。(当然,也有一些不一样的地方,比如 BeanShell就不支持Java中的泛型,当初也是一个深坑)。
编辑手记:对于资深的老DBA们,他们在漫长的职业生涯中养成了很多稀奇古怪的守则,以在复杂多变的环境中“幸存”,这源于无数血泪的教训,我曾经在《数据安全警示录》一书收录了大量现实案例,现在整理分享给大家,共为警示。 在数据库日常管理过程中,有些威胁来自数据库外部,而有些威胁则来自数据库内部,对于数据库外部,破坏性的操作有rm,而在数据库内部,同样有破坏性操作,如Truncate。 案例分享 ---- 误删除数据表 原来接手一个部门的所有数据库,结果漏了一个,也没人告诉我,所以我不知道这个数据库存在。一
无论您是从头开始建立知识库还是审查您的设计以进行改进,您都需要特别考虑两件事:内容层次结构和界面。
1月7日,一年一度的《PostgreSQL中国技术大会》将在线上召开,本次大会以“开源论道,创新驱动,共建数字化未来”为主题,重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天(本周六)上午)09:00-12:00,腾讯云数据库专场盛大开启,多位鹅厂顶级技术达人亮相,针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读,6大主题畅游PG海洋。 腾讯云专场议程 议题一:TDSQL开源版的特性升级与演进(1月8日上午9:00-9:30) 分享嘉宾:陈再妮,腾讯云数据库高级工程师
来源:数据蒋堂 作者:蒋步星 本文长度为1873字,建议阅读5分钟 本文讲述计算机的封闭性如何导致了臃肿的数据库。 许多大型用户的数据库(仓库)在运行多年之后,都会积累出很多的数据表,严重者数以万计。这些数据表年代久远,有些已经忘记建设原因,甚至可能已不再有用,但因为很难确认而不敢删除。这给运维工作带来巨大的负担。伴随着这些表还有大量的存储过程仍在不断地向这些表更新数据,占用大量计算资源,经常要迫使数据库扩容。 这些表真的是业务需要吗?业务会复杂到需要成千上万的表才能描述吗? 有过开发经验的人都知道
我们知道,数据库的数据处理能力是封闭的。所谓封闭性,这里是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。
作者介绍 ceciliasu(苏翠翠),腾讯云数据库工程师,加入腾讯以来持续从事分布式数据库内核研发工作,曾负责TDSQL PG版、CDW PG快速扩容能力设计和研发。目前主要参与CDW PG数据库内核研发相关工作,负责外部数据快速导入工具的设计和研发。 原生数据导入导出方式以及存在的问题 使用原生COPY导入数据相当耗时,这是因为在CN上执行COPY导入数据是一个串行执行的过程,所有数据都需要经过CN处理分发给不同DN入库,所以CN是瓶颈,它只适合小数据量的导入。 图表 1 COPY数据流向示意图 TD
英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环 境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。
本文参考自知乎 Oracle事务的概念:事务用户保证数据的一致性,它是由一组dml语句组成,这组dml语句要么全部执行成功,要么全部执行失败。 1、事务一致性 举个例子:假如你去银行转1000元给你的朋友,所有的操作都完成之后,并且提示你转账成功(假设银行是立即转账,不存在延时的情况),你发现你的账户上减少了1000元,但是你打电话给你的朋友确认时,而你的朋友的账户却没有因此增加1000元,那么我们认为这时候的数据就是不一致的状态!!! 在数据库的实现的应用场景中,一致性可以分为数据库外部的一致性和数据库内
POSTGRESQL 的好处就在于扩展,一个好的扩展可以让POSTGRESQL 功能犹如变形金刚一样. 上次说了几个extension ,这期说说我们在生产上必须安装的几个extension.
上一篇《【坑】如何心平气和地填坑之拿RSViewSE的报表说事》中,我们在RSViewSE软件的画面内嵌入了一个Spreadsheet控件表格,通过VBA脚本对它进行一系列控制实现了将PLC内直接读回来标签数显示在表格内,定时存储到指定的位置,从而达到每天或每小时或每分钟记录一次报表数据的目的。
版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢。
之前我们讲过一些关于web直播点播平台EasyDSS数据迁移的内容,主要是对视频文件的迁移(EasyDSS如何将已存储的视频文件进行迁移),但是在部分用户的现场使用中,需要对某些数据库的某些内容进行迁移,这个在EasyDSS内也是可以完成的,本文我们就介绍一下。
冷菠 冷菠,资深DBA,著有《Oracle高性能自动化运维》,有近10年的数据库运维、团队管理以及培训经验。擅长数据库备份恢复、数据库性能诊断优化以及数据库自动化运维等。目前致力于大数据、智能一体化、
最近在研究XD5.6虚拟桌面,在尝试使用外部数据库的时候出现了问题,后来和群里的一些高手交流后,解决了问题,在其中看到了有相关技术人员发表的关于此问题的文章,感觉很不错。
ytkah今天在网站迁移服务器时发现,dedecms数据库内容替换安全确认码无法显示,这个安全码的位置是在核心 - 批量维护 - 数据库内容替换,有个安全码填写,这里教你怎么直接忽略这个验证码。打开dede/sys_data_replace.php,找到以下代码(大约在45行),删除或者注释掉,这个时候我们再次进行数据库内容替换时就无需输入安全确认码了。 // if($validate == "" || $validate != $svali) // { // ShowMsg("安全确认码
中安威士数据库透明加密系统(简称VS-EC),基于加密算法和合理的密钥管理,有选择性地加密敏感字段内容,保护数据库内敏感数据的安全。敏感数据以密文的形式存储,能保证即使在存储介质被窃取或数据文件被非法复制的情况下,敏感数据仍是安全的。并通过密码技术实现三权分立,避免DBA密码泄漏带来的批量数据泄漏风险。本加密系统具有卓越的安全性和处理能力,并能在不修改原有应用程序的情况下透明的接入系统中。
在 ACOUG 年会的活动上,分享了一些从前未曾分享过的内容,想起,今年还欠下一篇文章,就整理和回顾一下,分享我所见到的Oracle 19c的一些重要改变(本文内容来自OOW大会演讲,关注“数据和云”公众号回复:2018OOW 获取大会PPT)。
编辑手记:对于资深的老DBA们,他们在漫长的职业生涯中养成了很多稀奇古怪的守则,以在复杂多变的环境中“幸存”,这源于无数血泪的教训,我曾经在《数据安全警示录》一书收录了大量现实案例,现在整理分享给大家
在 2020 年的时候,曾经计划和某在线机构合作出一门 ClickHouse 相关的在线课程,后来很遗憾由于一些原因没有合作成功。
在之前的博客 【Redis】Redis 数据库 安装、配置、访问 ( Redis 简介 | 下载 Redis 安装包 | 安装 Redis 数据库 | 命令行访问 Redis | 使用可视化工具访问 Redis ) 中 , 创建了数据库 , 本篇博客基于该数据库进行讲解 ;
nicen-localize-image,是一款用于本地化文章外部图片的插件,支持如下功能:
上一回说到,在从业务转到基础架构岗位之后,我开发了自己的第二个开源项目 LotusDB,并且因为一些原因,我在 2022 年中,也就是去年上海解封之后,开始打算看看新的机会了。
数据质量一直是数据仓库领域一个比较令人头疼的问题,因为数据仓库上层对接很多业务系统,业务系统的脏数据,业务系统变更,都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。
基本功能包括:注册用户、登录、浏览帖子、发布新帖、回复帖子、等。本系统结构如下: (1)普通用户: 注册用户:如果用户为非会员用户,通过注册,经审核通过之后成为会员,获得一个登陆身份; 登录:如果用户已经是注册会员,可以进行登录,登陆后实现别的功能; 浏览帖子:用户查看系统中的帖子,了解最新的资讯和各种动态等信息; 发布新帖:用户可以发表一些帖子,来与其他论坛用户共享信息; 回复帖子:对于自己或者别的会员发表的帖子,可以进行回复。 (2)管理员: 管理员登录:对于已经登录的用户,若权限为管理员,可以进行管理员的登录,登陆之后才能有权限进行下一步操作; 帖子管理:管理员可以对发表的帖子进行查询、修改、删除等操作,对好的帖子进行标识,删除或转移不适合的帖子; 模块管理:论坛中的模块,管理员可对其进行添加、修改、删除等操作; 用户管理:用户注册成功后,管理员可以对用户进行添加、删除操作。 (3)游客: 游客可以对论坛进行访问,浏览帖子的功能,但不能参与回复操作,也没有发布帖子的权限。
新粉请关注我的公众号 今天和大家聊聊圈子里白嫖的事。 某HTAP数据库团队最近在其公众号上写文章,招募对数据库内核开发感兴趣的人员去给他们的开源项目做贡献。 这个贡献是什么呢?简单描述一下,这个HTAP产品,一边是A语言写的OLTP引擎,一边是B语言写的OLAP引擎。 在执行SQL的时候,OLTP里面已经实现的函数,需要在OLAP里用B语言再实现一遍。 否则的话,系统就没办法把包含了这部分函数的SQL操作给下推进OLAP系统执行。那SQL执行起来就死得难看了。 OLTP产品是兼容很成熟的某著名开源数据库,所
2018年10月13日ACMUG南京站,来自腾讯技术工程事业群TEG基础架构部数据库内核团队专家工程师王少华,做了主题为「TXSQL Internals@2018」的分享。
联系用途,详细说明用于唯一地标识该数据库的代码、名称或标识符,附加的描述性信息亦要给出。如果该数据库属于尚在实验中、尚在测试中或是暂时使用的,则要说明这一特点及其有效时间范围。
编辑手记:年底大家最关注数据安全,之前我们说过,数据库的风险分为外部风险和内部风险。外部风险无法预估但概率较小,平时发生最多的还是内部操作的风险,因此合理控制权限就非常重要。本文节选自《循序渐进Oracle》 正文 当一个员工被一个公司录用,要想进入公司通常你还需要得到授权,授权可能是一张ID卡或是一个工作证,当然在没有得到充分的信任之前,你能得到的权限可能还非常有限,在不断的工作和努力之后,你的权限可能会逐步提高,你可能可以翻阅公司的机密档案,还可能被授权打开公司的保险柜,然后你就可以……Ok,到这里打
12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,PingCAP 数据库内核研发工程师韦万受邀在数据库内核专场进行了《使用 TiDB 列存引擎进行实时数据分析》的主题演讲。
在我最开始写文章的时候曾经写过一篇文章 基于 Java 实现的人脸识别功能,因为刚开始码字不知道写点什么,就简单弄了个人脸识别的Demo。
该清单中包含一些安全从业人员常用的,针对指定数据库进行sql注入漏洞测试的payload,在安全测试的第一个阶段,我们可以借助外部的一些安全工具,比如nmap进行识别服务器端数据库的指纹信息,更有利于后续的模糊测试。
在Web应用中,从浏览器那接收到的Http的全部内容,都可以在客户端自由地变更、篡改,所以Web应用可能会接收到与预期数据不相同的内容。 在Http请求报文内加载攻击代码,就能发起对Web应用的攻击。通过URL查询字段或表单、Http首部、Cookie等途径吧攻击代码传入,若这时Web应用存在安全漏洞,那内部信息就会遭到窃取,或被攻击者拿到管理权限。
PhoneInfoga 是一个用于扫描国际电话号码的信息收集框架,它允许用户首先收集基本信息 (如国家、地区、运营商和线路类型),然后使用各种技术来尝试找到 VoIP 提供商或识别所有者。该工具与一系列必须配置的扫描器配合使用,以便发挥其效力。PhoneInfoga 并不自动化所有操作,而只是帮助调查电话号码。
据国际权威机构Statista统计和预测数据指出,到2035年,全球数据产生量增长预计将达到2142ZB(1ZB约1万亿GB))。 信息技术的不断发展,也在驱动催生许多新的数据业务场景,这也意味着,这些新的业务和海量的数据对数据库能力提出了新的要求。而这些新的要求,也亟需新技术来满足。 自上月TDSQL- A公有云版本发布以来,腾讯云数据库就对其核心架构进行了整体介绍和深入的解读,但除此之外,TDSQL-A仍有不少值得一提的“硬核新技术”。 6月5日14:30~17:00,5位技术大咖将共同对TDSQL-
事务有4个特性,一般都称之为ACID特性,简单记为原一隔持(谐音:愿意各吃,即愿意各吃各的),如下表所示:
“ “对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善,那么我称这个计算机程序在从经验E中学习” ——Tom M. Mitchell ” 人工智能是计算机科学的一个分支,它的主要研究目标是用计算机程序来表示人类智能。这个词最早是在1956年的达特茅斯会议上正式提出的。在达特茅斯会议正式提出“人工智能”这个概念之前,图灵和早期的计算机科学家一般用“机器智能”这个词。如今人工智能的浪潮正席卷全球,诸多相关热点词汇时常萦绕在耳边
我们在制作条码标签时会批量打印,一般会有几种形式:比如流水号条码批量打印,条码重复批量打印,使用数据库内容批量打印和不同的条码分别打印不同的数量。前几种形式实现起来比较简单,但是最后一种就需要借助字段来读取打印数量。下面小编会详细介绍操作过程。
作者:核子可乐 编译 编辑:王玉圆 摘自:IT168 在今天的商务环境当中,企业正越来越多地向高级分析机制伸出求助之手,希望借此从规模更庞大且各类愈发繁杂的数据中汇总出指导性意见,进而找到可行模式、异常情况与可预测结果。 “我们的研究结果清晰地表明,高级分析正在迅速成为企业运营与决策制定流程中的组成部分,而且其影响范围几乎涵盖了所有产业门类,”研究企业Hurwitz & Associates公司COO兼首席分析师Marcia Kaufman与高级分析师Daniel Kirsch在最近发布的《高级分析:20
作者介绍 黄堋 多年一线DBA经验,曾服务于电信、电网、医院等行业客户。擅长数据库优化、数据库升级迁移、数据库故障处理 当主备同步中断了,备库想快一点恢复,偏偏这个时候归档太多恢复不过来或者说需要的归
以下节选择《Netkiller Architect 手札》 作者:netkiller 地址 http://www.netkiller.cn/architect/ 接下来几周的话题是数据库安全。 5.8. 数据加密 数据库中有很多敏感字段,不允许随意查看,例如开发人员,运维人员,甚至DBA数据库管理员。另外加密主要是防止被黑客脱库(盗走) 敏感数据加密有很多办法,可以用数据库内部加密函数,也可以在外部处理后写入数据库。加密算法有很多种,但通常两类比较常用,一种是通过key加密解密,另一种是通过证书加密
数据库内核技术是数据库的底层技术根基,腾讯云数据库在基础架构领域上一直坚持前沿技术探索与实际落地应用相结合,持续提升产品性能,助力企业国产化升级,推动国产数据库发展行稳致远。 近年来,腾讯云数据库积极拥抱云原生和国产化的趋势,致力于发展自研数据库技术,帮助全行业用户降低上云成本。其中腾讯云TDSQL已被3000多家来自金融、公共服务和电信垂直行业的客户采用,中国十大银行中的六家都应用了该产品。 5月7日19:00-21:40,腾讯云数据库"DB TALK"系列技术分享会第二期“数据库内核技术探秘”专场即
领取专属 10元无门槛券
手把手带您无忧上云