腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

自研安全工具之URL采集

Burpsuite 是我认为的Web安全方面最优秀的一款工具了，它的功能异常强大，几乎覆盖了Web渗透的方方面面 AWVS是我认为web漏洞扫描器中也是十分优秀的，不过是windows平台的，我不太常用作为Web渗透的人员，掌握以上两款工具的使用是必须的 ---- 任何一款大型工具都是由细小的功能组成的，这次我打算从头写一款自己的web渗透的工具一般人都会先做一个思维导图，之后按部就班，我的性格比较随性 ---- 我觉得渗透第一步是应该有渗透测试的目标，所以今天就来做一个URL采集的工具，搜索引擎使用的是百度的，编程语言是Python3 这种从百度搜索结果中获取URL肯定有前人写过啦，所以我们先百度搜索一下这个类中主要的函数就只有get_url这个函数，这个函数主要就是完成与百度搜索引擎交互的功能了，并且用bs 筛选出所有<a>标签中的href属性获取其中的链接地址获取到地址之后先判断是不是以htm, 此时我们再写一个批量脚本可能就可以筛选出这些结果中的存在漏洞的站点，之后批量获取shell了最后附上文件链接: https://pan.baidu.com/s/1m13WilN9xtRvvk6MdwiMOw 密码: di5c 这样一个URL采集工具就写好了

意大利的猫

2020-08-20

1.4K0

标签:

网站渗透测试

我们自研的那些Devops工具

随着云技术以及容器技术的崛起，人肉运维的时代结束了 2018年为了解决日常运维中的痛点以及更高效的推进运维工作，我们自研并完善了几个工具系统，这些系统无一例外的帮我们节约了时间，提高了效率，这篇文章将分享介绍一下这些工具系统 varian varian是我们内部开发的一个模块化的持续集成工具，主要负责项目从源代码到最终可部署程序的这个过程，现在有大部分项目已经是Docker部署了，那么varian会负责从源代码到最终打包好的项目镜像并上传到镜像仓库这个过程当然除了以上这些系统外还开发了一些小工具来规范管理，提高效率，这里不多介绍。另外我们还用到了大量的开源软件系统，例如Jenkins、ELK套件、Kubernetes等 2019年计划我们知道devops是从研发到上线整个过程自动化的一种思想，并不是某个工具或者某几个工具的集合，我一直在想如何才能将devops落到实处，18年基于当前的环境我们开发了以上的各种工具来帮助我们高效的工作，但这些工具系统相对分散，不能形成体系流程，19年会实践一些方式方法将这些工具系统串联，实现更高程度的自动化

2019-06-19

1.2K0

标签:

容器镜像服务

我们自研的 ice 规则引擎终于开源了！

前言背景介绍规则/流程引擎想必大家并不陌生，耳熟能详的就有Drools，Esper，Activiti，Flowable等，很多大厂也热衷于研究自己的规则引擎，都是用于解决灵活场景下的复杂规则与流程问题毕竟改改配置和在已有基础上编排规则/流程，比硬编码的成本低很多，但是使用市面上现有的规则引擎来编排，一来接入成本和学习成本都不低，二来随着时间的推移，规则变的越发庞大以及一些场景的不适用，更加让人叫苦不迭模块怎么设计无可厚非，重点要讲的是后面的怎么编排实现配置自由，接下来将通过已有的上述节点，讲解不同的规则引擎在核心的编排上的优缺点，并比较ice是怎么做的。「现实」 ①充值100元改成80吧，10积分变20积分吧，时间改成10.8号结束吧（微微一笑，毕竟我费了这么大劲搞规则引擎，终于体现到价值了！）

程序员海军

2022-01-26

2.9K0

标签:

芭比Q了，火山引擎自研虚拟交换放弃OVS！

字节入云火山引擎蓄势一发地球人都知道云深知网络所以火山引擎好不好先看网络大规模云上网络 VPC的设计绝对是炫技的机会初期选择开源OVS也基本是惯例从OVS卸载到DPDK加速都是常规操作今日头条首次揭秘数据中心 SDN网络设计所以到了第三步自研vSwitch才是终极目标 ByteFlow用来抽象统一底层基础能力自己家的孩子怎么看都是帅哥靓妹自研BVS用OVS一半的网络成本就能实现比之前OVS更高的转发性能关于BVS更多性能分析可以参阅原厂的详细分析值得一提的是BVS的抽象卸载层针对不同硬件和场景有不同卸载策略 HPC卸载RoCE流量自研DPU卸载全量规则不过自研DPU这么醒目还让其他公司怎么吹牛 DPU相关资料合集：全球智能网卡大会资料下载新一代火山引擎云服务器全线搭载自研vSwitch，在网络性能方面，网络传输延时可降低一半，全面提升至100G*2物理网络，最大网络带宽提升220%，单实例网络转发能力提升

2023-02-16

7820

标签:

长安链自研网络Liquid详解及应用指南

Liquid作为长安链ChainMaker最新发布的自研P2P网络，拥有诸多重要的新特性，本文将为大家详细介绍Liquid诞生的来龙去脉，并横向对比Liquid和libp2p特性。 1.为什么我们需要自研网络关注长安链的小伙伴都了解，长安链的P2P网络模块是基于libp2p开源项目进行封装的。libp2p体系完善、功能强大，为什么还要开发自研网络呢？（3）自研网络模块将进一步提升长安链自主可控性。在这样的背景下，自研网络模块诞生了。我们给自研P2P网络起了一个新名字——Liquid，寓意着快速适应复杂易变的网络环境以及流畅的传输效率。 2.了解自研网络Liquid 2.1 Liquid简介在自研网络Liquid设计和开发的过程中，我们对libp2p进行了重新梳理，同时对使用libp2p遇到的一些问题进行优化。优先级9：共识引擎消息优先级8：区块消息优先级7：交易消息优先级5：同步引擎消息

2022-04-27

1.2K0

标签:

构筑数据磐石：腾讯云自研磁带引擎技术剖析

腾讯云基于自研磁带引擎提供了深度归档存储服务，打通了从数据沉降、磁带管理到数据回热的全链路，针对特定的工作负载进行“量体裁衣”式的磁带库优化，通过低冗余 EC 纠删码技术、智能磁带快速填充技术以及近实时数据聚类与回热聚合算法等技术手段自研低冗余 EC 技术传统方案的得与失多副本方案是目前商业磁带引擎的经典荣誉策略，例如将一份数据同时写入两个甚至三个独立的磁带库。自研引擎的核心技术优化点在于并非简单地用 EC 替代副本，而是构建一整套“I/O 合并”机制，减少 EC 带来的理论上的 I/O 放大。引擎的管控层不会对每个小文件单独进行 EC 编码和写入。腾讯云自研磁带引擎通过智能打包写入策略优化小文件写入性能。腾讯云自研引擎在数据沉降的入口处，引入了近实时用户特征聚类算法。该算法动态分析持续流入的数据流，根据数据的元信息进行实时聚类。

2026-04-27

6940

标签:

得物自研DGraph4.0推荐核心引擎升级之路

一、前言DGraph是得物自主研发的新一代推荐系统核心引擎，基于C++语言构建，自2021年启动以来，经过持续迭代已全面支撑得物社区内容分发、电商交易等核心业务的推荐场景。 DGraph在推荐链路中主要承担数据海选和粗排序功能，为上层精排提供高质量候选集。核心技术特性：索引层 - 支持KV（键值）、KVV（键-多值）、INVERT（倒排）、DENSE-KV（稠密键值）等。；在业务兼容性方面，基础查询接口（KV检索、倒排索引、X2I关联查询）保持完全兼容以降低迁移成本，而DAG图查询需业务侧在查询链路中明确指定Proxy聚合算子的位置以发挥分布式性能优势。 3.2 传输协议编码解码优化优化JavaSDK - DGraph数据传输过程：在DGraph部分场景，由于请求引擎返回的数据量很大，解码编码耗时占整个请求20%以上。五、展望未来过去四年，DGraph聚焦于实现得物推荐引擎体系从0到1的突破，重点完成了核心系统架构搭建、算法策略支持及业务迭代空间拓展，取得多项基础性成果。

2025-04-17

8990

标签:

云推荐引擎

得物自研DSearch3.0搜索核心引擎升级之路

倒排索引和查询树逻辑※ 倒排链优化DSearch1.0的roaringbimap倒排索引在低密度数据量上存在一些瓶颈，比如对于倒排链比较短的情况下，roaringbitmap的container大部分都是 array结构，在倒排链查询和合并都会进行一次二分查找，在大面积的倒排链合并中是个相当大的性能瓶颈。优化倒排链合并方式，采用原地倒排链合并，消除倒排合并临时对象，同时引入多线程并行合并，减少长尾提高性能。增量更新逻辑※ 增量实时写入逻辑引擎支持多个并发实时段，这个由配置文件通过配置来进行配置。逐步将DSearch引擎升级到业界较为领先的支持内存型、磁盘型多段式搜索引擎，为支持得物业务的发展做出了重要的贡献，后续DSearch会围绕着通用化、自迭代、高性能等多个方向继续升级，将DSearch引擎迭代到业界领先的引擎得物自研DGraph4.0推荐核心引擎升级之路5.

2025-05-14

6340

标签:

BinSentry 自研二进制哨兵调试引擎接口规范

BinSentry 二进制哨兵，由 LYSHARK 独立自研，是一款运行于 Windows 平台的二进制动态调试引擎。该调试引擎从零手写开发，C++ 代码 2 万余行，实现 200 + 调试方法；原生采用 CMD 命令行 HTTP 服务器架构，专为 AI Agent 打造。配合配套 AI 智能体，能够对二进制文件、木马等恶意样本进行深层次分析，是二进制样本研究的实用工具。

2026-09-25

1930

标签:

腾讯游戏云：基于TKE、MongoDB与自研引擎工具的大世界游戏技术架构实践

资产制作效率低：传统 LOD/HLOD 制作依赖大量美术人力，且自动减面工具效果差，修复工作量大。光照烘焙算力瓶颈：大型项目烘焙时间往往需好几天，且现有商业烘焙器多不支持跨引擎分布式烘焙。二、构建云原生大世界部署与数据架构针对上述痛点，腾讯云提供了一套基于 TKE 容器服务与 MongoDB 的云原生技术栈，并结合自研引擎工具链。 1. 内核增量路由刷新：自研优化底层路由存储数据结构（二维数组），解决官方版本在大集群下的性能抖动问题。 3. 自研引擎工具链（GenesisLod & MagicDawn） GenesisLod：利用 GPU 并行计算和分布式集群，实现程序化自动减面。自研工具链填补行业空白： GenesisLod 解决了传统自动 LOD 工具在高减面率下效果差的问题，在植被 LOD 等业务上甚至超越人工制作效果。

IT资讯研究所

2026-05-30

5750

标签: