- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
一、Flume简介 数据流 ：数据流通常被视为一个随时间延续而无限增长的动态数据集合，是一组顺序、大量、快速、连续到达的数据序列。 （一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。
1.1K10编辑于 2025-01-22 - 来自专栏数据库相关
vector 数据采集工具的使用
vector 官方的介绍如下： vector是使用rust编写的高性能可观测性数据管道，使组织能够控制其可观测性数据。 Vector 可以在您需要的地方（而不是在供应商最方便的地方）实现显着的成本降低、新颖的数据丰富和数据安全。开源，比任何替代方案快 10 倍。 / 生产级别大规模的数据处理流： json文件 --> vector 1 --> kafka --> vector 2 --> es 小规模的数据采集，也可以不用kafka： json文件 - when_full = "block" # 当512MB空间写满后，vector处于阻塞状态，也就是不继续采集下游的原始日志 [sinks.es_cluster.bulk] index kafka，然后由第二层的vector（单机或集群）消费kafka数据，并写到ES集群中。
2K10编辑于 2023-12-19 - 来自专栏Java架构师必看
大数据采集工具，除了Flume，还有什么工具？
今天说一说大数据采集工具，除了Flume，还有什么工具？,希望能够帮助大家进步!!! 随着大数据越来越被重视，数据采集的挑战变的尤为突出。 今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 ： 数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。 这其中包括： 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展 在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。
3K20编辑于 2022-07-06 - 来自专栏智能大数据分析
【数据采集与预处理】数据接入工具Kafka
2、发布/订阅模式（一对多，数据生产后，推送给所有订阅者） 发布订阅模型则是一个基于推送的消息传送模型。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 在流式计算中，Kafka 一般用来缓存数据，Storm 通过消费 Kafka 的数据进行计算。 1、Apache Kafka 是一个开源消息系统。 该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 3、Kafka 是一个分布式消息队列。 ，请在当前终端（记作“数据源终端”）内继续输入下面命令： [root@bigdata kafka]# .
41900编辑于 2025-01-22 - 来自专栏F12sec
工具分享 | FoFa采集工具
本工具来自公众号bgbing安全 工具github地址： https://github.com/bgbing/bgbingfofa 以下为bgbing安全原文： 前言：今天闲来无事，想写一个fofa采集工具 ，好用并且容易操作的工具，于是就有了bgbingfofa工具 写到后面发现自己的正则匹配并不熟悉，于是联系了刘念大佬 大佬二话不说，直接就把代码甩我脸上 然后再次请教大佬 从这一段，你们就能知道我的技术有多菜 当然最后工具还是做出来了 使用例子 如何使用？
2K10编辑于 2022-09-29 - 来自专栏全栈程序员必看
API数据采集_数据采集接口
type=id 使用python代码获取数据、 import json from urllib.request import urlopen def getInformation(id): response result") print(getInformation("1")[0].get("artist_name")) 结果： 曾沛慈 说明： 通过调用API接口加上JSON格式解析，可以获取我们想要的任何数据
2.9K50编辑于 2022-09-28 - 来自专栏msray
拓客必备神器：采集工具让你的数据采集更快更准
二、关键词采集工具在企业拓客中的应用Msray-plus，是一款企业级综合性爬虫/采集软件。企业官网：https://www.msray.net/支持亿级数据存储、导入、重复判断等。 图片图片关键词采集工具可以帮助企业在拓客过程中实现以下几个方面的应用：目标客户定位：关键词采集工具可以帮助企业收集与目标客户相关的关键词和搜索数据，了解目标客户的需求和行为特征，从而精准定位目标客户。 例如，假设你是一家销售智能家居产品的企业，你可以使用关键词采集工具收集与智能家居相关的关键词和搜索数据，了解目标客户的需求和行为特征，例如智能家居的功能、价格、品牌等，从而精准定位目标客户。 例如，假设你是一家销售健身器材的企业，你可以使用关键词采集工具收集与健身器材相关的关键词和搜索数据，了解目标客户的需求和偏好，从而制定相应的产品介绍和营销方案，吸引目标客户的兴趣和关注。 三、关键词采集工具的优势关键词采集工具在企业拓客中的应用有很多优势，主要体现在以下几个方面：精准定位目标客户：关键词采集工具可以帮助企业收集与目标客户相关的关键词和搜索数据，从而精准定位目标客户，提高拓客效率和成功率
66430编辑于 2023-04-07 - 来自专栏大数据与微服务架构
日志采集工具Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。 Flume的数据流由事件(Event)贯穿始终。 事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入 Client：生产数据，运行在一个独立的线程。 3. Source：从Client收集数据，传递给Channel。 4. Sink ：从Channel收集数据，运行在一个独立线程。 5.
87110发布于 2020-04-11 - 来自专栏物联网wtblnet.com
数据采集网关|工业数据采集网关
数据采集网关|工业数据采集网关 随着数据量的不断增速，数据价值也逐步被许多公司所关注，尤其是偏重于业务型的企业，许多数据的发生，在未被挖掘整合的进程中通常被看作是一堆无效且占用资源的；但一旦被发掘，数据的价值将无可估计 近段时刻有幸参与负责了一个大数据项目，今日主要对收集体系做一次简单的复盘： 数据收集体系故名思意就是将数据从数据源收集到能够支撑大数据架构环境中，从而实现数据的收集以便后期对数据的二次加工树立数据仓库。 数据采集网关，物通博联数据采集网关相关产品： 1477559252.jpg 1480315233.jpg 一、业务流程整理 在业务流程整理的进程中，咱们先预设个场景，如： 当公司运营人员提出一个订单转化率的需求 ，都需求获取哪些数据，获取到后要收集存储到哪个数据仓库的表中，终究被运用到。 数据源办理 数据源一般会分为许多种类型，因而，咱们需求树立数据源类型；如ORECAL、mysql、hive等。
2.3K40发布于 2019-12-03 - 来自专栏大数据服务
推荐10个最好用的数据采集工具
10款最好用的数据采集工具，免费采集工具、网站网页采集工具、各行业采集工具，这是目前比较好的一些免费数据采集工具，希望可以帮助到大家。 1、八爪鱼采集器 八爪鱼是基于运营商在网实名制真实数据是整合了网页数据采集、移动互联网数据及API接口服务等服务为一体的数据服务平台。它最大的特色就是无需懂得网络爬虫技术，就能轻松完成采集。 3、近探中国 近探中国的数据服务平台里面有很多开发者上传的采集工具还有很多是免费的。 8、ForeSpider ForeSpider是一款非常好用的网页数据采集工具，用户使用这款工具可以帮助你自动检索网页中的各种数据信息，并且这款软件使用非常的简单，用户还能免费使用。 有特殊情况需要特殊处理才能采集的，也支持配置脚本。 9、阿里数据采集 阿里数据采集大平台运营稳定不奔溃，可以实现实时查询，软件开发数据采集他们都可以做，除了贵没有毛病哈。
8.4K61发布于 2021-07-15 - 来自专栏智能大数据分析
【数据采集与预处理】数据传输工具Sqoop
一、Sqoop简介 Sqoop 是一款开源的工具，主要用于在 Hadoop（Hive）与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL，Oracle，Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，Hive，HBase）中传输数据，叫做：导入，即使用import关键字。 五、导出数据 在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。 在导入数据到hive时，去掉数据中的\r\n\013\010这样的字符 3 –map-column-hive 生成hive表时，可以更改生成字段的数据类型 4 –hive-partition-key
72411编辑于 2025-01-22 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 关键词采集根据提供的关键词采集全网的数据，重复判断：可以选择根据域名或者网址进行重复判断，采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP 电话，qq，邮箱等远程结果推送支持：可将结果推送到远程的服务器**创建联系任务**图片URL采集工具可以帮助我们进行数据**抓取、处理、分析，挖掘**。 URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。
3.3K11编辑于 2022-10-17 - 来自专栏IT大咖说
大数据平台-数据采集和集成技术和工具整理
首先在这里表面一个观点，即： 不用期望通过单一的一个工具或技术来完成大数据采集和集成工作，而是需要针对数据采集的实时性需求，数据采集的类型，数据量大小等采用不同的方法和技术。 Sqoop和Flume数据采集和集成 ? 如果从Hadoop提供的标准技术架构和开源工具集，对于数据采集和集成部分重点就是两个工具，一个是Sqoop，一个是Flume。 虽然这个采集工具现在没有大范围使用，但是却对整体大数据采集和集成实施，功能扩展方面积累了相应的技术经验。 前面谈采集，可以看到在源和目标之间增加了一个采集集成工具。 即： 源端 -- 采集集成工具 -- 目标端 而流式计算框架后整个过程增加了计算环节如下： 即： 源端 -- 采集集成工具 -- 计算 - 目标端 ?
2.9K10发布于 2021-03-14 - 来自专栏物联网智慧生活
数据采集器 数据采集终端
TS511系列采集终端是集数据采集与2G/3G/4G/5G数据传输功能于一体的环保数据采集终端，完全符合《污染物在线自动监控(监测)系统数据传输标准》(HJ 212-2017) 和(HJ 212-2005 适用于环境和污染源在线监测设备监测数据的采集、存储和传输。 0.jpg 集视频图像监控、数据采集、数据存储、无线通信传输于一体 TS511环保数采仪，集视频图像监控、数据采集、数据存储、无线通信传输于一体;实现环保数据的采集、存储、显示、控制、报警及加密传输等综合功能 ;智能采集上报实时采集数据、设备监控数据等数据信息;接口丰富，可扩展性强、功能强大，组网灵活。 多路采集数据存储空间自定义 支持多路采集数据存储空间自定义配置，每个采集数据的存储空间均支持自定义配置;传感器定制简单可配可选，Modbus RTU传感器不用软件定制可以兼容;海量空间，可在本机循环存储监测数据
2.8K00发布于 2021-05-18 - 来自专栏轩辕镜像
开源免费 TikTok Downloader：TikTok、抖音数据采集工具
TikTokDownloader 完全免费开源，基于 Requests 模块实现：TikTok 主页/视频/图集/原声；抖音主页/视频/图集/收藏/直播/原声/合集/评论/账号/搜索/热榜数据采集工具 项目文档 ⭐ 推荐使用 Windows 终端（Windows 11 自带默认终端） 其他说明 程序提示用户输入时，直接回车代表返回上级菜单，输入 Q 或 q 代表结束运行 由于获取账号喜欢作品和收藏作品数据仅返回喜欢 / 收藏作品的发布日期，不返回操作日期，因此程序需要获取全部喜欢 / 收藏作品数据再进行日期筛选；如果作品数量较多，可能会花费较长的时间；可通过 max_pages 参数控制请求次数 获取私密账号的发布作品数据需要登录后的 程序默认不启用请求延时，但是建议使用者编辑 src/Customizer.py 文件启用随机延时或固定延时，避免频繁请求导致被抖音风控 如果您的计算机没有合适的程序编辑 JSON 文件，建议使用 JSON 在线工具 数据采集：支持采集TikTok和抖音的详细数据，包括账号信息、评论数据、直播推流地址等。 多账号支持：支持多账号批量下载作品。 自动化功能：自动跳过已下载的文件，持久化保存采集数据。
3.2K10编辑于 2024-09-29 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist官网:http://www.querylist.cc/简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text']])->query ()->getData();//打印结果print_r($data->all());/** * 在线测试采集并查看采集结果:http://querylist.cc/querylist-test */进阶上面的采集结果有很多 ;//需要采集的目标页面$page = 'http://cms.querylist.cc/news/566.html';//采集规则$reg = [ //采集文章标题 'title' =>
2.3K30编辑于 2022-09-14 - 来自专栏小轻论坛
XHS.Spider颜值超高的数据采集工具
官方网站：https://xisuo67.website/XHS-Spider-Doc/ XHS.Spider是一款颜值超高的小红书数据采集工具。 小红书数据采集、网站图片、视频资源批量下载工具，颜值超高的数据采集工具（批量下载，视频提取，图片，去水印等） 环境说明 XHS-Spider目前仅支持windows操作系统，其他操作系统不支持 XHS-Spider
79710编辑于 2024-09-30 - 来自专栏白安全组
Google的url采集工具
这里花了一点时间去写了一个Google的url采集工具，目前仅有谷歌，后面会增添更多的渠道，支持代理设置，可以增加代理池，可以用于快速挖洞 项目地址： https://github.com/baianquanzu
52510编辑于 2024-05-08 - 来自专栏Python大数据分析
数据采集必备的7个低代码爬虫工具
爬虫是网络数据采集的简称，顾名思义就是利用http请求技术向网站发送数据请求，然后进行html解析并提取到需要的数据，可以使用Python等工具实现，这个过程看似简单，但暗藏很多机关，也导致很多人只是入了爬虫的门 下面是7个我常用的爬虫软件，分三大类，零代码工具、半自动化工具、低代码工具，都很好操作。 零代码工具 八爪鱼爬虫 八爪鱼算是非常出名的数据采集软件了，很早就流传开来。 点击采集 → 导出Excel/CSV文件。 亮数据爬虫 亮数据是一种专门应对反爬的数据采集工具，很适合亚马逊、Shopee等电商网站的数据采集和监测。 半自动化工具 Web Scraper Web Scraper是一款非常简单好用的浏览器扩展插件，专门用于数据采集，在浏览器上直接抓网页哈哈。 低代码工具 Scrapy Scrapy是一个基于Python的开源爬虫框架，以其强大的扩展性、灵活性和活跃的社区支持，成为开发者进行复杂网页数据采集的首选工具。
66410编辑于 2025-08-06 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类 最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist 官网:http://www.querylist.cc/ 简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 ->find('img')->attrs('src'); //打印结果 print_r($data->all()); //采集某页面所有的超链接和超链接文本内容 //可以先手动获取要采集的页面源码 $ // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text'] ])- QL\QueryList; //需要采集的目标页面 $page = 'http://cms.querylist.cc/news/566.html'; //采集规则 $reg = [ //采集文章标题
1.5K51编辑于 2022-08-30
腾讯云开发者
