- 综合排序
- 最热优先
- 最新优先
- 来自专栏hadoop学习笔记
大快DKH大数据网络爬虫安装教程（详细图文步骤）
在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。 爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。 crawler\dkcrw-tomcat-7.0.56\webapps\ROOT\WEB-INF\classes下(这下面有一个没有改好的直接替换) 图片3.png 修改好后把修改好的爬虫文件打压成压缩文件 4、 的文件夹 图片4-2.png 使用cd crawler 命令进入 crawler 文件夹下 图片4-3.png 使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql数据库 图片4-4.png 5、分发爬虫文件 图片5.png 每个节点都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一个节点上,不能放在主节点上
81130发布于 2018-08-24 - 来自专栏大数据
扩展大数据网络的规模
实际上，网络的规模可能是扩展大数据网络最不感兴趣的方面。 大数据到底有多大？ 不久之前，我问了一个问题：一个典型的大数据部署(指部署起来的应用，下同)有多大？ 我期待着，正如我怀疑许多人的看法一样，标题中的“大”意味着部署(起来)将会是一个大问题。但平均的大数据部署实际上比大多数人意识到的要小得多。 即使每个节点多连接(直译多宿主，即multi-homed)到两台交换机，这也意味着平均部署时可以由4台接入交换机处理。 即使每个部署的规模翻了四番，您也只需要谈论16台接入交换机的部署。 扩展大数据网络的真正问题不在于把小型互连规模扩大。网络并不会沿着单一应用程序的规模去扩展（或者至少它们不应该这样）。 现在当人们部署大数据应用时，大的部分把人们指向有大量数据工作负载基于目的构建的体系结构。在很多情况下，这包括构建针对特定工作负载的分割的网络。
95240发布于 2018-05-22 - 来自专栏爱生活爱编程
burp suite手机移动数据网络抓包
增加 APN 并设置代理服务器 入口无线和网络–>移动网络–>接入点名称(APN)–>新建APN
1.9K20发布于 2021-01-14 - 来自专栏边缘计算
什么是命名数据网络NDN？
命名数据网络（Named Data Networking, NDN）经常出现在5G、边缘计算相关的文献书籍上，那NDN究竟是何方神圣？一起来了解一下吧！ 研究人员先后提出了各种方案，其中命名数据网络（Named Data Networking, NDN）将内容本身看作网络中的主导实体，采取基于内容的架构颠覆了当前基于主机的网络架构，因而成为未来未来研究中一个具有代表性的网络架构 （4）支持新的路由协议。 基于NDN架构的5G选择策略研究述.北京交通大学，2016. [2]张君菲.基于层次分析法的 NDN 缓存策略.网络天地，2019. [3]陈昱彤，刘开华，李卓，等.基于命名数据网络的5G架构网络层研究 .南开大学学报，2019. [4]李彤，王枫皓.基于NDN的战术网优势及可行性分析.信息通信，2019. [5]顾艳春，杨吉渊.命名数据网技术的应用.佛山科学技术学院学报，2019.
2K30发布于 2019-11-28 - 来自专栏程序你好
区块链4大优势，与传统金融4大短板
区块链技术的四大优势表现在四个方面： 首先是免基础信任机制。
1.1K10发布于 2018-07-20 - 来自专栏SDNLAB
软件定义网络SDN从数据网络向光网络延伸
目前业界掀起了融合信息技术（IT）和网络新型架构理念的研究势头，软件定义网络（SDN）技术迅速从数据网络领域向光网络领域延伸，以构建更灵活、高效、低成本、开放的未来光网络。 第一，网络流量快速增长，网络扩容压力大；第二，网络智能化水平不高，运维管理复杂；第三，跨层域管控难度大，无法适应网络融合发展的趋势；第四，网络相对封闭，新业务开发慢，难以满足应用创新需求。 与数据网络不同，光网络自身具有集中化管理和面向连接的交换机制等特点，因此光网络天然具有部分SDN的特征，更易于向SDN方向发展演进。 软件定义光网络架构包含控制、转发和应用三个层面。 开放网络基金会（ONF）于2013年4月成立了光传送工作组，已完成架构和用例，2015年年初将在Openflow 1.5版本中发布光网络协议扩展。 ——多种接口协议并存，标准化难度大。目前，光网络控制器南向接口存在Openflow、GMPLS/PCEP、网管协议等多种协议选择。随着层次化控制结构的引入，控制器层间接口将成为标准化重点。
1.4K70发布于 2018-04-04 - 来自专栏云头条
4 亿、金融 IT 大单
5月24日，吉林省农村信用社联合社发布《2022年核心主机及配套存储等设备采购项目》竞争性谈判公告 预算金额：8688 万元 采购需求： 1、硬件设备共计31台： 其中核心主机3台、核心主机硬件控制台4台 核心系统性能分析软件1套，核心系统开发工具1套 3、原厂集成实施服务： 包括核心系统生产及同城灾备三点架构环境搭建，核心业务系统数据平滑迁移，同城灾备重构及切换演练，开发测试环境重构等原厂商集成实施服务 4、 应急处置等现场支持原厂专家服务，包括主机50人天和存储90人天 2022年5月24日，吉林省农村信用社联合社发布《2022年网络设备采购项目》竞争性谈判公告 预算金额：4655 万元 采购需求： 核心路由器4台 ，核心交换机4台，区域汇聚交换机32台，接入交换机118台，4套SDN控制器等软硬件设备。
98310编辑于 2022-06-02 - 来自专栏机器学习/数据可视化
MySQL必学4大语言
MySQL必学4种语言 本篇文章记录的是MySQL中常用的4种语言： DDL DDL，data defination language，指的是数据定义语言，其主要作用是创建数据库，对库表的结构进行删除和修改等操作 # 需要查询的字段 from table_name # 表名 where 条件 简单查询 select name, age from user where id=4; where id in ：指定从哪里开始显示，显示多少行 简写：limit 5, 4：表示从第5行开始，显示4行数据 select name, age from user limit 5; -- 只显示5行数据 select name, age from user limit 5 offset 4; -- 从第4（offset）行开始显示5(limit)行数据 select name, age from user limit 4, 5 ; -- 效果同上：逗号之前是offset的内容，逗号之后是limit内容 MySQL中的DQL应该是最常用的，请参考《MySQL经典50题》
42040编辑于 2023-08-25 - 来自专栏Hello工控
CAN总线4大优点！！！
我们前期已经介绍过CAN的定义、历史及应用场合，那为啥能成为众多汽车行业及其他设备的通信技术呢？主要有以下四点，我们详细介绍。
52410编辑于 2024-10-28 - 来自专栏新智元
ICCV 2019，华为诺亚提出无需数据网络压缩技术
表 4 是消融实验的结果，可以看到，本论文提出的损失函数的每一项都很重要。 ? 表 4 消融实验 最后，我们对教师和学生得到的卷积核做了可视化，可以发现，我们的方法学到的学生网络和教师网络具有非常相似的结构，证明了本论文方法的有效性。 ?
1.2K20发布于 2019-09-10 - 来自专栏机器学习/数据可视化
深度学习4大激活函数
深度学习4大激活函数 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出实际上都是上层输入的线性函数。 本文将介绍深度学习中的4个常见的激活函数，从原函数公式、导数函数及二者的可视化来进行对比： Sigmoid函数 Tanh函数 ReLu函数 Leaky ReLu函数 激活函数特征 非线性：激活函数满足非线性时 当X无穷大的时候，函数值趋于1；X无穷小的时候，趋于0。相当于对输入进行了归一化操作。 Sigmod函数存在幂运算，计算复杂度大，训练时间长。 frac{a-b}{a+b}\right){\prime}=\frac{(a-b)^{\prime} \times(a+b)-(a-b) \times(a+b){\prime}}{(a+b)2} 步骤4、
56630编辑于 2023-08-25 - 来自专栏CreateAMind
解决深度学习4大缺陷
鉴于研究中研究的学习和信用分配方案，在第 4 节中，我们考虑了神经科学启发的机器学习研究面临的重要开放性问题和挑战，以及可能取得进展的有前景的问题领域。 4 Future Directions for Research未来研究方向 尽管近年来在生物启发式（bio-inspired）学习方法方面取得了显著的进展和活动，但这些方法尚未达到反向传播（backpropagation
46110编辑于 2024-04-19 4大痛点+4大场景技术方案
尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。这篇文章，我们不讲虚的，直接拆解数据同步的常见难题、技术方案和避坑指南，帮你把数据同步做稳、做快、做好用。 4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面
38810编辑于 2025-09-22- 来自专栏机器学习/数据可视化
特征选择4大方法
4大方法进行特征选择 特征选择能剔除和目标变量不相关(irrelevant)或冗余(redundant )的特征，以此来减少特征个数，以此来达到提高模型精确度，减少运行时间的目的。 另一方面，筛选出真正相关的特征之后也能够简化模型，经常听到的这段话足以说明特征工程以及特征选择的重要性： 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已 本文记录的是使用4种不同的方法来进行机器学习中特征的重要性排序 pd.read_csv("kc_house_data.csv") house Out[2]: 基本信息 In [3]: # 数据shape house.shape Out[3]: (21613, 21) In [4] : # 字段缺失值 house.isnull().sum() Out[4]: id 0 date 0 price 0 bedrooms
39541编辑于 2023-08-25 - 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 各模块采用松耦合设计，可通过标准化接口组合使用 实际应用中通常以链为核心组织工作流（如检索QA链=数据增强+模型I/O+记忆） 回调系统提供贯穿所有模块的可观测性能力 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好&吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强 小结： - 研发&测试环境：为了方便部署和测试，使用云服务 - 大客户生产环境：安全审核严格，大多数采用自建大模型的方式 总结 LangChain 是什么？
42610编辑于 2025-08-04 - 来自专栏FreeBuf
企业漏洞管理的4大误区
根据IBM的2019年数据泄露成本报告，美国数据泄露的平均成本为819万美元。公司平均需要206天才能识别出泄露，尝试解决这些问题则平均需要38天。
1.1K20发布于 2020-04-14 - 来自专栏镁客网
大疆发布精灵4，更智能
北京时间3月2日凌晨，DJI大疆创新在美国纽约举行新品发布会，发布了精灵系列新品——大疆精灵Phantom 4。 发布会并没太多惊喜，因为在发布会开始前Phantom 4的照片已被曝光过。 关于Phantom 4的几大改进，我们总结如下： 第一、机身更紧凑 精灵4的机身设计在电池上留出了更大空间，因此，电池容量得以提高。 Phantom 4与Phantom 3主要参数区别如下： 据悉，Phantom 4在中国大陆地区的官方售价为8999元人民币。 自即日起，从大疆的官方自营渠道：官网商城、天猫旗舰店、大疆欢乐海岸旗舰店就可购买。Apple官网商城和Apple Store零售店即将开始接受Phantom 4的预定；3月15日起上述各渠道开始发货。 大疆各授权经销商将于4月1日起开始对外发货。
77850发布于 2018-05-28 - 来自专栏机器学习/数据可视化
Pandas行列转换的4大技巧
本文介绍的是Pandas中4个行列转换的方法，包含： melt 转置T或者transpose wide_to_long explode（爆炸函数） 最后回答一个读者朋友问到的数据处理问题。 }) df [008i3skNgy1gxemyo38tkj30hc0b40sv.jpg] id_vars [008i3skNgy1gxemzuq1rdj30o20lyta4. jpg] value_vars [008i3skNgy1gxen8mbd6lj30kk0f4mxw.jpg] 上面两个参数的同时使用： [008i3skNgy1gxen9qm1o2j30sy0t40ul.jpg False，保持原来的索引 模拟数据 [008i3skNly1gxere8xz47j310w0ecwgk.jpg] 单个字段爆炸 对单个字段实施爆炸过程，将宽表转成长表： [008i3skNly1gxerf4aekzj30pu0j4ta8 150,200,300,90]}) fruit [008i3skNly1gxeriuiw08j30jc0n8myd.jpg] 首先我们是需要统计每个shop每个fruit的销量 [008i3skNly1gxerki6i4zj315u0isgn4
5.8K20编辑于 2021-12-15 - 来自专栏木东居士的专栏
闲聊4年大数据经历
0x00 前言 周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 0x01 大数据 “什么是大数据？” 2016年初 然后到了16年初，感觉机器学习突然间火起来了，突然间大数据的概念就被割裂出去了一大部分，机器学习和数据挖掘这部分和算法强相关的内容一下子就不属于大数据这个概念了。 下子问题就大了，遇到了很多的挑战，比如数据倾斜、数据丢失、数据读写影响这些问题。 这个阶段，居士才是真正认识到了大数据的魅力，也更深入地理解了大数据存在的意义和解决的问题。 Now 大数据！大数据！ 大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。 我们在做大数据的时候也更应该有数据的理解，这里对数据的理解可能会和数据分析、数据挖掘有类似，但是又不同。
78630发布于 2018-05-25 - 来自专栏Michael阿明学习之路
面向对象4大特性的作用
继承 4. 多态 学习自 极客时间《设计模式之美》 1. 封装 隐藏保护内部数据，不被随意修改，提高可维护性 仅暴露必要的接口，提高易用性 2. 继承 解决代码复用问题，建议多用组合，少用继承（菱形继承，子类调用歧义） 4. 多态 子类可以替代父类，调用子类的方法 可以提高代码扩展性、复用性
30720发布于 2021-09-06
腾讯云开发者
