- 综合排序
- 最热优先
- 最新优先
- 来自专栏hadoop学习笔记
大快DKH大数据网络爬虫安装教程（详细图文步骤）
在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。 爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。 1、修改爬虫安装配置文件(最好在线下修改好后再上传平台) 图1-1.png 图片1-2.png 2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可 ) 图片2.png Hbase.zookeeper.quorum所填地址应在DKM监控平台查看： 图片2-2.png Redis相关配置看如下界面： 图片2-3.png 3、把已修改的crawler /opt/dkh/ scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/ 图片5-2.png 6、在分发了dkcrw-tomcat-7.0.56文件的节点上给文件添加权限
81130发布于 2018-08-24 - 来自专栏大数据
扩展大数据网络的规模
原文地址：https://dzone.com/articles/scaling-big-data-fabrics 译者微博：@从流域到海域 译者博客：blog.csdn.net/solo95 扩展大数据网络的规模 实际上，网络的规模可能是扩展大数据网络最不感兴趣的方面。 大数据到底有多大？ 不久之前，我问了一个问题：一个典型的大数据部署(指部署起来的应用，下同)有多大？ 我期待着，正如我怀疑许多人的看法一样，标题中的“大”意味着部署(起来)将会是一个大问题。但平均的大数据部署实际上比大多数人意识到的要小得多。 扩展大数据网络的真正问题不在于把小型互连规模扩大。网络并不会沿着单一应用程序的规模去扩展（或者至少它们不应该这样）。 现在当人们部署大数据应用时，大的部分把人们指向有大量数据工作负载基于目的构建的体系结构。在很多情况下，这包括构建针对特定工作负载的分割的网络。
95240发布于 2018-05-22 - 来自专栏爱生活爱编程
burp suite手机移动数据网络抓包
增加 APN 并设置代理服务器 入口无线和网络–>移动网络–>接入点名称(APN)–>新建APN
1.9K20发布于 2021-01-14 - 来自专栏边缘计算
什么是命名数据网络NDN？
命名数据网络（Named Data Networking, NDN）经常出现在5G、边缘计算相关的文献书籍上，那NDN究竟是何方神圣？一起来了解一下吧！ 研究人员先后提出了各种方案，其中命名数据网络（Named Data Networking, NDN）将内容本身看作网络中的主导实体，采取基于内容的架构颠覆了当前基于主机的网络架构，因而成为未来未来研究中一个具有代表性的网络架构 因此，NDN网络架构的主要改变如下：（1）数据命名：根据内容本身内容数据直接进行层次命名，实现了对内容数据的共享；（2）安全性：对内容数据直接进行加密及数字签名实现对数据安全的控制；（3）网络节点存储模块 （2）以数据为中心的安全性。每个Data 包都有签名，从而在包这一层次确保了数据的安全性，应用通过加密和分发密钥来控制其他结点对内容的访问权限。 （3） 支持网内存储和 Interest 包聚合。 基于NDN架构的5G选择策略研究述.北京交通大学，2016. [2]张君菲.基于层次分析法的 NDN 缓存策略.网络天地，2019. [3]陈昱彤，刘开华，李卓，等.基于命名数据网络的5G架构网络层研究
2K30发布于 2019-11-28 - 来自专栏SDNLAB
软件定义网络SDN从数据网络向光网络延伸
目前业界掀起了融合信息技术（IT）和网络新型架构理念的研究势头，软件定义网络（SDN）技术迅速从数据网络领域向光网络领域延伸，以构建更灵活、高效、低成本、开放的未来光网络。 第一，网络流量快速增长，网络扩容压力大；第二，网络智能化水平不高，运维管理复杂；第三，跨层域管控难度大，无法适应网络融合发展的趋势；第四，网络相对封闭，新业务开发慢，难以满足应用创新需求。 与数据网络不同，光网络自身具有集中化管理和面向连接的交换机制等特点，因此光网络天然具有部分SDN的特征，更易于向SDN方向发展演进。 软件定义光网络架构包含控制、转发和应用三个层面。 ——多种接口协议并存，标准化难度大。目前，光网络控制器南向接口存在Openflow、GMPLS/PCEP、网管协议等多种协议选择。随着层次化控制结构的引入，控制器层间接口将成为标准化重点。
1.4K70发布于 2018-04-04 - 来自专栏数据结构与算法
1675 大质数 2
1675 大质数 2 时间限制: 1 s 空间限制: 1000 KB 题目等级 : 钻石 Diamond 题目描述 Description 小明因为没做作业而被数学老师罚站，之后数学老师要他回家把第 样例输入 Sample Input 233 样例输出 Sample Output 2 3 5 7 11 13 17 19 23 29 31 37 41 43 47 53 59 61 67 71 73 79 =0) 15 { 16 if(b%2! =0) 31 { 32 if(b%2! 45 if(n<2&&(n%2==0)) 46 { 47 return 0; 48 } 49 for(ll i=0;i<11;i++) 50 {
55560发布于 2018-04-13 - 来自专栏新智元
ICCV 2019，华为诺亚提出无需数据网络压缩技术
目标是让生成图像在待压缩网络中的特征响应值更大，这里我们采用了 1 范数来优化，原因是 1 范数相比于 2 范数会产生更加稀疏的值，而神经网络的响应也常常是稀疏的。 表 2 CIFAR 数据集实验结果 我们又在 CelebA 数据集上进行了实验，同样取得了很好的结果。 ? 图 2 卷积核可视化 论文地址：https://arxiv.org/pdf/1904.01186 开源地址：https://github.com/huawei-noah/DAFL
1.2K20发布于 2019-09-10 - 来自专栏科技记者
大更新，QIIME 2 2023.5
抱歉，竟然比发布日期一个月才发现QIIME 2 2023.5 版本更新了！计划的下一个QIIME 2版本计划于2023年8月发布（QIIME 2023.8)。 有关如何在 QIIME 2 中执行此操作的更多文档可以在上面链接的开发文档中找到。 流程恢复 中途失败的 QIIME 2 流程现在可以从其故障点恢复，而无需从头开始重新启动。 Q2 类型 添加了ImmutableMetadata类型，该类型旨在将 QIIME 2 元数据存放在工件中。 在QIIME 2的未来版本中，我们将不再在Silva分类器中包含物种水平的信息。这在QIIME2论坛上讨论过（见物种标签：警告！ qiime2 修复了将parallel/parsl 配置中的值设置为 None 时的弃用警告。 q2-cutadapt 添加了demux-paired对混合方向读取的支持
59620编辑于 2023-08-26 - 来自专栏子母钟系统
京准NTP时间同步服务：大数据网络的核心枢纽
京准NTP时间同步服务：大数据网络的核心枢纽在智慧数据体系中，NTP 网络授时服务器如同大数据系统的 “指挥官”，通过统一时间基准、保障数据时序一致性，为整个系统的协同运行提供核心支撑。
20010编辑于 2025-10-09 - 来自专栏前端技术地图
2B or not 2B: 前端大泥球
今天给大家带来的是 2B 领域的一个架构难题，我们最终也没有找到一个较好「解决」方案， 或者说它本来就是一个伪命题。 让我慢慢跟你道来… 软件的划分模式 首先从软件系统的划分模式讲起。 多业态 在 2B 领域，让我们更棘手的是，还要面临多业态问题。 什么是多业态？ 如果说分层是 1D、 垂直划分是 2D、再加上多业态，就是 3D 了！ 这些行业多态会横向击穿垂直拆分后的模块壁垒，行业的多样性会渗透到程序的各个角落，开闭原则形同虚设。 不管是前端还是后端，这是都是一个非常大的挑战。 现状就是本文标题中讲的，多了一个维度之后，对开发而言是灾难性性，整个项目就是一个大泥球。 确立共建的范围和上下游的协作关系 即定义了一些团队之间的协作规范，比如： 上下游团队之间责任划分、共建的范围 沟通机制 发布更新的频率和形式 分支规范等等 宏观上：行业隔离/业务聚合 在宏观的层面上，定义了两大措施或建议
34020编辑于 2023-10-20 - 来自专栏python3
cocos2dx(3) ——大
setTexParameters(const ccTexParams& texParams); // ---- 3、新的渲染器 3.1、自动批处理 自动批处理功能意味着 渲染器将会把 多次绘制调用 打包为一次 大的绘制调用 总结: > 保持将所有的精灵放在一张大的 spritesheet 中。 V2F_C4B_T2F || ccV2F_C4F_T2F | V2F_C4F_T2F || ccV3F_C4B_T2F | V3F_C4B_T2F || ccV2F_C4B_T2F_Triangle | V2F_C4B_T2F_Triangle || ccV2F_C4B_T2F_Quad | V2F_C4B_T2F_Quad || ccV3F_C4B_T2F_Quad | V3F_C4B_T2F_Quad || ccV2F_C4F_T2F_Quad | V2F_C4F_T2F_Quad
97720发布于 2020-01-07 - 来自专栏大前端开发
《大前端开发》培训2周小结
在讲课的过程中，我觉得自己也得到了非常大的成长，比如当同学们遇到比较难理解的知识点，我会想方设法、不断的组织自己的语言、编制各种容易理解的例子，让自己能将它们解释清楚；以及在课程内容上，我会不断的去思考如何将前一天课和后一天课的内容更好的衔接起来
65320发布于 2018-08-21 - 来自专栏数据结构与算法
学大伟业 国庆Day2
设p1={2*(a[i]-a[1])|i>1}的最大公约数，设p2={2*(a[i]-a[j])}的最大公约数，易知p1>=p2（因为p1比p2约束宽松）。 而对于任意i,j由于p1同时是2*(a[i]-a[1])、2*(a[j]-a[1])的约束，那么p1也一定是任意2*(a[i]-a[1])-2*(a[j]-a[1])=2*(a[i]-a[j])的约数， sum[1]=x1+x2+x3+x4 sum[2]=x1x2+x1x3+x1x4+x2x3+x2x4+x3x4 sum[3]=x1x2x3+x1x2x4+x1x3x4+x2x3x4 sum[4]=x1x2x3x4 (x3+a)(x4+a) =x1x2x3+a(x1x2+x1x3+x2x3)+a^2(x1+x2+x3)+a^3 + x1x2x4+a(x1x2+x1x4+x2x4)+a^2(x1+x2+x4)+ a^3 + x1x3x4+a(x1x3+x1x4+x3x4)+a^2(x1+x3+x4)+a^3 + x2x3x4+a(x2x3+x2x4+x3x4)+a^2(x2+x3+x4)+a^3
1.1K40发布于 2018-04-11 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， p_bert_embeddings_layernorm_weight', 'p_bert_embeddings_layernorm_bias', #⚠️ BERT 模型包含了 nn.Embedding 层，而当前 PT2E 未出现截断情况（即分布区域超过量化上下限）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大， .4f} | ΔAcc: {delta:.4f}") results.append((name, acc, delta)) results.sort(key=lambda x: x[2] Sensitive Layers:") for r in results[:5]: print(f"{r[0]:40s} | Acc: {r[1]:.4f} | ΔAcc: {r[2]
68010编辑于 2025-06-27 - 来自专栏大模型成长之路
【大模型学习 | BLIP2原理】
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models 一、预训练方法这种预训练方法分为了两个阶段 （1）视觉语言特征表示学习阶段 （2）视觉到文本的生成学习阶段 1.1 Q-Former主要作用就是对齐两个不同模态的冻结预训练模型 Q-Former包含了两个 transformer子模块：（1）Image Transformer （特征提取） （2） Text transformer (作为文本编码器和解码器) ; 一组可学习的查询嵌入向量作为 Image 作者尝试了两种LLM冻结模型：(1) decoder-based LLMs : query 表征作为 LLM 的输入前缀（prefix） → LLM 自己完成文本生成(2) encoder-decoder-based
80100编辑于 2025-07-01 - 来自专栏IT大咖说
草裙舞No.2 | IT大咖撩段子
这一次，国庆佳节来临之际，小编再给大家送上草裙舞No.2~~希望听到这首歌，你能再次看到，海浪、美女、比基尼…… 01 iPhone XS/XS Max发布会之前，我的手机好卡啊，想着明天就换新手机了。 06 南韩第一大行动电信商SK Telecom，于15日宣布已选择三星、爱立信和诺基亚作为5G设备首选投标企业，华为则被踢走。
65030发布于 2018-10-23 - 来自专栏腾讯企点
趋势快报 | 智能客服：2大挑战与4大完善目标
除了巨头外，这个市场里面还有一大群创业企业。 01.智能客服为企业极大节约成本 客户群体数目大、咨询频次高、问题重复度高的话，引入高性能的智能客服机器人能极大地节省人工成本。 智能客服:2大的挑战与4大完善的目标 人工客服在今天被视为是“最没有技术含量”的一个工种，也是被视为是人工智能可能会全面颠覆和取代的一个职业。 但人工智能客服真正取代人力，目前还是不太现实。 当前智能客服4大完善的目标： 01.在技术层面，完善系统技术应用，让系统更智能 建立智能客服系统不单单只是IT建设的问题，如果还停留在用传统IT的思维模式去做机械化的分词、关键字搜索、匹配，这样的方式远远谈不上智能 原文标题《智能客服：2大挑战与4大完善目标》。我们尊重著作权所有人的合法权益，如涉及版权争议，请著作权人告知我方删除，谢谢。
3.1K20发布于 2020-06-10 - 来自专栏新智元
PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍
新智元报道 编辑：alan 【新智元导读】新的一年，PyTorch也迎来了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，计算性能翻倍。 新的版本集成了FlashAttention-2，使得scaled_dot_product_attention （SDPA）相较于之前的版本有了约2倍的性能提升。 FlashAttention-2 FlashAttention-2通过优化GPU上不同线程块和warps之间的工作分区，来解决占用率低或不必要的共享内存读写。 在FlashAttention-2的加持之下，torch.nn.functional.scaled_dot_product_attention的速度提升了大约2倍，在A100 GPU上达到了理论计算峰值的 参考资料： https://pytorch.org/blog/pytorch2-2/
73510编辑于 2024-02-06 - 来自专栏Python编程爱好者
PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍
新的版本集成了FlashAttention-2，使得scaled_dot_product_attention （SDPA）相较于之前的版本有了约2倍的性能提升。 FlashAttention-2 FlashAttention-2通过优化GPU上不同线程块和warps之间的工作分区，来解决占用率低或不必要的共享内存读写。 在FlashAttention-2的加持之下，torch.nn.functional.scaled_dot_product_attention的速度提升了大约2倍，在A100 GPU上达到了理论计算峰值的 如上图所示，当你的并行解决方案需要跨主机和每个主机内部进行通信时，可以创建一个2D网格，用于连接每个主机中的设备，并以同构设置将每个设备与其他主机上的对应设备连接起来。 参考资料： https://pytorch.org/blog/pytorch2-2/
89610编辑于 2024-02-04 - 来自专栏Python大数据分析
使用Python爬虫的2大原因和6大常用库
爬虫其实就是请求http、解析网页、存储数据的过程，并非高深的技术，但凡是编程语言都能做，连Excel VBA都可以实现爬虫，但Python爬虫的使用频率最高、场景最广。
55610编辑于 2025-04-13
腾讯云开发者
