- 综合排序
- 最热优先
- 最新优先
- 来自专栏阿年的数据梦
数仓日记 - 数据采集平台
说明 二、采集平台准备 1. 框架版本选型 2. 集群部署规划 3. 数据流程图 三、用户行为数据采集模块 1. 环境准备 2. JDK安装 3. logcollector-1.0-SNAPSHOT.jar logcollector-1.0-SNAPSHOT-jar-with-dependencies.jar 二、采集平台准备 1. 3）使用Sort程序评测MapReduce （1）使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数 hadoop jar /opt/module 此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。
3.2K20编辑于 2022-11-18 - 来自专栏繁依Fanyi 的专栏
【Python 千题 —— 基础篇】输出可以被5整除的数
题目描述 输出40以内可以被5整除的数，每一个数字间隔一个空格。 输入描述 无输入。 输出描述 输出40以内可以被5整除的数。 输出40以内可以被5整除的数 # 使用 for 循环遍历范围为0到40的数 for num in range(0, 41): # 判断是否能被5整除 if num % 5 == 0: 0到40的数： 使用 for 循环遍历范围为0到40的数。 if num % 5 == 0: 输出符合条件的数，以空格间隔： 如果当前数能被5整除，就输出该数，同时以空格间隔。 print(num, end=' ') 这样，程序会使用 for 循环遍历范围为0到40的数，并输出40以内可以被5整除的数，每一个数字之间用一个空格隔开。
66530编辑于 2023-11-21 - 来自专栏采云轩
自助取数平台探索与实践
一、概述 政采云自助取数平台历时一年左右的时间开发，从 0 到 1，基于取数流程长、取数成本高、取数效率低、数据安全不可控等痛点，经历数次大的版本迭代，目前平台功能已能覆盖内部员工日常取数的大部分场景。 本文将对自助取数平台的功能模块和系统设计做简略的介绍。 二、功能模块 平台主要包含自助取数、数据推送、资源管理、操作审计几个大的功能模块。 查询数据量限制 自助取数支持用户自助写 SQL 的方式取数，目前平台对用户导出数据量做了限制，前端限制只能查看 500 条数据，而导出数据限制了 100 万条数据。 四、展望 自助取数作为一个取数平台，取数是核心功能，但是除了核心功能以外的模块，在最初产品规划和系统架构设计的时候都做了可拓展考虑。 . 可视化 将自助取数任务抽象成一个数据集的概念，对接可视化搭建平台，不会写 SQL 的用户也可以通过拖拽的方式快捷搭建可视化看板，目前自助取数接入可视化搭建已步入正轨。
1.1K10编辑于 2024-01-11 C语言之考勤模拟系统平台（千行代码）
以下是考勤模拟系统的完整代码实现： #include<stdio.h> #include<stdlib.h> #include<string.h> #include<time.h> // 定义最大用户数、最大组数和最大打卡记录数
37910编辑于 2025-01-24- 来自专栏AntDB数据库
亚信科技亮相南京软博会，数智赋能百行千业
数智技术 全栈赋能政企转型围绕“数智驱动 融合创新”主题，亚信科技从“技术赋能”、“行业赋能”、“信息技术应用创新”三大维度，全方位展示“数智化全栈能力”。技术创新，筑牢产业发展之基。 全栈赋能，推动行业数智转型。“行业赋能”展区，重点展示了数智交通、数智能源、数智金融产品、方案与实践。 亚信科技认为，交通行业正从建设“交通设施一张网”向推进“客户运营服务一张网”演进，亚信科技依托自身数智交通平台体系、客户运营平台体系，推出“管建优维”综合交通解决方案，支撑交管部门推进数智化运营管理。 在能源领域，亚信科技“综合能源智慧管控平台”综合运用物联网、云计算等技术，依据不同能源特性进行多种能源的协调互补利用，帮助园区、厂区、医院、楼宇等用能单位实现“双碳”目标。 携手百行千业政企客户打造出更多数智化转型典范。
94310编辑于 2022-11-30 - 来自专栏呆呆敲代码的小Y 公众号
【算法千题案例】⚡️每日LeetCode打卡⚡️——54.第三大的数
第三大的数 给你一个非空数组，返回此数组中 第三大的数 。如果不存在，则返回数组中最大的数。 示例: 输入：[3, 2, 1] 输出：1 解释：第三大的数是 1 。 示例 2： 输入：[1, 2] 输出：2 解释：第三大的数不存在, 所以返回最大的数 2 。 示例3 输入：[2, 2, 3, 1] 输出：1 解释：注意，要求返回第三大的数，是指在所有不同数字中排第三大的数。 此例中存在两个值为 2 的数，它们都排第二。 具体做法是每遍历一个数，就将其插入有序集合，若有序集合的大小超过 333，就删除集合中的最小元素。 具体做法是每遍历一个数，就将其插入有序集合，若有序集合的大小超过 333，就删除集合中的最小元素。
37710发布于 2021-10-15 〔从零搭建〕数仓建模平台部署指南
文章内容主要为以下四部分:一、在线演示环境二、功能简介三、源码编译部署安装四、访问数仓建模平台页面AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/ 1、数仓建模平台基于开源项目kylin建设 AllData数据中台商业版集成Kylin后，提供超大规模数据的实时分析与数仓建模能力。 Kylin项目地址：https://kylin.apache.org/zh-Hans/docs/overview 2、数仓建模平台功能特点 Apache Kylin的Web界面菜单功能丰富，以下列举了七点核心功能及其描述 3、数仓建模平台-新建项目支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。4、历史记录 自动记录操作历史，支持按时间、类型筛选查看，便于追溯修改轨迹与审计复盘。 10、批处理 AllData数仓建模平台依托Kylin，支持大规模批处理，可高效处理海量数据，实现批量分析与计算任务。11、流式任务 支持实时流式任务处理，可高效捕获、分析动态数据流并即时响应。
21920编辑于 2025-11-25- 来自专栏得物技术
海纳“千川”：得物多场景统一推荐平台
因此，我们需要这样一个通用推荐平台，来承接住这些小场景，并能够持续优化，带来收益。“化零为整”、“兼容并包”、“统一平台”，这就是千川。 图片 2 千川需要解决的难题 结合各类需求及定位，千川作为统一推荐系统，面临不少难题，至少需具备五种能力。 图片 图片 3 工程和算法解决方案 应对上述困难，千川提出统一推荐框架。 图片 千川推荐框架总体分五层 APP服务层：对接各个长尾场景，目前接入了包括主题、频道、会场、购中购后独立流、出图等场景 千川接入层：目前提供两种接入方式，一种是通过商品投放服务接入，一种是注册千川直连 千川依据接入场景的差异建立千川ID体系，会为每个接入的场景提供特定的千川ID（或者千川ID集合）。 - 基建层：依托包括机器学习平台、索引平台、特征服务、流控平台等在内的强大能力支持，方可打造出整套千川推荐框架。
97820编辑于 2023-06-14 - 来自专栏性能与架构
Meteor平台下网站开发只需数小时？
前阶段看到一篇文章，说以往花费数周时间才能完成的网站，现在使用 Meteor 只需要几小时 很好奇Meteor是个什么技术？怎么大幅提高开发效率的？ Meteor 是一个基于 nodejs 的全栈实时开发平台，目前只支持 Mac、Linux，Meteor还引入了 Cordova，支持快速封装 IOS、Android 移动应用 全栈 基础构架是 Node.JS （1）Meteor是一个开发平台，而不是一个框架 例如你要使用LAMP开发一个网站，首先需要在服务器上搭建apache\php\mysql的环境，然后选择一个php开发框架进行安装，配置好数据库连接信息
2.1K40发布于 2018-04-02 - 来自专栏泛互云原生
数据开发治理平台Wedata之数仓建设实践
1 背景介绍 1.1 概述 本案例基于腾讯云一站式开发治理平台Wedata、私有网络VPC、云数据库Mysql和弹性Mapreduce构建了全流程的离线数仓建设流程。 进行数据清洗，分层规划如下： ODS：原始数据层，数据采集，同步，统一结构化； DWD：数据明细层，数据预处理，格式化； DWB：数据中间层，指标汇总，公共指标加工； ADS：数据服务层，主要存储个性化指标； 数仓架构图 rid=8 2.2 基础平台创建 使用EMR作为基础平台，提供算力和存储。Wedata也同时支持CDW-PG、DLC作为基础平台。选择弹性Mapreduce服务，参考如下规格，进行EMR集群的创建。 3.2 数仓分层任务编排 本demo采用先编排后开发的敏捷开发模式，实际使用中，也可以使用先开发后编排的模式。 基于Wedata数据开发治理平台的开发，让数据工程师、运维、数据架构师和业务人员，能够在一个平台上闭环，独立完成各种的工作，极大的提高了数据开发和任务运维的效率。
3.4K51编辑于 2022-05-09 - 来自专栏腾讯云区块链
加速数实融合，腾讯云数链通数据共享隐私计算平台荣获杰出案例
近日，在2022中国产业区块链大会上，腾讯云数链通数据共享隐私计算平台获得“2022产业区块链杰出案例”。 据悉，腾讯云数链通数据共享与隐私计算平台是依托区块链、隐私计算等技术打造的数据安全可信共享的基础设施，助力积极推动数据要素可信共享融合。 腾讯云区块链总经理李力表示，腾讯云希望通过区块链技术为数字经济搭建一个全真互联的平台，助力产业协同发展，从而加速数实融合，推动数字经济进入到全真互联的时代。 在腾讯云数链通数据共享隐私计算平台中，区块链具备分布式协同，可信任，可追溯的特性，隐私计算实现数据处于加密状态状态下的计算，保障数据不出域，可用不可见。 END 推荐阅读 腾讯云数链通：让“原始数据不出域、数据可用不可见”成为现实
1.3K20编辑于 2022-07-19 - 来自专栏老张的求知思考世界
2个月内如何在千人团队落地压测平台？
正好我也有过类似的实践，临时写了这篇文章，如标题所述：3个人，如何在2个月内在千人团队推广并落地压测平台。 项目背景 大概是21年底，我刚入职某互联网企业的基础架构团队，负责质量保障方面的工作。 当时面临的其他的问题还有： 没有PRD，没有一行代码，甚至技术方案调研都没来得及做； 2个研发同学在北京，我base上海，业务线同学甚至在海外，协作和沟通成本巨大； 有过项目开发经验的同学都知道，3个人，2个月，完成一个千人级别的平台开发 ，便于排列需求优先级）； 对平台的功能诉求（用户想要什么功能，背后的出发点是什么，平台能否提供很好的解决方案）； 是否愿意参与项目的试用（这点对项目的前期落地和运营推广很重要，有种子用户，有意愿帮助推广项目 ，但限于资源不足的现状，我在项目规划中将项目分为了2个阶段： V1.0-压测平台：提供基础和通用的压测能力，比如项目管理，任务管理和调度，脚本和数据管理，数据切割和文件自动下发，压测过程可视化，并发数动态可配置 ，技术案例分享很有必要，这样可以拉近和用户的距离，听到更真实的一线用户的使用反馈； 关于文档建设，我当时主要做了这几项工作： 提供平台使用说明手册和发布日志文档（树状鱼骨线），让用户直观感受到平台功能在不断丰富
38730编辑于 2023-03-13 - 来自专栏代码洁癖患者
Rust入坑指南：千人千构
前面我们聊过了Rust最基本的几种数据类型。不知道你还记不记得，如果不记得可以先复习一下。上一个坑挖好以后，有同学私信我说坑太深了，下来的时候差点崴了脚。我只能对他说抱歉，下次还有可能更深。不过这篇文章不会那么深了，本文我将带大家探索Structs和Enums这两个坑，没错，是双坑。是不是很惊喜？好了，言归正传。我们先来介绍Structs。
86930发布于 2020-03-11 - 来自专栏鹅厂网事
金城千里，稳如磐石——云网络高可靠路由平台实现
为了解决上述问题，腾讯云网络在接入时使用了FCR（Fast Cloud Router）作为自己的路由控制平台。 FCR自研路由平台不仅支持BGP、静态路由、BFD等各类路由相关协议，同时还可以提供丰富的路由策略以及百万级的路由管理功能。 要解决上述问题，FCR作为一款自研路由控制平台，自然应该要具备数通设备的NSR功能。 NSR技术 NSR（Non-stop-routing）不间断路由，是数通设备高可靠性的一种解决方案。 传统设备厂商为了解决上述NSR问题，在自己的通用数通平台上都设计了复杂的处理逻辑，主要包括： 增加单独组件进行主备间心跳检测来决策是否进行NSR切换； 实现统一的HA通道解决备份数据的性能和时序问题； FCR在最初设计和开发的过程中就不断跟踪业界最新技术，并逐步将相关功能融入到平台中，已经发展为云网络场景中必不可少的重要组件。
2K20发布于 2020-11-26 - 来自专栏Sign
月千之夜
月千之夜的名字是当时结合这个游戏的设定起的，不过很大一部分原因也是因为当时一直在循环《月千一夜》这首歌。 这个游戏的主线是时空跳跃，关键词就是“跃迁”，正好和“月千”同音。
895110发布于 2018-04-18 - 来自专栏悟道
数据结构 纯千干千干货 总结!
int main(int argc, char *argv[]) { Node* circle_list = NULL; while (1) { printf("请输入拉丁方阵的阶数( 第i层二叉树 有 2^(i-1) 个节点 2 深度为k的二叉树至多有 2^k – 1 个(总数)结点(k>=1) 3 叶子树(终端节点)为n0 度为2的节点树为 n0 => n2+1 4 连接数( int v); //广度优先遍历 void CreateDG(ALGraph *G) { int i, k, j, v1, v2; ArcNode *p; printf("输入图的顶点数和弧数: 当是2节点时 则按照中序遍历 找此节点前面或者后面的数顶底 ? 当是3 节点的时候 将3节点的左孩子提升上去 ? 2-3-4理论上跟2-3树是一样的 19散列表 什么是哈希表？ 哈希表运算得非常快，在计算机程序中，如果需要在一秒种内查找上千条记录通常使用哈希表（例如拼写检查器)哈希表的速度明显比树快，树的操作通常需要O(N)的时间级。哈希表不仅速度快，编程实现也相对容易。
2.3K10发布于 2021-01-26 - 来自专栏Spark学习技巧
数仓服务平台在唯品会的建设实践
作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。 电商平台唯品会的数据服务自 2019 年开始建设，在公司内经历了从无到有落地，再到为超过 30+业务方提供To B、To C 的数据服务的过程。 01 背景介绍 在统一数仓数据服务之前，数仓提供的访问接入方式往往存在效率问题低、数据指标难统一等问题，具体而言有以下几个比较突出的情况： 广告人群 USP、DMP 系统每天需要通过 HiveServer 以流的方式从数仓导出数据到本地，每个人群的数据量从几十万到几个亿，人群数量 2w+，每个人群运行时间在 30min +，部分大人群的运行直接超过 1h，在资源紧张的情况下，人群延迟情况严重。 通过唯一的 ID 标识，数据产品可通过 ID 查阅数据，而非直接访问对应的数仓表。一方面，指标服务统一了指标的口径，同时也支持快速构建新的数据产品。
1.3K10编辑于 2022-01-13 - 来自专栏数据科学和人工智能
爱数科平台升级 | 数据集模块新功能介绍
爱数科（iDataScience）平台是一款数据科学科研和教学一体化平台，集成数十行业数千数据集、科研案例模板。帮助科研人员快速使用大数据和人工智能技术开展研究。支持高校开展大数据通识课程教学。 使用拖拽式工具在线运行本案例请登录www.idatascience.cn 近日，爱数科平台迎来首次全面升级。整体从性能方面进行了优化，同时还实现了数据集模块的功能迭代。 页面美化 本次平台优化，重新调整页面排版，旨在提供更人性化的服务，对接用户浏览习惯，提升阅读舒适性。 1. 卡片页美化 平台升级后，卡片页重新排版调整，包括标签、字段等细节更优化。 · 更多信息展示 在数据诊断页面，平台优化后，会将初始值、缺失值等信息直接展示出来。 · 重新诊断 平台还新增重新诊断按键，操作更简便，满足用户快速重新诊断数据的需求。 爱数科（iDataScience）旨在提供更智慧更便利的数据科学科研和教学一体化平台，带来更良好舒适的用户体验，如果您有好的建议，欢迎留言告知。
2.2K10编辑于 2023-01-30 - 来自专栏ToB行业头条
平台竞争的盲区：数科公司的真正需求
十四五规划明确指出，支持有条件的中大型企业打造一体化数字平台，央国企自建数科公司进展迅速：今年4月，国务院国资委科技创新局负责人王晓亮表示，截止目前，中央企业已成立了近500家数字科技类公司。 本文试图探究，大型央国企基于“数科公司”为抓手的数字化落地，面临哪些关键挑战？“数科公司”的想法和需求在变，厂商是否在顺应了此变化且抓住了“真正需求”？ 应对上千人团队的数字化需求，该CIO给出了第一条“节流法则”：选用低代码“程度适中”的平台。 借助致远互联协同运营平台，数科公司逐个攻破数据驾驶舱、集中采购平台、健康安全环保管理等核心平台的“数据墙”，实现组织、业务、数据、管控、协作统一。 现如今，该数科公司已然能够“授人以渔”，即利用致远平台去搭建化工行业应用，从而到该行业复制销售实现“开源”：在工业互联网领域，数科公司已然生长出该领域的低代码平台、APP，并给出“工业互联网+危化安全生产
49720编辑于 2023-09-25 - 来自专栏腾讯云TI平台
腾讯云数智人亮相中国国际人工智能领袖峰会，数智人正服务于千行百业
峰会上，腾讯云智能数智人产品总经理陈磊带来主题演讲，为大家分享了腾讯云智能数智人产品平台，以及在助力行业过程中的落地实践。 面向数智人应用，腾讯云智能致力于提供的一站式解决方案，腾讯云智能数智人平台支持形象资产管理、业务服务配置及内容生产相关服务。 根据业务场景的差异，提供了交互数智人平台及播报数智人平台，客户可根据实际需要选择不同的平台模块。 数智人平台可以提供3D写实、3D半写实、3D卡通、2D真人、2D卡通五种风格的数智人，拥有超细微面部情感表情以及数百种肢体动作，且拥有腾讯海量IP形象授权，可定制形象，可以满足不同场景下的服务需求。 播报数智人平台支持多种播报语言，可通过文本驱动，快速生成内容播报，同时可对形象、动作、音色、服饰、姿态等进行编辑，提升内容生产效率，适用于新闻播报、应急服务等场景；交互数智人平台支持自动化客户服务，可与用户对话
1.2K20编辑于 2022-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号