大数据关键技术 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

大数据的五大关键技术

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。...一、大数据接入 1、大数据接入已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 Kafka、ActiveMQ、ZeroMQ、Flume...、Sqoop、Socket(Mina、Netty)、ftp/sftp 二、大数据存储 1、大数据存储结构化数据存储、半结构化数据存储、非结构化数据存储 2、大数据存储技术 Hdfs、Hbase、Hive...、MLlib 四、大数据共享交换 1、大数据共享交换数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出 2、大数据共享交换技术 Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket...矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示； 2、大数据展现技术 Echarts、Tableau 国家规划大数据产业发展战略，各行各业需要大数据技术支撑指数级的数据增量服务，越来越多的企业逐渐转型于大数据

1.9K10 0

【技术】大数据关键技术

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 ?...一、大数据采集技术数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本...重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。...开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。...在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。

2.1K4 0

您找到你想要的搜索结果了吗？

是的

没有找到

大数据关键技术分析

构建于HDFS的Hbase是天然的分布式数据库;MapReduce提供了云计算框架，它的数据来源也是分布式的，可以是HDFS，也可以是Hbase。...HBase是分布式数据产品，多台设备共同提供类似数据库的服务，但是这种服务是分布式，由多台设备来提供的，用户也完全感觉不到设备的存在，只知道有一个数据库给他们服务。这个也就是大数据库的基础。...Pig、Hive等是数据分析的引擎，提供快速的数据分析接口和能力。 Hadoop主要有以下几个优点：一是高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。二是高扩展性。...Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。四是高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。五是低成本。...与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。【转自51CTO】

8846 0

企鹅电竞直播关键技术大揭秘

16年壮观的直播百团大战相信大家历历在目，至19年初所剩无几的直播寡头，来去如风的直播战场，离不开背后强大的直播技术支撑，本文通过直播基础技术介绍、剖析企鹅电竞直播构架、关键技术、常见问题排查、带领大家了解直播技术细节...（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）B帧是双向差别帧。B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况）。...---------------------------------华丽的分割线--------------------------------- 企鹅电竞直播架构和关键技术一、直播整体架 ?...解析二进制数据，从中找到相关流信息； S3. 根据不同的封装格式（如FLV、TS）解复用（demux）； S4. 分别得到已编码的H.264视频数据和AAC音频数据； S5....最后把同步的音频数据送到耳机或外放，视频数据送到屏幕上显示。

6.4K3 0

LLM 大语言模型定义以及关键技术术语认知

写在前面博文内容涉及通过通俗的易懂的方式理解认知大语言模型定义，关键技术术语理解不足小伙伴帮忙指正 :),生活加油我看远山，远山悲悯大语言模型定义 LLM（Large Language Models...关键技术术语 Transformer架构 1. 核心创新：自注意力机制突破序列建模瓶颈传统 RNN 的缺陷：类似快递站分拣员逐个处理包裹（单词），RNN 必须按顺序处理序列。...大模型在这些任务中突然“开窍”，小模型却像学渣一样蒙圈。 MMLU（57学科测试）：考法律、历史、数学等学科知识。大模型像突然变成“百科全书”，而小模型连基础题都答不对。...但无论如何，大模型表现出的“类人智能”确实让研究者惊喜，也推动着技术发展。简而言之，涌现能力=大数据+大模型+意外惊喜，就像给AI喂了“知识酵母”，让它发酵出超乎预料的本领。...而在AI领域，幻觉表现为模型生成与事实不符的内容，例如虚构事件、错误数据或逻辑矛盾。成因与影响数据局限性：训练数据覆盖不足或存在噪声，导致模型“脑补”信息。

1.4K0 0

大数据治理关键技术解析

在企业数据建设过程中，大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量，到自服务和智能化的数据应用，大数据治理的内容在不断地发展和完善，其落地实施的过程中会遇到各种各样的难题和挑战。...本篇文章通过分析大数据治理建设中的沟沟坎坎，总结出了大数据治理需要具备的能力和关键技术。...管理范围窄要做数据治理首先要知道有哪些数据，传统的数据治理往往只管理了数据领域，很少关注业务、管理和开发相关的数据资产，数据管理范围比较窄，而且，受限于技术实现，即使在数据领域的数据资产也很难做到精确管理...另外，针对大数据量的数据质量检查，即要保证实时性，也要保证不影响业务系统的正常运行，因此在对特别大的数据量进行检查时，要采用抽样检查的方式。 ?...在多产品数据治理阶段，我们以提升数据质量为目标，完善和实现了数据标准管理和数据质量管理，实现了数据管理到数据治理能力的提升；在数据融合的自助数据服务阶段，除了基于元数据实现数据的快速查找定位，通过数据治理保证数据的高质量外

5.6K5 1

大模型训练中的关键技术与挑战：数据采集、微调与资源优化

大模型训练中的关键技术与挑战：数据采集、微调与资源优化一、引言如今全球已全面进入大模型时代。你是否也好奇，为什么不同的大模型表现差异如此之大？...3.1 大模型训练的核心流程大模型训练一般分四步：准备数据、初始化模型、反复训练、保存验证，一步错可能整个训练就白费了，一步步说：图片数据准备阶段：要做四件事：采集数据、清洗数据、划分数据、加载数据。...（4-6句话，包含具体数据）## 3. 科学协作- 哪些机构/望远镜参与追踪？（至少列举3个）- 使用了哪些关键技术手段？- 如何实现全球协作？（4-6句话）## 4....（4-6句话，包含具体数据）## 3. 科学协作- 哪些机构/望远镜参与追踪？（至少列举3个）- 使用了哪些关键技术手段？- 如何实现全球协作？（4-6句话）## 4. 关键结论- 小行星的实际大小？...（4-6句话，包含具体数据）## 3. 科学协作- 哪些机构/望远镜参与追踪？（至少列举3个）- 使用了哪些关键技术手段？- 如何实现全球协作？（4-6句话）## 4. 关键结论- 小行星的实际大小？

8482 1

AI大模型本地化部署的关键技术

AI大模型本地化部署，核心在于如何在资源受限的本地环境中高效运行庞大的模型。以下是关键技术。1....本地模型管理工具： Ollama，LM Studio等工具，可以帮助用户更方便的在本地管理和使用大模型。6. 安全性：模型加密：对模型进行加密，防止被非法获取和篡改。...通过这些关键技术的综合应用，可以有效地实现AI大模型的本地化部署，满足不同应用场景的需求。

6791 0

人工智能八大关键技术简析

人工智能是一个非常宽泛的概念，简单来说就是对人类思维的机器模拟，利用机器学习和数据分析方法赋予机器类人的能力。...今天我们就来一起了解下人工智能的八大关键技术计算机视觉技术计算机视觉，简称 CV（Computer Vision），是一门研究如何使计算机更好的“看”世界的科学。...各大厂也纷纷入局，并都取得了相当不错的成绩跨媒体分析推理技术以前的媒体信息处理模型往往是针对单一的媒体数据进行处理分析，比如图像识别、语音识别，文本识别等等，但是现在越来越多的任务需要跨媒体类别分析...在2020年之后，智适应学习技术得到了快速发展，背后的推动里有强大的计算能力和海量的数据，更重要的还有贝叶斯网络算法的应用。...脑机接口在各行业中的应用好了，以上就是今天介绍的人工智能八大关键技术参考资料：中科院人工智能发展白皮书

8.1K1 0

python爬取数据的关键技术

大数据时代，数据越来越具有价值了，没有数据寸步难行，有了数据好好利用，可以在诸多领域干很多事。...从互联网上爬来自己想要的数据，是数据的一个重要来源，所以，爬虫工程师现在是一个非常吃香的职位，这个职业能带来稳定的、高效的和实时的数据。爬虫可以很快的入门，但要做的真正大神，还必须不断实践。...因为，一旦真正爬数据的时候就会出现各种问题，因为爬虫本质是一种对抗性的工作，你需要和反爬人员斗智斗勇。不过，这个过程会充满无穷的乐趣，还会把你锤炼成真正的爬虫高手。...1、模拟登陆，要爬取知乎这样需要登录的网站数据，模拟登录是必不可少的一步，而且往往是难点。...2、数据的获取和解析，获取数据原本很简单，但是很多网站做了反爬措施所以就加大了获取的难度，像知乎对IP的限制就很严，这样的情况下我们要获取数据就需要加上代理IP。

7422 0

大模型应用：混合专家模型（MoE）：大模型性能提升的关键技术拆解.37

总的来说，MoE就像一个智能专家会诊团队，用“分工协作+按需激活”的方式，解决了传统大模型越大越慢、越贵的痛点，是当前通用大模型的非常核心架构之一。二、基础概念1....MoE的3大核心组件一个完整的MoE模型，就像一个高效的团队，必须有3个核心角色，它们的关系和协作方式可以通过下面的流程图直观理解：流程说明：门控网络：接收输入数据，提取特征，并为每个专家计算适配分数专家筛选...：根据分数选择Top-K个（通常K=2）最合适的专家激活并行处理：被激活的专家同时处理输入数据结果整合：将各专家的输出按适配分数进行加权求和最终输出：生成模型的最终结果总结来说：输入数据先进入...四、MoE对大模型的意义MoE 不是一个锦上添花的技术，而是推动大模型走向实用化的关键突破，核心作用可以总结为 3 点：1....降低大模型的部署门槛大模型的落地最大的障碍之一是部署成本太高，传统千亿参数模型需要昂贵的 GPU 集群才能运行。

2.3K4 3

区块链比特币三大关键技术点讲解

二、非对称加密、点对点技术、哈希现金比特币的三项关键技术。真正比特币的加密理论基础主要来源于以下几项密码学的技术创新，而这其中非对称加密、点对点技术、哈希现金是比特币的三项关键技术。...通过这两项技术，可以建立分布式交易账簿，并以呼叫问答机制向全网广播，网络节点不停地检查接收的数据，避免数据被篡改。

2K0 0

YashanDB：推动数据驱动业务的关键技术

随着数字化转型不断深入，企业对数据库系统的性能、一致性和可扩展性需求日益增长。传统数据库技术在处理大规模数据并发访问、保证数据一致性以及应对复杂业务场景时，面临一定的技术挑战。...本文将深入解析YashanDB的核心技术架构与关键组件，帮助开发人员和数据库管理员理解其技术价值，并在实际业务中实现高效的数据驱动。...分布式部署采用Shared-Nothing架构，引入元数据节点管理、协调节点管理与数据节点管理，实现良好的线性扩展性和复杂数据分析能力。...触发器机制实现基于事件自动执行逻辑，保证数据合法性和业务规则实现。自定义类型支持与面向对象编程模型的集成，赋予数据库更高的表达能力。定时任务功能则为周期性数据管理和维护任务提供自动化执行平台。...利用YashanDB的向量化计算和MPP分布式执行能力，提升大数据量的查询和分析性能。合理应用分区技术，实现热点数据与历史数据分离，简化数据管理并加快查询响应。

2251 0

荐读|电信大数据关键技术挑战

电信大数据来源于运营商通信网络平台的BSS和OSS，沉淀了海量用户7个维度的信息：1维用户真实ID、1维行为数据、1维社交数据、1维时间数据和3维空间数据。运营商构建电信大数据分析平台。...电信大数据来源于运营商通信网络平台的BSS和OSS，沉淀了海量用户7个维度的信息：1维用户真实ID、1维行为数据、1维社交数据、1维时间数据和3维空间数据。...运营商构建电信大数据分析平台，通过对7维用户数据建模，可以实现3个数据业务方向的升级：用户洞察、网络洞察和数据开放。着重探讨电信大数据分析平台遇到的9个关键技术挑战和可能的技术突破方向。...尽管数据来源不同，但所有数据可抽象为六大通用数据类型，分别是时空数据、图数据、表数据、流数据、多媒体数据和文本数据。建模算法可以面向这六大类通用数据类型进行设计和部署。 ?...图 3 7 维度用户数据建模和 7W 洞察大数据时代，建模思维逐渐从研究各种映射算法到研究数据本身，如从丰富的数据中抽取更加合理的特征表示、从数据中根据业务规则自动定义标签和训练数据以及利用用户营销反馈数据

1.5K7 0

YashanDB数据库提升数据访问速度的关键技术

本文聚焦YashanDB数据库，通过分析其系统架构与技术特点，深入探讨其提升数据访问速度的关键技术方案，从存储结构、SQL执行优化、并行计算到高可用架构，系统总结YashanDB在行业内提供的技术优势。...表空间隔离保证数据块的结构清晰和高速定位。高效缓存体系包括：数据缓存采用多级LRU算法管理，区分行式和列式数据缓存，针对不同访问模式优化缓存命中率，降低磁盘访问频次。...关键技术包括：统计信息的精细采集与动态调整涵盖表、列和索引基数、数据分布和直方图，支持采样统计、多线程和并行统计，确保优化器输入的准确性。...事务管理采用原子性、持久性、隔离性和一致性（ACID）四大属性设计，结合合理的锁粒度和多版本读，实现高性能事务执行。...随着数据规模的持续增长和应用多样化，YashanDB优化技术将持续演进，成为企业数据库系统的核心竞争力。未来，持续关注存储压缩技术、自动化调优算法及多模数据处理，将进一步推动数据库访问效率的提升。

4171 0

物联网关键技术：时序数据库

物联网数据特点数据写入物联网系统的数据写入具有平稳、持续、高并发高吞吐的特点；通常写多读少，实时写入传感器最近生成的数据，几乎没有数据更新的操作。...数据存储物联网系统数据存储量大；数据冷热分明，不同时效的数据查询需求不同；数据存储也要实现多种精度的数据存储，通常是按照时间维度统计。...时序数据库物联网数据有个特点，那就是每条数据都会带一个时间戳，代表数据被采集的时间，所以物联网系统的数据是时间序列数据。...RRD存储数据的文件好似一个圆 RRDTool数据库由一个固定大小的数据文件来存放数据，此数据库不会像传统数据库一样为随着数据的增多而文件的大小也在增加，RRDTool在创建好后其文件大小就固定了。...基于关系型数据库：MySQL，PostgreSQL 等关系数据库也可以保存时间序列数据。时序数据是基于时间的数据。

2.3K2 1

大数据最核心的关键技术：32个算法

3、二分查找（Binary Search）——在线性数组中找特定值的算法，每个步骤去掉一半不符合要求的数据。...6、数据压缩——采取特定编码方案，使用更少的字节数（或是其他信息承载单元）对信息编码的过程，又叫来源编码。...该算法应用范围很广，从数字信号处理到解决偏微分方程，到快速计算大整数乘积。 14、梯度下降（Gradient descent）——一种数学上的最优化算法。 15、哈希算法（Hashing）。...该算法根据一系列观察得到的数据，数据中包含异常值，估算一个数学模型的参数值。其基本假设是：数据包含非异化值，也就是能够通过某些模型参数解释的值，异化值就是那些不符合模型的数据点。...不相交集（disjoint-set）的数据结构可以跟踪这样的切分方法。合并查找算法可以在此种数据结构上完成两个有用的操作：查找：判断某特定元素属于哪个组。合并：联合或合并两个组为一个组。

2.1K9 0

打造敏捷企业数据平台：YashanDB数据库的关键技术

在现代企业数据平台建设中，如何高效管理和处理海量数据、保障数据的一致性与高可用性，并实现业务需求的快速响应，是数据库技术亟待解决的核心问题。...本文将深入解析YashanDB数据库的关键技术，阐述其体系架构、存储引擎、事务管理及高可用设计等核心能力，帮助技术人员理解并实践构建高性能、高可靠的企业数据平台。...协调节点负责接收和分发SQL执行计划，数据节点负责数据持久化和SQL执行，元数据节点管理集群元数据和分布式事务。...数据加密提供表空间和表层的透明数据加密（TDE）、备份集加密及网络传输加密，防止数据泄露，确保数据传输和存储安全。...内置IP黑白名单等访问控制策略，强化数据库防护能力。关键技术实践建议根据业务需求合理选择部署形态，单机适用小型或轻量任务，分布式支持扩展性强的海量数据场景，共享集群适应多实例高并发的关键应用。

3511 0

大模型训练与微调关键技术-医学问答机器人

理解训练过程中的 Zero 等参数设置、数据准备（ChatGPT 训练数据生成流程）。...为了能够在比较普通的机器上也能微调大模型，我们首先需要分析一下模型训练过程中都有哪些部分需要消耗存储空间。...类比一下，既然是因为显存不足导致一张卡训练不了大模型，那么ZeRO-Offload的想法就是：显存不足，内存来补。..., "instances": [{"input": "费城是美国前十大最安全城市之一。"...基于大模型的内在低秩特性，增加旁路矩阵来模拟全模型参数微调，LoRA通过简单有效的方案来达成轻量微调的目的，可以将现在的各种大模型通过轻量微调变成各个不同领域的专业模型。

7002 1

大模型训练与微调关键技术-医学问答机器人

理解训练过程中的 Zero 等参数设置、数据准备（ChatGPT 训练数据生成流程）。...为了能够在比较普通的机器上也能微调大模型，我们首先需要分析一下模型训练过程中都有哪些部分需要消耗存储空间。...类比一下，既然是因为显存不足导致一张卡训练不了大模型，那么ZeRO-Offload的想法就是：显存不足，内存来补。..., "instances": [{"input": "费城是美国前十大最安全城市之一。"...基于大模型的内在低秩特性，增加旁路矩阵来模拟全模型参数微调，LoRA通过简单有效的方案来达成轻量微调的目的，可以将现在的各种大模型通过轻量微调变成各个不同领域的专业模型。

7923 2

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭