腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
返回腾讯云官网
大数据-BigData
大数据系列文章，涵盖离线数仓、实时数仓等文章
专栏成员
举报
348
文章
533297
阅读量
37
订阅数
订阅专栏
申请加入专栏
全部文章（348）
大数据（107）
sql（74）
flink（72）
数据库（57）
https（44）
编程算法（39）
hive（38）
java（34）
apache（34）
存储（31）
kafka（31）
网络安全（30）
spark（26）
linux（25）
云数据库 SQL Server（24）
文件存储（23）
node.js（21）
hadoop（20）
html（18）
人工智能（16）
容器（16）
开源（15）
数据湖（14）
缓存（13）
打包（12）
kubernetes（12）
数据分析（12）
xml（10）
git（10）
api（10）
github（9）
jar（9）
深度学习（9）
http（9）
分布式（9）
jdbc（9）
tcp/ip（9）
windows（9）
python（8）
腾讯云开发者社区（8）
数据集成（8）
javascript（7）
json（7）
unix（7）
神经网络（7）
腾讯云测试服务（7）
yarn（7）
zookeeper（7）
hbase（7）
实时数仓（7）
数据（7）
协议（7）
bash（6）
ide（6）
容器镜像服务（6）
TDSQL MySQL 版（6）
jvm（6）
配置（6）
机器学习（5）
c++（5）
android（5）
ubuntu（5）
网站（5）
数据安全（5）
rpc（5）
uml（5）
安全（5）
数据处理（5）
数据结构（5）
微服务（5）
云计算（5）
部署（5）
进程（5）
实践（5）
NLP 服务（4）
php（4）
scala（4）
maven（4）
bash 指令（4）
spring（4）
kerberos（4）
服务（4）
对象存储（3）
mongodb（3）
日志数据（3）
数据迁移（3）
集群（3）
模型（3）
css（2）
硬件开发（2）
oracle（2）
access（2）
centos（2）
mapreduce（2）
日志服务（2）
消息队列 CMQ 版（2）
自动化（2）
shell（2）
gradle（2）
数据可视化（2）
sdk（2）
迁移（2）
实时数据集成（2）
Elasticsearch Service（2）
隐私计算（2）
gateway（2）
proxy（2）
resources（2）
监控（2）
客户端（2）
框架（2）
内存（2）
权限（2）
系统（2）
优化（2）
云原生（2）
负载均衡（1）
ios（1）
go（1）
actionscript（1）
bootstrap（1）
react（1）
arm（1）
sqlite（1）
nosql（1）
云数据库 Redis®（1）
postgresql（1）
django（1）
搜索引擎（1）
全文检索（1）
nginx（1）
专用宿主机（1）
批量计算（1）
访问管理（1）
命令行工具（1）
云数据库 MongoDB（1）
海外加速（1）
消息队列 CKafka 版（1）
SSL 证书（1）
图像处理（1）
DevOps 解决方案（1）
电商（1）
渲染（1）
vr 视频解决方案（1）
serverless（1）
运维（1）
html5（1）
jdk（1）
强化学习（1）
yum（1）
dns（1）
hashmap（1）
grep（1）
kotlin（1）
单元测试（1）
markdown（1）
jenkins（1）
模式识别（1）
socket编程（1）
迁移学习（1）
机器人（1）
架构设计（1）
processing（1）
云数据库 postgresql（1）
flutter（1）
对话机器人（1）
特征工程（1）
ipv6（1）
groovy（1）
性能测试（1）
raft（1）
es（1）
emr（1）
实时风控（1）
事件总线（1）
联邦学习（1）
智能客服机器人（1）
汽车（1）
agent（1）
alert（1）
alignment（1）
bi（1）
cat（1）
centos7（1）
class（1）
commit（1）
cpu（1）
date（1）
debezium（1）
debug（1）
deployment（1）
diff（1）
duration（1）
etl（1）
glibc（1）
google（1）
history（1）
import（1）
io（1）
kill（1）
linkedin（1）
log4j（1）
logback（1）
ls（1）
max（1）
minimum（1）
mysql（1）
oop（1）
oss（1）
prometheus（1）
rpm（1）
service（1）
sh（1）
shift（1）
shutdown（1）
slack（1）
space（1）
threadpoolexecutor（1）
time（1）
video（1）
变量（1）
编码（1）
编译（1）
编译器（1）
程序（1）
程序员（1）
磁盘（1）
代理（1）
队列（1）
对象（1）
服务器（1）
工具（1）
管理（1）
继承（1）
架构（1）
接口（1）
镜像（1）
开发（1）
开发工具（1）
开发者（1）
快捷键（1）
连接（1）
流量（1）
路由（1）
日志（1）
入门（1）
软件（1）
设计模式（1）
视频（1）
实时计算（1）
数据仓库（1）
同步（1）
统计（1）
文件系统（1）
线程池（1）
性能（1）
虚拟机（1）
异常（1）
语法（1）
装饰器（1）
状态机（1）
搜索文章
搜索
搜索
关闭
自决策多轮对话智能体的初步实现
模型
状态机
性能测试
agent
开发者
随着大模型的发展，智能体也是越来越火。看到的很多例子是通过构建DAG的形式形成Agent链，和我需要的不太一样。周末有点时间也是改造了一下之前做的个人超级中心，以初步实现自决策多轮对话智能体。基于该智能体，可实现在多轮对话中实现多重智能体的智能选择。
从大数据到人工智能
2024-09-15
281
0
Langchain入门
部署
接口
框架
模型
入门
LangChain 是一个用于开发由语言模型支持的应用程序的框架。 它使应用程序能够：
从大数据到人工智能
2023-12-11
608
0
flink datastream api实现数据实时写入hudi
api
apache
flink
import
数据
Apache Hudi（发音为“hoodie”）是下一代流数据湖平台。 Apache Hudi 将核心仓库和数据库功能直接引入数据湖。 Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据集群/压缩优化和并发性，同时将您的数据保持为开源文件格式。
从大数据到人工智能
2023-10-18
1.5K
0
深入探究kubernetes resources – Part 1
容器
kubernetes
resources
进程
内存
在开始使用 Kubernetes 时，社区教给我们的第一件事就是始终为我们 pod 中的每个容器设置 CPU 和内存的请求和限制。
从大数据到人工智能
2023-10-18
257
0
深入探究kubernetes resources – Part 2
容器
kubernetes
resources
进程
配置
在上一篇文章中，我谈到了 Kubernetes 资源管理的基础。 在这篇文章中，我们将深入探讨当我们将 CPU 请求配置到 pod 的容器时幕后发生的事情。
从大数据到人工智能
2023-10-18
176
0
debezium采集MySQL CDC指南
数据库
debezium
mysql
服务器
配置
Debezium 是一个开源的分布式平台，用于捕获数据库的变更数据（Change Data Capture，CDC）。它支持多种数据库，包括 MySQL。下面我们详细说一下如何进行配置。
从大数据到人工智能
2023-10-18
720
0
Flink SQL Gateway提交任务到flink on k8s集群
sql
flink
gateway
部署
集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.16版本，官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例，介绍一种在K8s中启动Flink SQL Gateway，并连接到通过Flink kubernetes operator启动的Flink Session集群上。
从大数据到人工智能
2023-10-18
977
0
Flink SQL Gateway提交任务到flink on k8s集群
sql
flink
gateway
部署
集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.16版本，官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例，介绍一种在K8s中启动Flink SQL Gateway，并连接到通过Flink kubernetes operator启动的Flink Session集群上。
从大数据到人工智能
2023-10-18
1.2K
1
Alluxio权限体系
服务
客户端
配置
权限
文件系统
当alluxio.security.authentication.type 被设置为SIMPLE时，身份验证被启用。 在客户端访问Alluxio服务之前，该客户端将按以下列次序获取用户信息以汇报给Alluxio服务进行身份验证：
从大数据到人工智能
2023-10-18
454
0
Harbor镜像仓库安装指南
容器
部署
管理
镜像
同步
Harbor 是一个开源的企业级容器镜像注册中心和仓库管理系统。它提供了一个安全可靠的平台，用于存储、分发和管理容器镜像。以下是 Harbor 的基本介绍：
从大数据到人工智能
2023-10-18
685
0
程序员不能不知道的13个AI开发工具
人工智能
编码
程序员
工具
开发工具
随着人工智能的进步，开发行业已经发展到了新的水平。 目前，人工智能工具在开发者中很受欢迎，因为它正在迅速重塑开发行业。
从大数据到人工智能
2023-10-18
4.8K
0
使用 Kubernetes 进行蓝绿部署
kubernetes
部署
服务
流量
路由
蓝绿部署是一种用于设置两个相同环境的软件部署技术。 服务实时流量的活动环境称为蓝色环境，空闲环境称为绿色环境。 新版本软件部署在绿色环境中，经过测试验证正常后，流量从蓝色环境转移到绿色环境。 这种方法可确保部署期间的零停机时间，并提供一种快速、简单的方法来在出现问题时进行回滚。
从大数据到人工智能
2023-10-18
601
0
Kubernetes 1.28：Sidecar 容器、Job和Proxy的新功能
容器
kubernetes
存储
proxy
连接
Kubernetes 1.28 现已发布，具有 44 项新的或改进的增强功能！ 此版本包含许多主要功能，例如对 sidecar 容器的内置支持、作业优化和更好的代理。 这些新功能可以帮助您提高 Kubernetes 集群的性能、效率和安全性。
从大数据到人工智能
2023-10-18
993
0
OPPO 大数据诊断平台“罗盘”正式开源
开源
大数据
内存
数据
异常
OPPO 大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户经常对自己的任务运行状况“摸不着头脑”，不管是性能问题，还是参数配置问题，甚至是一些常见的权限报错问题，都需要咨询平台给出具体的解决方案；另一方面是平台面对各类繁杂任务，运维人员经常需要对任务故障定位和排除，由于任务链路长，组件日志多，运维压力大。因此急需对任务进行实时监控和诊断，不仅要能够帮助用户快速定位异常问题，还需给出具体的建议和优化方案，同时还能治理各类“僵尸”和不合理任务，从而达到降本增效的目的。据调研，目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台，通过诊断平台周优化任务实例数超2 万，取得了良好的效果。
从大数据到人工智能
2023-05-14
1.4K
0
云原生架构下B站Flink存算分离的改造实践
flink
架构
实践
数据
云原生
在当前整个行业及公司内部降本增效的大背景下，B站内部也在积极推进实时与在线业务资源的整合，往云原生架构迁移，统一资源池与调度，提升资源利用效率。不过面临的现实问题就是，不同业务场景下，资源的规格诉求不尽相同。在线的业务资源池，由于在线业务的属性，一般只具备很强的计算能力而基本不带存储以及io能力。Flink虽然是一个计算引擎，但是由于其stateful的特性，在很多计算场景下，对存储和io其实有比较强的诉求，因此实时的资源池，同时具备很强的存算能力。两种资源池的整合，必然面临兼容性问题，考虑到大数据整体的存算分离发展趋势，我们尝试对Flink进行存算分离的改造，核心工作就是statebackend的远程化。
从大数据到人工智能
2023-05-03
934
0
尘锋信息基于 Apache Paimon 的流批一体湖仓实践
apache
开发
模型
实践
数据
尘锋信息 (www.dustess.com) 是基于企业微信生态的一站式私域运营管理解决方案供应商，致力于成为全行业首席私域运营与管理专家，帮助企业构建数字时代私域运营管理新模式，助力企业实现高质量发展。
从大数据到人工智能
2023-05-03
3.9K
1
scala中的伴生类和伴生对象
scala
class
变量
对象
语法
由于static定义的类和对象破坏了 面向对象编程的规范完整性，因此scala 在设计之初就没有static关键字概念，类相关的静态属性都放在伴生对象object中。
从大数据到人工智能
2023-04-27
905
0
微博增值团队可观测性实践落地与回顾-上篇
监控
实践
数据
系统
优化
前言、理论，实践请参考 微博增值团队可观测性探索与实践-初探 、微博增值团队可观测性探索与实践-实践 强烈建议优先阅读。
从大数据到人工智能
2023-04-18
385
0
基于 eBPF 的云原生可观测性深度实践
分布式
服务
进程
实践
云原生
本文整理自云杉网络 DeepFlow 产品负责人向阳在 QCon 2023 的演讲分享，主题为“基于 eBPF 的云原生可观测性深度实践”。
从大数据到人工智能
2023-04-18
1.2K
2
GraalVM基本介绍
编译
编译器
程序
框架
虚拟机
GraalVM 是一种高性能 JDK，旨在加速用 Java 和其他 JVM 语言编写的应用程序的执行，同时还为 JavaScript、Python 和许多其他流行语言提供运行时。 GraalVM 提供两种运行 Java 应用程序的方法：在 HotSpot JVM 上使用 Graal 即时 (JIT) 编译器或作为提前 (AOT) 编译的本机可执行文件。 GraalVM 的多语言能力使得在单个应用程序中混合多种编程语言成为可能，同时消除了外语调用成本。
从大数据到人工智能
2023-04-06
3.1K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
