python与大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

python与大数据

python与大数据日常记录

专栏成员

14

文章

16460

阅读量

15

订阅数

Spark之基本流程（一）

大数据读书笔记 scala 分布式 spark

最近在拜读许老师的《大数据处理框架Apache Spark设计与实现》，之前看豆瓣评分很高，阅读了一下果然通俗易懂，在这里记录一下相关的笔记，补充了一些个人理解，如有不对还请指正。参考链接：https://github.com/JerryLead/SparkInternals

2023-05-14

1K0

Spark之逻辑处理流程（二）

数据分析推荐算法 scala spark 大数据

本文参考许利杰老师的《大数据处理框架Apache Spark设计与实现》，在这里记录一下相关的笔记，补充了一些个人理解，如有不对还请指正。参考链接：https://github.com/JerryLead/SparkInternals

2023-08-24

4860

零成本薅羊毛！手把手复刻天价Manus：OpenManus保姆级白嫖攻略

python agent openai LLM

🐶，甚至官方X账号因未知原因遭冻结。就在用户为“一码难求”焦头烂额时，开源社区以

2025-03-07

4692

深入理解 Python 中的日志 logging 模块

python logging python3 日志 2023腾讯·技术创作特训营第三期

日志记录是软件开发中的一个重要环节，它可以帮助我们监控程序运行过程中的状态、诊断问题以及分析性能。Python 中通常使用 logging 模块，让我们能够方便地记录日志信息。

2023-11-17

4490

【零基础】Python开发调用 ChatGPT API 的命令行工具

chatgpt 2023腾讯·技术创作特训营第三期 python api

本文章针对python初学者，介绍如何使用命令行调用ChatGPT API来实现最基本的聊天功能。

2023-11-10

1.7K1

PySpark与MongoDB、MySQL进行数据交互

pyspark 2023腾讯·技术创作特训营第三期 mongodb 大数据 mysql

前些时候和后台对接，需要用pyspark获取MongoDB、MySQL数据，本文将介绍如何使用PySpark与MongoDB、MySQL进行数据交互。MongoDB是一个基于分布式文件存储的数据库，由C++语言编写。它旨在为Web应用提供可扩展的高性能数据存储解决方案。

2023-11-06

6420

非root账户Linux服务器配置Jupyter notebook

python linux jupyter notebook 2023腾讯·技术创作特训营第三期

使用GPU服务器的时候往往是多人用一台服务器，而每个人的权限不一定都拥有root权限，因此防火墙的问题就不好解决。如果想要通过本地使用服务器的jupyter notebook就会有些困难，本文整理网上教程同时博主自己也实践了一下。

2023-10-31

7870

TOML语言配置文件入门

python json yaml 配置

最近在配置算子的时候，一直用着一种配置文件，而且有着自己奇奇怪怪的语法，起初没想多以为是公司自己独创的语言。后来经提醒发现是TOML语言，由于没怎么做过开发，之前从来没听说过这个语言，趁此机会了解学习一下。

2023-10-26

1.8K2

Git安装、配置、常用使用

git github 腾讯git代码托管（工蜂）

然后输入密码，生成密钥，然后去提示的路径里面找到id_rsa.pub，把它里面的信息复制到git的SSH Keys上

2023-09-26

6600

Python Protobuf入门

推荐算法 tensorflow python protobuf

最近在做模型的时候发现工程实时落盘的样本是Protobuf序列化后的数据，为了读取这些数据，简单的了解了一下Protobuf。

2023-08-11

2.9K0

Hive SQL 常用零碎知识

presto sql spark hive 大数据

比如event_value是一个json格式的字段，然后想获取里面的id作为单独一列

2023-07-21

8990

PySpark在windows下的安装及使用

pyspark python 大数据教程

官网下载http://spark.apache.org/downloads.html，遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载

2023-05-08

1.4K0

PySpark从hdfs获取词向量文件并进行word2vec

pyspark word2vec jieba hdfs dataframe

背景：需要在pyspark上例行化word2vec，但是加载预训练的词向量是一个大问题，因此需要先上传到HDFS，然后通过代码再获取。调研后发现pyspark虽然有自己的word2vec方法，但是好像无法加载预训练txt词向量。

2023-04-20

2.2K0

C++常见容器用法分析

c++容器 c++11 推荐算法

最近写召回、混排算子的时候需要用c++，对我来说就是纯新手入门，这里记录一些常见到的容器和他们的一些特性。

2023-10-17

9850

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态