Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >数据工程师需要掌握的18个python库

数据工程师需要掌握的18个python库

作者头像
数说君
发布于 2020-03-06 06:34:07
发布于 2020-03-06 06:34:07
1.1K0
举报
文章被收录于专栏:数说工作室数说工作室

目录

  • 数据获取
    • Selenium
    • Scrapy
    • Beautiful Soup
  • 数据清洗
    • Spacy
    • NumPy
    • Pandas
  • 数据可视化
    • Matplotlib
    • Pyecharts
  • 数据建模
    • Scikit-learn
    • PyTorch
    • TensorFlow
  • 模型检查
    • Lime
  • 音频数据处理
    • Librosa
  • 图像数据处理
    • OpenCV-Python
    • Scikit-image
  • 数据通信
    • Pymongo
  • 数据分析结果web部署
    • Flask
    • Django

数据获取

Selenium

Selenium是一个Web测试自动化框架,最初是为软件测试人员创建的。它提供了Web驱动程序API,供浏览器与用户操作交互并返回响应。它运行时会直接实例化出一个浏览器,完全模拟用户的操作,比如点击链接、输入表单,点击按钮提交等。所以我们使用它可以很方便的来登录网站和爬取数据。

可以使用 brew install selenium 的方式来快速安装selenium。

数据获取

Scrapy

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。其吸引人的地方在于任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。我们可以启用选择器(例如XPath,CSS)从网页中提取数据。

我们需要先安装Twisted,因为直接安装scrapy的话,安装会失败。所以使用 pip install Twisted-18.9.0-cp37-cp37m-win32.whl 来安装,然后使用pip install scrapy 来安装scrapy就可以了

数据获取

Beautiful Soup

Beautiful Soup也是一个从网站爬取数据的库,他提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

可以使用 brew install beautifulsoup4 的方式来快速安装bf4。

数据清洗

Spacy

spacy可以用于进行分词,命名实体识别,词性识别等等,最核心的数据结构是Doc和Vocab。Doc对象包含Token的序列和Token的注释,Vocab对象是spaCy使用的词汇表,用于存储语言中共享的数据,spaCy通过集中存储字符串,单词向量和词汇属性等,避免存储数据的多个副本。

数据清洗

NumPy

NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。对数组执行数学运算和逻辑运算时,NumPy 是非常有用的。在用 Python 对 n 维数组和矩阵进行运算时,NumPy 提供了大量有用特征。

数据清洗

Pandas

pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。

数据可视化

Matplotlib

matplotlib是受MATLAB的启发构建的。MATLAB是数据绘图领域广泛使用的语言和工具。MATLAB语言是面向过程的。利用函数的调用,MATLAB中可以轻松的利用一行命令来绘制,然后再用一系列的函数调整结果。它有一套完全仿照MATLAB的函数形式的绘图接口,在matplotlib.pyplot模块中。这套函数接口方便MATLAB用户过度到matplotlib。

数据可视化

Pyecharts

Echarts 是一个由百度开源的数据可视化工具,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可,当 Python 遇到了 Echarts,就变成了 PyEcharts,目的就是为了与 Python 进行对接,方便在 Python 中直接使用数据生成图。

数据建模

Scikit-learn

scikit-learn包含众多顶级机器学习算法,主要有六大基本功能,分别是分类、回归、聚类、数据降维、模型选择和数据预处理。scikit-learn拥有非常活跃的用户社区,基本上其所有的功能都有非常详尽的文档供用户查阅。可以研读scikit-learn的用户指南及文档,对其算法的使用有更充分的了解。

数据建模

Pytorch

PyTorch是美国互联网巨头Facebook在深度学习框架Torch的基础上使用Python重写的一个全新的深度学习框架,它更像NumPy的替代产物,不仅继承了NumPy的众多优点,还支持GPUs计算,在计算效率上要比NumPy有更明显的优势;不仅如此,PyTorch还有许多高级功能,比如拥有丰富的API,可以快速完成深度神经网络模型的搭建和训练。

数据建模

Tensorflow

TensorFlow是一个采用数据流图(data flow graphs),用于数值计算、机器学习、神经网络的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算,例如台式计算机中的一个或多个CPU(或GPU),服务器,移动设备等等。

模型检查

Lime

LIME能够解释所有我们可以获得预测概率的模型(在R中,也就是每一个与预测(type=“prob”)一起工作的模型)。它利用了这样一个事实,即线性模型很容易解释,因为它们基于特征和类标签之间的线性关系:将复模型函数用局部拟合线性模型逼近原训练集的排列。

音频数据处理

Librosa

librosa是一个非常强大的python语音信号处理的第三方库,用于音频、音乐分析、处理和些常见的时频处理、特征提取、绘制声音图形等功能应有尽有,功能十分强大。学会librosa后再也不用用python去实现那些复杂的算法了,只需要一句语句就能轻松实现。

图像数据处理

OpenCV

OpenCV是计算机视觉领域应用最广泛的开源工具包,基于C/C++,支持Linux/Windows/MacOS/Android/iOS,并提供了Python,Matlab和Java等语言的接口,因为其丰富的接口,优秀的性能和商业友好的使用许可,不管是学术界还是业界中都非常受欢迎。

可以在 anaconda 中来安装OpenCV

图像数据处理

Scikit-imag

scikit-image 是一种开源的用于图像处理的 Python 包。它包括分割,几何变换,色彩操作,分析,过滤等算法。它用作集成到python运算环境结合一些科学运算库(Numpy,Scipy)

安装sudo apt-get install python-skimage 源码 git clone https://github.com/scikit-image/scikit-image.git

数据库相关

Pymongo

MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。而要使用python进行操作就需要pymongo。

安装pip3 install pymongo 连接client = pymongo.MongoClient(host='localhost', port='ip')

数据分析结果可视化部署

Flask

Flask是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。另外,Flask还有很强的定制性,用户可以根据自己的需求来添加相应的功能,在保持核心功能简单的同时实现功能的丰富与扩展,其强大的插件库可以让用户实现个性化的网站定制,开发出功能强大的网站。

数据分析结果可视化部署

Django

Django是高水准的Python编程语言驱动的一个开源模型.视图,控制器风格的Web应用程序框架,它起源于开源社区。使用这种架构,程序员可以方便、快捷地创建高品质、易维护、数据库驱动的应用程序。另外,在Django框架中,还包含许多功能强大的第三方插件,使得Django具有较强的可扩展性。

安装pip install Django 文档 https://docs.djangoproject.com/en

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-03-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数说工作室 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
吐血整理!绝不能错过的24个顶级Python库
事实上,由于Python库种类很多,要跟上其发展速度非常困难。因此,本文介绍了24种涵盖端到端数据科学生命周期的Python库。
AI算法与图像处理
2019/09/26
2.3K0
吐血整理!绝不能错过的24个顶级Python库
python入门教程绝不能错过的24个顶级Python库
• 易用性和灵活性 • 全行业高接受度:Python无疑是业界最流行的数据科学语言 • 用于数据科学的Python库的数量优势 数据科学 文中提及了用于数据清理、数据操作、可视化、构建模型甚至模型部署(以及其他用途)的库。这是一个相当全面的列表,有助于你使用Python开启数据科学之旅。 用于不同数据科学任务的Python库 用于数据收集的Python库:
汤贤
2020/05/18
1.6K0
数据科学家需要了解的15个Python库
关于更多机器学习、人工智能、增强现实、Unity、Unreal资源和技术干货,可以关注公众号:三次方AIRX
三次方AIRX
2020/12/27
7490
数据科学家应当了解的15个Python库
如果你是一名数据科学家或数据分析师,或者只是对这一行当感兴趣,你都应该了解下文中这些广受欢迎且非常实用的Python库。
人工智能小咖
2020/04/15
9310
数据科学家应当了解的15个Python库
记录一些常用的python库、软件或者网址
1.数据收集 BeautifulSoup、scrapy、selenium、requests 2.数据分析 pandas、numpy、pyDD、spacy 3.数据可视化 matplotlib、seaborn、bokeh 4.建模 scikit-learn、tensorflow、pytorch 5.模型解释 lime、h2o 6.语音处理 librosa、madmom、pyAudioAnalysis 7.图像处理 opencv-python、scikit-image、pillow 8、模型部署 flask
西西嘛呦
2020/08/26
3000
一文总结数据科学家常用的Python库(下)
【磐创AI导读】:本系列文章为大家总结了24个热门的python库,查看上篇。想要获取更多的机器学习、深度学习资源,欢迎大家点击上方蓝字关注我们的公众号:磐创AI。一文总结数据科学家常用的Python库(上)
磐创AI
2019/07/26
1.4K0
一文总结数据科学家常用的Python库(下)
一文总结数据科学家常用的Python库(上)
我是Python语言的忠实粉丝,它是我在数据科学方面学到的第一门编程语言。Python有三个特点:
磐创AI
2019/07/23
1.9K0
一文总结数据科学家常用的Python库(上)
Python常用第三方库大盘点
•XlsxWriter-操作Excel工作表的文字,数字,公式,图表等•win32com-有关Windows系统操作、Office(Word、Excel等)文件读写等的综合应用库•pymysql-操作MySQL数据库•pymongo-把数据写入MongoDB•smtplib-发送电子邮件模块•selenium-一个调用浏览器的driver,通过这个库可以直接调用浏览器完成某些操作,比如输入验证码,常用来进行浏览器的自动化工作。•pdfminer-一个可以从PDF文档中提取各类信息的第三方库。与其他PDF相关的工具不同,它能够完全获取并分析 P D F 的文本数据•PyPDF2-一个能够分割、合并和转换PDF页面的库。•openpyxl- 一个处理Microsoft Excel文档的Python第三方库,它支持读写Excel的xls、xlsx、xlsm、xltx、xltm。•python-docx-一个处理Microsoft Word文档的Python第三方库,它支持读取、查询以及修改doc、docx等格式文件,并能够对Word常见样式进行编程设置。
吾非同
2020/10/13
3.5K0
用于构建模型、语音图像处理的Python库
就像用于数据操作的Pandas和用于可视化的matplotlib一样,scikit-learn是Python构建模型中的佼佼者,建立在NumPy,SciPy和matplotlib之上。
加米谷大数据
2019/08/26
1.1K0
网络工程师学Python-1.5-安装常用Python库
Python作为一种流行的编程语言,拥有丰富的第三方库资源,这些库可以帮助开发者轻松实现各种功能,从数据分析到Web开发,从机器学习到图像处理,涵盖了各个领域。在Python的开发过程中,安装并使用常用的Python库是非常重要的一步。本文将介绍如何安装常用的Python库,以帮助您在Python开发中更加高效地进行编程。
网络技术联盟站
2023/04/17
5070
网络工程师学Python-1.5-安装常用Python库
Python机器学习、深度学习库总结(内含大量示例,建议收藏)
目前,随着人工智能的大热,吸引了诸多行业对于人工智能的关注,同时也迎来了一波又一波的人工智能学习的热潮,虽然人工智能背后的原理并不能通过短短一文给予详细介绍,但是像所有学科一样,我们并不需要从头开始”造轮子“,可以通过使用丰富的人工智能框架来快速构建人工智能模型,从而入门人工智能的潮流。人工智能指的是一系列使机器能够像人类一样处理信息的技术;机器学习是利用计算机编程从历史数据中学习,对新数据进行预测的过程;神经网络是基于生物大脑结构和特征的机器学习的计算机模型;深度学习是机器学习的一个子集,它处理大量的非结构化数据,如人类的语音、文本和图像。因此,这些概念在层次上是相互依存的,人工智能是最广泛的术语,而深度学习是最具体的:
润森
2022/09/22
3.1K0
Python机器学习、深度学习库总结(内含大量示例,建议收藏)
常用python组件包
$ pip list Package Version ---------------------- ------------- aniso8601 2.0.0 asn1crypto 0.23.0 astroid 1.6.2 attrs 17.2.0 Automat 0.6.0 awscli 1.14.14 bcrypt 3.1.4 beautifulsoup4 4.6.0 bleach 1.5.0 boto 2.48.0 boto3 1.5.8 botocore 1.8.22 bs4 0.0.1 bz2file 0.98 certifi 2017.7.27.1 cffi 1.11.0 chardet 3.0.4 click 6.7 colorama 0.3.9 constantly 15.1.0 coreapi 2.3.3 coreschema 0.0.4 cryptography 2.0.3 cssselect 1.0.1 cycler 0.10.0 cymem 1.31.2 cypari 2.2.0 Cython 0.28.2 cytoolz 0.8.2 de-core-news-sm 2.0.0 decorator 4.1.2 dill 0.2.7.1 Django 1.11.5 django-redis 4.8.0 django-rest-swagger 2.1.2 djangorestframework 3.7.3 docutils 0.14 dpath 1.4.2 en-blade-model-sm 2.0.0 en-core-web-lg 2.0.0 en-core-web-md 2.0.0 en-core-web-sm 2.0.0 entrypoints 0.2.3 es-core-news-sm 2.0.0 fabric 2.0.1 Fabric3 1.14.post1 fasttext 0.8.3 flasgger 0.8.3 Flask 1.0.2 Flask-RESTful 0.3.6 flask-swagger 0.2.13 fr-core-news-md 2.0.0 fr-core-news-sm 2.0.0 ftfy 4.4.3 future 0.16.0 FXrays 1.3.3 gensim 3.0.0 h5py 2.7.1 html5lib 0.9999999 hyperlink 17.3.1 idna 2.6 incremental 17.5.0 invoke 1.0.0 ipykernel 4.6.1 ipython 6.2.0 ipython-genutils 0.2.0 ipywidgets 7.0.1
IT派
2018/08/10
2.9K0
常用python组件包
100个Python常用模块/库
1. NumPy - 数值计算扩展库。提供高效的多维数组对象和用于处理这些数组的工具。http://www.numpy.org/2. SciPy - 科学计算库。构建在NumPy之上,用于科学与技术计算。https://www.scipy.org/3. Pandas - 数据分析与操作库。提供高性能易用的数据结构和数据分析工具。http://pandas.pydata.org/4. Matplotlib - 数据可视化库。产生 Publication quality figures。http://matplotlib.org/5. Scikit-learn - 机器学习库。用于数据挖掘和数据分析。http://scikit-learn.org/stable/6. TensorFlow - 深度学习库。由谷歌开源,用于机器学习,深度神经网络与人工智能。http://tensorflow.org7. Django - Web框架。提供开发Web应用的骨架。https://www.djangoproject.com/8. Flask - 微型Web框架。提供Werkzeug、Jinja2等高质量成功的库集成。http://flask.pocoo.org/9. Scrapy - 网络爬虫框架。用于进行网络爬取,提供操作各种网站的能力和工具。https://scrapy.org/10. BeautifulSoup - HTML/XML解析库。提供解析器,用于从HTML和XML文件中提取数据。https://www.crummy.com/software/BeautifulSoup/
苦叶子
2023/06/09
3640
100个Python常用模块/库
@@金山文档的智能表格中使用Python进行数据处理和分析,可以定时、结合爬虫、动态图、数据大屏、本地保存!!2024.3.7
1、网址:https://airsheet.wps.cn/docs/python/quickstart.html
用户7138673
2024/03/13
9480
@@金山文档的智能表格中使用Python进行数据处理和分析,可以定时、结合爬虫、动态图、数据大屏、本地保存!!2024.3.7
资源 | 2017年最流行的15个数据科学Python库
Python 近几年在数据科学行业获得了人们的极大青睐,各种资源也层出不穷。数据科学解决方案公司 ActiveWizards 近日根据他们自己的应用开发经验,总结了数据科学家和工程师将在 2017 年最常使用的 Python 库。 核心库 1)NumPy 地址:http://www.numpy.org 当使用 Python 开始处理科学任务时,不可避免地需要求助 Python 的 SciPy Stack,它是专门为 Python 中的科学计算而设计的软件的集合(不要与 SciPy 混淆,它只是这个 sta
CDA数据分析师
2018/02/05
1K0
资源 | 2017年最流行的15个数据科学Python库
如何成为一名合格的数据工程师
毕业之后,真的是误打误撞进入了互联网这个大环境。从第一份工作接触到Python开始,了解到它的强大之处,便主动地开始学习,最终还是走上了数据这个行业其中有一定的偶然性,但似乎也是多年前埋下的伏笔。
皮大大
2021/03/01
6600
如何成为一名合格的数据工程师
年度盘点,30个开创性的Python开源项目-你都用过哪些?
Python正在蓬勃发展,它的Github页面也是如此。今年对于Python来说是非常好的一年,我们看到了一些非常强大的Python开源项目。今天,我们列出了一些顶尖的python开源项目;试着至少为其中之一做些贡献,这将有助于提高您的Python技能。下面是30个Python开源项目的细节,让我们开始吧
HuangWeiAI
2019/12/25
3K0
年度盘点,30个开创性的Python开源项目-你都用过哪些?
对于Python编程者最有用和最常见的模块
前言 你是否曾经被大量的python模块压垮过?你是否曾经在为一个特定的项目挑选一个时陷入困境?在本文中,我将与您分享一些我认为每个python开发人员都应该熟悉的python模块。我将把这些模块分为
HuangWeiAI
2021/04/21
1.2K0
Python相关学习资料汇总
以下资料按字母表顺序排列 Abseil : https://abseil.io/docs/python/quickstart Abseil 是用于构建 Python 应用程序的 Python 库代码,主要用于处理程序的命令行输入。 Airium : https://pypi.org/project/airium/ Airium 是一个简单易用的 Python 库,让用户能够用 Python 语言书写 HTML 代码。 BeautifulSoup : https://www.crummy.com/
hotarugali
2022/03/13
6000
2017年数据科学15个最好用的Python库
大数据文摘作品,转载要求见文末 作者:Igor Bobriakov 编译:朱璇、卫青、万如苑 导读:随着近几年Python已成为数据科学行业中大火的编程语言,我们将根据以往的经验来为大家总结一下数据科学家和工程师几个最实用的python库。如果你是正在学习Python的学生,也许根据这个表单能够帮你更好地找到学习的重心。 因为所有的python库都是开源的,所以我们还列出了每个库的提交次数、贡献者人数和其他一些来自Github可以代表Python库流行度的指标。 核心库 1. NumPy(Github提交次
大数据文摘
2018/05/25
7660
推荐阅读
相关推荐
吐血整理!绝不能错过的24个顶级Python库
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档