使用pandas统计数据帧中的标记化字数( python)
使用pandas统计数据帧中的标记化字数可以通过以下步骤实现：
- 导入必要的库和模块：
import pandas as pd
import re- 创建一个数据帧：
data = {'文本': ['这是一段示例文本。', '这是另一段示例文本。', '这是最后一段示例文本。']}
df = pd.DataFrame(data)- 定义一个函数来计算标记化字数：
def count_tokens(text):
tokens = re.findall(r'\w+', text) # 使用正则表达式提取单词
return len(tokens)- 应用函数到数据帧的某一列：
df['标记化字数'] = df['文本'].apply(count_tokens)- 查看结果：
print(df)输出结果：
文本 标记化字数
0 这是一段示例文本。 4
1 这是另一段示例文本。 4
2 这是最后一段示例文本。 5在这个例子中，我们使用pandas库创建了一个包含示例文本的数据帧。然后，我们定义了一个函数count_tokens，该函数使用正则表达式提取文本中的单词，并返回单词的数量。最后，我们将该函数应用到数据帧的文本列上，并将结果存储在新的标记化字数列中。
相关·内容
我已经在Python的数据框中创建了一个标记化的数据(文本 我只想对标记化的数据进行计数，并让输出显示标记化数据中每个元素的重复频率。下面是我用来创建标记化数据的代码： import numpy as npimport matplotlib.pypl
浏览 31提问于2021-07-22得票数 0
回答已采纳
假设我在python中创建了一个函数，所以将一个数字求幂为2： def squared(s):
return s * s 然后我在Spark session中注册了这个函数，如下所示： spark.udf.register("squaredWithPython", squared) 然后当我在Spark SQL中调用UDF时，如下所示： spark.range(1, 20).registerTempTable("test函数是否会在群集的工作节点上运行？如果是，那么矢量化UDF的<
浏览 33提问于2019-10-10得票数 0
回答已采纳
我有几百个数据帧被附加到一个列表中。所有数据帧的列数相同，但行数不同。列名也是相同的。所以我想取每一列的列值的均值、mad、std，我这样做：lst = []
6 6842.04 -
浏览 1提问于2018-09-25得票数 2
2回答
我正在寻找一种方法来可视化雪花中的表的统计数据。 漫长的一步是使用python提取一个有意义的数据样本并应用Pandas，但是从雪花中提取数据是低效和不安全的。Snowflake的新界面以图形方式显示这些统计数据，我想知道是否有一种方法可以通过查询或查询元数据来获得这些数据。 ? 我需要像Pandas这样的东西-分析，但没有外部服务器。也
浏览 22提问于2020-11-06得票数 0
2回答
我希望从以下NCAA统计页面中获取3级大学篮球的统计数据：
单击该链接后，左上角表格上方有一个下拉列表它被标记为“附加统计信息”。对于每个统计数据都有一个表，你可以得到一个excel文件，但我想更有效率。我在想，可能有一种方法可以使用BeautifulSoup (或者甚至pd.read_html)遍历下拉栏，以获得列出的每个统计数据</em
浏览 0提问于2020-04-12得票数 1
我需要使用Pandas/ Pandas -gbq在Python语言中创建一个简单的ETL管道，每天将给定日期范围内的数据从BigQuery读取到Pandas数据帧中，并根据查询结果创建单独的日表(写回BigQuery尽管可能有更好、更有效的方法(注意:我不是软件工程师)，但我目前正在研究BigQuery中的来参数化日期列，并在P
浏览 2提问于2019-12-17得票数 2
2回答
在python2.7中，我使用的数据集既有年度数据，也有终生数据。我有一个存储终生数据的字典，以及一个每年数据的内部DataFrame。，每一行都有不同的年份数据以及所有的终生统计数据，所以这将变成如下所示：brown中的Series.repeat()方法，尽管这对我来说还不起作用。什么是最快的<
浏览 0提问于2016-05-25得票数 1
我使用numpy.txt将csv文件导入到python中，结果如下所示： >>> print(FH).
浏览 25提问于2019-06-23得票数 0
1回答
我正在使用pandas在python中处理一个文本文件。该文件具有文本和数字数据，格式如下：与上述图片对应的实际文本文件可以找到。我在pandas中导入这个文件我想为不同的标记类型(Tag1、Tag5、Tag6)从这个pandas数据<e
浏览 0提问于2018-09-30得票数 0
回答已采纳
当在Jupyter中使用sparkmagic时，它会生成数据帧的交互式可视化。(来自的完整示例)。如何在拥有pandas dataframe对象的普通python笔记本上实现相同的可视化控件？无论我安装了什么，当在单元格中查看数据帧时，它只显示为一个表。
浏览 12提问于2018-09-08得票数 1
我有一个csv，我正在读到一个熊猫的DataFrame，但它需要大约35分钟阅读。csv大约为120 GB。我发现了一个名为cudf的模块，它允许图形处理器DataFrame，但它只适用于Linux。
浏览 3提问于2019-11-13得票数 0
我想在pandas df专栏中获得列表长度的统计数据，如平均长度、最低长度、最高长度、标准差等。subject1 [3, 4, 6, 7] [2, 2, 7]因此，对于此数据帧，我希望获得trial_num和subject列的统计数据。_libs.hashtable.value_count_object()
TypeError: unhashabl
浏览 25提问于2019-10-21得票数 1
回答已采纳
3回答
我用perl做了很多数据分析，我正在尝试用python复制这项工作，使用pandas、numpy、matplotlib等。一般工作流程如下：2)解析文件，因为它们有元数据4)将匹配标签和加载数据的行拆分为散列\n";
我希望将这些数据加载到一个分层的索引数据结构<em
浏览 2提问于2012-11-13得票数 2
1回答
我有两个不同大小(不同数量的样本)的have，它们目前以数字列表的形式存储。有没有一个数学公式来衡量它们之间的相似性？ 例如： 第一波: 1016个样本 ? 我有两个不同大小的列表，其中包含一个分布。我如何找出它们是否相似？
浏览 20提问于2021-08-23得票数 0
我正在使用一个完全是数字数据的数据帧，除了一个标记为'diagnosis‘的列，它有一个'M’或一个'B‘。我希望将所有的B重新标记为0，将所有的M重新标记为1，但是我的代码没有将结果保存在数据帧中： if i== 'B':
浏览 0提问于2021-06-23得票数 0
我正在处理一个大型数据集(python中的pandas )，我有一个类似于以下结构的数据帧：0 1 62 154 5 2n 225 3
然而，这些类在整个数据帧中不断增长；缺少示例中所示的一些值。我想知道如何从每个类中获得像min或max这样的<
浏览 1提问于2017-12-10得票数 1
回答已采纳
我有两个数据帧，一个包含屏幕名称/显示名称，另一个包含个人，我正在尝试创建第三个数据帧，每次屏幕名称/显示名称中出现姓氏时，在新行中包含来自每个数据帧的所有数据。从功能上讲，这将创建一个可能匹配的名称列表。我当前的代码运行得很好，但运行速度非常慢，如下所示：# cols = 'userid','screen_name','re
浏览 0提问于2016-04-11得票数 1
1回答
我需要一个稳定的Java库，可以将一个巨大的字符串传递给(例如，“白鲸”中的几章)并获得“单词计数”-like统计数据：
我可以自己写，但它可能是错误的，需要很多时间；
浏览 1提问于2013-02-16得票数 0
回答已采纳
我是Python Pandas的新手。name1 40 Neha3 90 Neha现在我想要两个向量的点积：
df2 = df.groupby('name').sum(
浏览 3提问于2015-07-24得票数 0
回答已采纳
2回答
我正在使用Pandas数据帧来操纵由收盘价和时间组成的金融时间序列。我想将结果显示在X和O的点和图图表中。但是，我在Python中找不到任何可视化包来做到这一点。有没有人有使用Python绘制点和图形图表的经验？
提前谢谢。
浏览 2提问于2017-07-28得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
