我使用Python-MySQL (MySQLdb)库将值插入到数据库中。我希望避免将重复的条目插入到数据库中，因此我在MySQL中为该列添加了unique约束。我正在检查title列中的重复项。在我的Python脚本中，我使用了以下语句：
cursor.execute ("""INSERT INTO `database` (title, introduction) VALUES (%s, %s)""", (title, pure_introduction))
现在，当一个重复的条目被添加到数据库时，它将产生一个错误。我不希望出现错误消息；我只希望
浏览 3提问于2015-01-06得票数 6
回答已采纳
2回答
我搜索了一些类似的问题，比如“Python中的等效R函数代表”。
在R中，rep可以用于数组或dataframe，您可以设置参数each来指定是重复每个元素还是重复整个list/dataframe。
但是在Python中，您必须区分数组和数据。
对于数组，np.repeat将重复每个元素，np.tile将重复整个数组。
x=['a','b']
np.repeat(x,2)#repeat each element twice
Out[85]: array(['a', 'a', 'b', 'b'],
浏览 0提问于2019-01-09得票数 3
回答已采纳
在Python和R中，可以很容易地摆脱重复的列--只需加载数据，分配列名，并选择不重复的列。
使用处理这些数据的最佳实践是什么？此处不允许分配重复的列名。我知道唯一的方法是多按摩输入的数据，并在构造数据前去掉这些数据？
问题是，处理已经构造的dataframe中的重复列几乎总是更容易，而不是在传入数据中。
UPD: --我指的是重复的列名。我从原始数据构建数据，在原始数据中可以重复列名(因此也是数据)。
UPD2:添加了 Python示例。
>>> import numpy as np
>>> import pandas as pd
>>>
浏览 0提问于2020-08-24得票数 3
回答已采纳
我有一个数据集，其中一个特定行中的所有值都有重复行，其中第二行在其中缺少值。
如何在python中编写代码以查找数据集中的重复记录？
浏览 2提问于2019-08-16得票数 0
回答已采纳
1回答
有没有python程序可以从NOAA获取详细的数据，特别是每小时的数据和7天的昼夜预报？
我找到了python-noaa api、python-noaa和python-noaa。然而，它们要么不再受支持，要么缺少我想要的数据。
如果没有，那么我可能会自己做一个，尽管我不喜欢重复发明轮子！
浏览 0提问于2013-04-04得票数 2
回答已采纳
9回答
Python集合与列表
、、、、
在Python中，哪种数据结构更高效/更快？假设顺序对我来说并不重要，而且我无论如何都会检查重复项，那么Python set比Python list慢吗？
浏览 4提问于2010-05-14得票数 224
回答已采纳
在PySpark和Synapse数据流中，我遇到了非常奇怪的错误。
我正在使用下面的查询读取JSON文件，但得到重复的列错误，即使没有重复的列。我可以使用其他工具和JSON验证器来读取它，也可以使用数据流，但不能在PySpark中读取。
PySpark查询如下：
df = (
spark.read.option("multiline", "true")
.options(encoding="UTF-8")
.load(
"abfss://<Container>]@<DIR>.
浏览 3提问于2021-11-25得票数 0
我在Python3中有一个列表，其中的数据如下所示：
['Type1', ['123', '22'], ['456', '80']]
['Type2', ['456', '80'], ['123', '22']]
这个列表相当大，但是上面是我需要删除的重复数据的一个例子。下面是一个不重复且不需要删除的数据示例：
['Type1', ['789', '45'], ['456'
浏览 0提问于2019-03-11得票数 0
回答已采纳
例如，假设您正在用Java编写一个应用程序。
您的应用程序与用Python编写的API服务器进行通信。
Python服务器与SQL数据库通信。
你还有一个用JavaScript写的应用程序的网站。
使用4种不同的语言，很容易重复基本上相同的数据结构--4个不同的时间。
例如，User类型可能如下所示(伪代码)：
type User {
integer id;
string name;
timestamp birthday;
}
项目的每个部分都需要User的某种表示。Java和Python部分需要两个不同的class声明。数据库需要一个User表声明。前端站点也需要表示一个User
浏览 0提问于2018-02-09得票数 12
回答已采纳
通过对两列进行分组，我做了一些更改。
我使用python生成了一个文件，它产生了两个重复的列。如何从数据帧中删除重复的列？
浏览 0提问于2013-06-05得票数 10
我有几个python脚本，我计划将它们放在服务器上，每天重复运行一次。这个python脚本执行一些计算，最后将数据上传到中央数据库。当然，要连接到数据库，需要密码和用户名。在我的python脚本中输入这个用户名和密码安全吗？如果没有，有没有更好的方法呢？
浏览 1提问于2013-04-09得票数 0
1回答
我正在尝试使用Webapp2将数据发送到python中的谷歌应用程序引擎，但当我检查控制台中的数据条目时，我发现了重复的条目，这意味着除了Id之外，一切都是相同的。我想避免这些重复的entries.Please，如果有任何方法可以提前找到重复的值到avoid.Thanks。
浏览 0提问于2015-04-28得票数 1
我是python的新手，在编写python代码时犯了一个错误，就像我对SAS一样。有没有办法从数据帧中删除基于一组关键字的重复行，并将其分配给新的数据报，同时保留原始原始数据帧
浏览 15提问于2020-08-03得票数 0
将python csv数据重新排列为行和不同的列我有csv数据库，其中包含以下格式的姓名和好友列表。 ? 预期输出如下:名称和值在一行中，重复列数与名称重复数相同。 ? 执行此输出的最佳方法是什么？
浏览 47提问于2019-02-02得票数 1
回答已采纳
6回答
删除列表中的重复数据
、、、
我在python中有一个包含重复数据的列表。目标是从整体上删除这些重复的数据文件。以下是一些代码：
import pandas as pd
import numpy as np
##Creating Dataframes
data1_1 =[[1,2018,80], [2,2018,70]]
data1_2 = [[1,2017,77], [3,2017,62]]
df1 = pd.DataFrame(data1_1, columns = ['ID', 'Year', 'Score'])
df2 = pd.DataFrame(data1_
浏览 0提问于2019-04-17得票数 3
回答已采纳
我有一个数据集，其中包含所有世界杯比赛的列日期，A队，B队和其他一些列。但是这个数据集中有重复的数据，就像印度和澳大利亚的比赛，有两项记录如下，
DATE Team A Team B
24-May-1983 India Australia
24-May-1983 Australia India
我可以通过python中的两个for循环删除重复的记录，但是对于N*M比较和许多if条件以及其中的循环，这将是效率低下的。在python或R中有有效的方法来做到这一点吗？
提前谢谢。
浏览 2提问于2015-09-15得票数 0
回答已采纳
是一个笔记本，它是一个web应用程序，人们可以用它编写文档并用多种语言执行代码。为了解决这个问题，让我们继续讨论python。
我经常发现自己在许多jupyter文件中重复代码，大部分是跨数据科学项目的预测模型的评估代码。我怎么能不在jupyter python笔记本上重复一遍呢？
浏览 0提问于2018-08-09得票数 2
回答已采纳
我在python中有两个数据帧。 1)销售人数 ? 2)销售数据 ? 我想合并两个国家的表，并在salespersoncount中重复salesperson的时间值的salesdata no，并重复这n次，这将是一个输入，最终的输出应该如下所示： ? 有人能指导一下上面的步骤吗？
浏览 48提问于2020-02-01得票数 0
我是python的新手，我必须根据某些条件删除重复数据，即如果symb变量与相同的symb变量匹配，则删除重复的symb变量并关联数据，如( dtype，iotype，bias，slpe，unit，
max、min、client_no、path、ends)。我在这里附加了一个文件。
下面的fil链接
浏览 1提问于2020-11-28得票数 0
4回答
我正在建立一个小型搜索引擎来搜索pdf的集合。从每个pdf中，我提取一组令牌并将其存储在数据库中。我不想在数据库中存储重复的令牌，而是希望在数据库中存储每个令牌的计数。python有没有什么特殊的数据结构，不存储重复项，而是存储每个令牌的计数？
浏览 1提问于2011-05-17得票数 2
回答已采纳
使用Python和Pandas，我希望找到数据帧中所有具有重复行的列，并将它们移动到另一个数据框架中。例如，我可能有：
cats, tigers, 3.5, 1, cars, 2, 5
cats, tigers, 3.5, 6, 7.2, 22.6, 5
cats, tigers, 3.5, test, 2.6, 99, 52.3
我想要猫，老虎，3.5在一个数据帧中
cats, tigers, 3.5
在另一个数据框架中，我想
1, cars, 2, 5
6, 7.2, 22.6, 5
test, 2.6, 99, 52.3
代码应该检查每一列是否重复行，并且只删除在所有行
浏览 2提问于2019-10-21得票数 0
回答已采纳
我正在尝试找到从大型CSV文件中删除重复项的最佳方法。我每个月都会收到大约5/6百万行的CSV文件。我需要调整这些列(我只需要一些列，我需要添加一些其他列)。这些文件还包含许多重复的、不完整的行。
我已经想出了一个python的解决方案，我使用一个集合，并检查每一行是否在集合中。并改变需要改变的东西。
现在，我得到了第二个文件，它包含了前一个文件中的许多重复项。
我正在尝试找到一种有效的解决方案来删除文件中的重复项，以及不同文件之间的重复项。最后，我希望有一个列表(表或csv文件)，其中只包含该月的新条目。
我想使用python，并且我正在考虑使用sqlite数据库来存储数据。但我不确定哪种方
浏览 5提问于2018-08-13得票数 0
我有这样的数据：-
import pandas as pd
dict_data = {
'Date':pd.Timestamp('20200720'),
'Number': 123,
'course':pd.Series(['Python', 'Quant', 'CFA', 'Finance', 'Python', 'Python', 'Finance', 'Finance'])
浏览 2提问于2020-10-20得票数 0
回答已采纳
我是python的新手，我刚开始使用Storm和python作为基本的ORM。
我在一个文件中有很多数据，并且有一些重复的数据，为了识别它们，您可以看到一些行的in是重复的。
我想将它们插入到我的数据库中，我已经将id设置为主键，这样它就不能有重复项。我希望我的代码忽略在表中插入重复的数据。但是相反，它在_mysql_exceptions.IntegrityError: (1062, "Duplicate entry '75083587476530022' for key 'PRIMARY'")中失败了。
这是我的类的定义
from storm.
浏览 1提问于2012-10-24得票数 0
如何将我的数据随机分成3/4的训练数据和1/4的测试数据？
训练和测试数据不应包含划分后的重复注释。
python中有没有可以使用的包？
浏览 0提问于2017-03-13得票数 0
我有用Python编写的模块，我想用例如Go编写函数，但问题是计算所需的数据通常超过100 in。我的问题是:数据总是序列化并发送到其他模块(导致内存中的数据重复)还是隐藏了从Python进程内存读取数据的机制？此外，与不同的技术，如锈蚀，C++等，它是什么样子呢？
浏览 0提问于2020-07-08得票数 1
2回答
我有一个包含以下10个单词的数据：
A，B，C，D，E，F，G，H，I，J
我有一个数据集，其中包含这些词的排列，例如：
A，BA，B，C，DE，F，GH .诸若此类。
大多数组合都是非重复的，但不幸的是，有些组合是重复的.我想转换这些重复的组合，例如：
A、B、C、D、EC、A、B、D、E D、A、B、C、E等。(对于10个元素，大约有900万个重复组合，但只有1023个非重复组合.我的数据大约有1700，这意味着有一些重复)
我只想把所有这些转换成一个唯一的值(所有三个元素都有相同的单词，按不同的顺序，所以只能将这三个元素转换为A、B、C、D、E)，这可以是任何东西，但对于所有具有相同单词
浏览 2提问于2020-03-23得票数 0
我有一个postgresql表，其中包含重复数据的列，这些数据是使用django模型创建的：
为了获得列的不同值，我们使用postgre命令，如下所示：
SELECT distinct degree_code FROM studentapp_deg_course_cat
但是我希望使用python作为数组来获取这些数据。如何从python中的表列中获得不同的对象？
浏览 1提问于2014-04-08得票数 0
回答已采纳
1回答
嗨，亲爱的，我是学习蟒蛇和熊猫的新手。我想用Python和Pandas删除数据中包含重复数据的重复数据记录。在dataframe中，我有两个列"code“和"number”。有几个重复行对“代码”具有相同的值，每个行对应一个数字。我只希望保留一个代码，并保存最大的相应数目。例如："a“有三个值:7、5和4。我希望它只保留7，并删除其余的值，与其他代码相同。有人能帮忙吗？非常感谢
浏览 3提问于2020-06-17得票数 0
回答已采纳
对于owncloud (或nextcloud)项目，我们需要添加大量的存储，我已经检查了所有选项，例如: CEPH、Openstack Swift/Cinder、GlusterFS、SDFS和Tahoe-lafs。
有了这项服务，我们希望用户添加许多相同的文件，这就是为什么重复数据删除对我们非常重要。到目前为止，用于群集存储数据重复数据消除的唯一解决方案是SDFS和Tahoe-lafs。然而，我们担心的是这两个是Java和Python，它们会对CPU造成很大的伤害。(*是的，重复数据消除可能还意味着更多的RAM和CPU )
也许你们中的一位有更好的解决方案？*重复数据消除文件系统(例如ZSF)
浏览 2提问于2017-05-24得票数 2
大家好，我正在使用RCV1数据集。我想从文本文件中删除重复的单词或标记，但我不知道该如何做。因为这些不是重复行，所以这些都是文章中的单词。我正在使用python，请帮我做这个。
浏览 4提问于2017-04-29得票数 0
回答已采纳
1回答
与类似，但在python中。该算法生成的新标识不反映匹配记录的正确标识。假设数据重复使用单个数据。
PS:在示例中似乎没有问题
浏览 0提问于2018-09-20得票数 0
2回答
我正在使用伟大的新r包“网状”来合并Python和R，以便能够在R中使用只有Python可用的数据提供者(汤森路透Eikon)的API。我希望这样做，因为我的R能力比我(几乎不存在的) Python能力要好。
我使用来自Python模块" Eikon“的函数"get_news_headlines”作为API从汤森路透Eikon下载数据。通过将网状函数“导入”的参数“转换”为TRUE，我自动将生成的熊猫数据转换为r数据。
API将包含新闻发布日期的下载数据的第一列设置为索引。当dataframe自动转换为r对象时，日期中有重复项，我收到以下错误消息：
Error in `row.
浏览 2提问于2018-05-31得票数 2
2回答
这是我的问题:我必须生成一些综合数据(如7/8列)，相互关联(使用pearson系数)。我可以很容易地做到这一点，但是接下来，我必须在每一列中插入一个百分比的重复项(是的，pearson系数将更低)，这对于每一列来说是不同的。问题是，我不想亲自插入重复，因为在我的情况下，这将是欺骗。
有人知道如何生成已经重复的相关数据？我已经搜索过了，但通常问题都是关于删除或避免重复的。
Language: python3用于生成相关数据--我使用以下简单代码：
浏览 0提问于2018-12-08得票数 0
回答已采纳
可能重复：
我用md5.new()；md5.update("aaa")，md5.digest()
若要形成数据"aaa"的"aaa"散列，请执行以下操作。如何使用python返回数据？
浏览 7提问于2010-05-03得票数 7
回答已采纳
? 我有一大批美国公司季度市值的数据。一些公司要么被摘牌，要么被其他公司收购。数据流会自动重复此日期之后的最后一个可用值。我需要将所有这些重复值更改为空白单元格，直到我的数据集的最后一次观察。有没有关于如何在python上实现这一点的线索？ 谢谢
浏览 77提问于2021-07-02得票数 0
我必须编写一个与我的SQL数据库通信的python程序来写入数据……我已经做了代码，但它没有输入所有的数据，因为它说有重复的…有没有办法让它们倾斜呢？
浏览 1提问于2011-05-29得票数 0
我正在试着理解python。基本上，我正在尝试删除一些数据中的重复字符串(更准确地说，是日期)。例如： 2019-03-31
2019-06-30
2019-09-30
2019-12-31
2020-03-31
2020-03-31 注意2020-03-31是重复的。我想查找重复的日期并将其重命名为last quarter 相反，如果数据没有重复，我希望保持原样。 我目前有一些工作代码，可以检查是否有重复的代码。就是这样。我只需要一些关于如何重命名副本的正确方向的指导。 def checkForDuplicates(listOfElems):
if len(listOfElems) ==
浏览 23提问于2020-05-04得票数 0
回答已采纳
如果使用python在excel中找到重复的数据，有人知道如何删除下一行吗？
以下是我的输入数据(输入数据只有2列)：
col_1 col_2
1 number 2.37
2 number 2.8
3 number 3.4
4 number
5 number
6 number
7 number 2.62
8 number 3.1
9 number 2.6
如果找到重复的数据，则应从重复的数据开始删除行的其余部分。在这种情况下，上面的输入数据显示第4行到第6行是重复的数据，这意味
浏览 1提问于2019-09-30得票数 0
回答已采纳
1回答
我正在使用Scrapy和Python3在Win10上刮擦Python3。我对我的代码行为感到困惑，它重复了输出数据中的一些字段。有人能指出原因并提出解决方案吗？
代码：
输出示例：
浏览 3提问于2016-08-15得票数 0
回答已采纳
1回答
我有一个python脚本，它会抓取一个网站并将值插入到MySQL数据库中。脚本不断地在睡眠延迟循环上不断地更新网站。现在有5列值(例如，狗、猫、鼠标、蜥蜴、蛇)是从网站上刮来的，而6列是一个时间戳，当通过python脚本插入到数据库中时，会添加这个时间戳。我不想插入重复的行，但是如果有重复的话，我想保留原来的时间戳以及更新的时间戳。对于数据库用户来说，一个重要的指标是第一次发现这一行的时间，以及它是否仍然可以在被刮掉的网站上使用。
例如:假设脚本在下午2:30插入(beagle、calico、白老鼠、壁虎、python)。当循环在半小时内再次运行时，它会找到同一行，但会在新的3:00 at时间
浏览 3提问于2020-06-01得票数 0
回答已采纳
1回答
我有一个熊猫数据框架，它是我用Python中的文本文件创建的。我能够读取数据并生成数据帧，但经过一些处理后，我的数据帧中有许多冗余值，我想删除重复的值。我试着用 df2 = df1.drop_duplicates(subset=['FROM', 'ATTENDANCE'], keep = 'last', inplace=False)
df2 ? 但是，重复的数据仍然存在，并且不会被删除。我用drop_duplicates()尝试了所有方法，但没有一个对我有效。
浏览 15提问于2020-04-15得票数 0
回答已采纳
1回答
我有房地产数据csv文件。行中有很多信息，这是重复的，如下例所示：
Row1:
Su baldais, Skalbimo mašina, **Viryklė**, **Indaplovė**, Vonia
Row2
Virtuvės komplektas, **Viryklė**, **Indaplovė**, Dušo kabina, Rekuperacinė sistema
正如你所看到的，有很多数据是重复的(我用星星标记它)。有没有一种方法只从python的所有行中获取唯一的值？
浏览 4提问于2022-05-20得票数 0
回答已采纳
2回答
基于列表的重置索引
、、、
我想根据列表重新设置索引
让我说我有这样的数据
list = ['RGB','RBR','RGD']
a b
RBR 0 1
RGD 10 2
RGB 11 3
RGD 10 2
RGD 10 2
RGD 10 2
RBR 0 1
RGB 11 3
df.reindex(index=list)
文件"c:\users\yugas\appdata\local\programs\python\python36\lib\si
浏览 0提问于2018-06-24得票数 0
回答已采纳
我有新记录要插入到BQ中。如何只添加那些不存在的内容？加载时执行重复数据消除。 例如，我在BQ中有 id | text
-----
1 one
2 two
3 three 我想补充的是 3 three
4 four 我想以这样的方式结束 1 one
2 two
3 three
4 four (因此，要对3 three记录执行重复数据删除)。 我想使用python脚本。
浏览 26提问于2021-02-11得票数 0
回答已采纳
2回答
我有一个包含以下示例的数据库：
在用Python加载数据时生成数据帧，如下代码所示
import os
import pandas as pd
data_dir="D:\\userdata\\adbharga\\Desktop\\AVA\\PythonCoding\\VF-Aus\\4G Cell Graphs"
os.chdir(data_dir)
df = pd.read_csv('CA Throughput(Kbit_s) .csv',index_col=None, header=0)
输出：
是否有任何方法可以避免读取Pandas中的重复
浏览 1提问于2018-04-10得票数 3
回答已采纳
如何使用python将csv文件中特定列的数据存储在列表中？当我尝试重复输出它时，会输出
请帮帮忙
浏览 2提问于2021-03-03得票数 0
2回答
我有一个通过Django & Python访问的数据库。我们希望根据建筑物的地址来存储建筑物(而不是名称，因为有些建筑物根本没有名称)。
我们需要防止用户在同一建筑的数据库中输入重复的条目。这是困难的，因为人们可以键入地址(例如，"1000条大街“与"1000条大街”)
我们怎样才能可靠地防止重复呢？我使用的是MySQL数据库。
谢谢
浏览 1提问于2010-11-14得票数 0
我们在一个列中有大量的数据，我们需要使用python来识别重复的/可能的重复数据。
拉斯维加斯大道
拉斯维加斯大道3745号
拉斯维加斯大道南路3745号
拉斯维加斯-拉斯维加斯马球塔的雷恩树
雨树马球塔
钻石度假村的马球塔
马球塔钻石度假村-拉斯维加斯
我需要在我的数据库中识别像上面这样的实例。有谁能帮上忙吗?谢谢。
浏览 3提问于2017-05-04得票数 0
Python中支持重复和排序的最有效的对值数据结构是什么？
我需要一个字典一样的结构，但它必须支持重复，我正在寻找一个解决方案，可以快速排序的基础上每对的第一个值。
浏览 0提问于2013-03-03得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
