如何在Pandas DataFrame中使用json_normalize访问特定字段
在Pandas DataFrame中使用json_normalize访问特定字段的方法如下：
- 首先，确保你已经导入了Pandas库：import pandas as pd
- 使用json_normalize函数来将包含嵌套JSON的列展开为新的DataFrame。该函数的语法如下： df_normalized = pd.json_normalize(df['column_name'])
- 其中，df是你的DataFrame对象，'column_name'是包含嵌套JSON的列名。
- 如果你的嵌套JSON位于多个列中，可以使用apply函数将json_normalize应用于每一行。例如，假设你的嵌套JSON位于名为'json_column'的列中，可以使用以下代码： df_normalized = df['json_column'].apply(pd.json_normalize)
- 现在，你可以通过使用点操作符来访问特定字段。例如，假设你的嵌套JSON包含一个名为'field_name'的字段，你可以使用以下代码来访问该字段： df_normalized['field_name']
以上是在Pandas DataFrame中使用json_normalize访问特定字段的方法。这种方法适用于处理包含嵌套JSON的数据，并且可以帮助你轻松地访问和操作特定字段的值。
推荐的腾讯云相关产品：腾讯云数据库TDSQL、腾讯云数据万象CI、腾讯云对象存储COS等。你可以通过访问腾讯云官方网站获取更多关于这些产品的详细信息和介绍。
相关·内容
2回答
我正在尝试迭代文件夹中的json文件，并将它们全部附加到一个pandas dataframe中。
如果我说
import pandas as pd
import numpy as np
import json
from pandas.io.json import json_normalize
import os
directory_in_str = 'building_data'
directory = os.fsencode(directory_in_str)
df_all = pd.DataFrame()
with open("building_data/ro
浏览 11提问于2019-07-20得票数 2
回答已采纳
我正在尝试将数据从Draftkings Sportsbook加载到Pandas Dataframe中。不幸的是，在我的尝试中，我只能获得列表的最后一行来填充到Dataframe中。对于如何让它工作，有什么建议吗？
这是我到目前为止所知道的：
import requests
import pandas as pd
import numpy as np
from pandas import json_normalize
from functools import reduce
def parse_data(jsonData):
results_df = pd.DataFrame()
浏览 9提问于2021-05-19得票数 1
1回答
我有一个稍微复杂的json，我需要将其转换为dataframe。这是来自另一个API的标准输出json，因此字段名称不会更改。 我有下面的字典，它比我到目前为止使用的要复杂得多。 >>> import pandas as pd
>>> data = [{'annotation_spec': {'description': 'Story_Driven',
... 'display_name': 'Story_Driven'},
... 'segments'
浏览 16提问于2019-05-10得票数 1
回答已采纳
我需要从REST API获取一些数据来创建web地图。我想先看看数据，这就是为什么我尝试将json转换为pandas dataframe的原因。当它只是API的一个页面时，我的代码(如下所示)运行良好，但当我循环所有页面并将结果存储在列表中时，它会给我一个错误。我哪里做错了？还有别的办法吗？
import geopandas as gpd
import requests
import pandas as pd
import folium
import json
api_url = "https://pmap.minregion.gov.ua/index.php?r=api/doc
浏览 20提问于2020-02-13得票数 0
回答已采纳
我正在使用api响应来获取印度pin代码列表以及州，国家和许多名称，这是在邮局字段，我想要专用的数据帧为邮局字段，请帮助 import pandas as pd
import numpy as np
import json
import requests
from pandas.io.json import json_normalize
response = requests.get("https://api.postalpincode.in/pincode/110094")
data = json.loads(response.text)
json_normalize(
浏览 8提问于2020-03-21得票数 0
1回答
也许有人能帮我。我尝试将以下列表展开为一个pandas数据帧：
[{u'_id': u'2',
u'_index': u'list',
u'_score': 1.4142135,
u'_source': {u'name': u'name3'},
u'_type': u'doc'},
{u'_id': u'5',
u'_index': u'list',
浏览 1提问于2016-07-27得票数 2
回答已采纳
我有一个dataframe，该列包含json对象和字符串。我想摆脱那些不包含json对象的行。
下面是我的dataframe的样子：
import pandas as pd
df = pd.DataFrame({'A': ["hello","world",{"a":5,"b":6,"c":8},"usa","india",{"a":9,"b":10,"c":11}]})
print(df)
如何删除只包含字符串的行，
浏览 2提问于2017-10-20得票数 2
回答已采纳
您好，我有这样的工作代码： import pandas as pdfrom pandas.io.json import json_normalize
import json
import warnings
warnings.filterwarnings('ignore')
with open('yieldfull.json') as file:
data = json.load(file)
df_json = json_normalize(data)
df_json_stripped = data[0]
platform_dict = df_jso
浏览 22提问于2021-05-07得票数 1
回答已采纳
我正在尝试从一个YAML文件中获取数据到一个熊猫DataFrame。以下面的data.yml为例 ---
- doc: "Book1"
reviews:
- reviewer: "Paul"
stars: "5"
- reviewer: "Sam"
stars: "2"
- doc: "Book2"
reviews:
- reviewer: "John"
stars: "4"
浏览 38提问于2019-01-19得票数 5
回答已采纳
1回答
我无法正确地将这个特定的Json文件作为阅读。对于其他JSON示例，我使用了类似的代码--这些代码工作得很好，但是我需要一些帮助来理解这里可能出错的地方。
嵌套的“特征”不能直接读取并引发错误。实际的表如下所示：
import json
import pandas as pd
from pandas.io.json import json_normalize
with open("./assessment/0144209a-32ee-4114-bc69-9912dd3dde5c.json") as f:
d = json.load(f)
df = json_n
浏览 0提问于2018-06-17得票数 0
1回答
嗨，我有一个json列表，看起来像
data = [{'entry':{'points': 50, 'time': '5:00', 'year': 2010}},
{'entry':{'points': 25, 'time': '6:00', 'month': "february"}},
{'entry':{'points':90, 'time': '
浏览 2提问于2018-05-05得票数 1
回答已采纳
1回答
我正试着将以下内容存储在熊猫的资料中：
{
"page": 1,
"results": [
{
"poster_path": null,
"adult": false,
"overview": "Go behind the scenes during One Directions sell out \"Take Me Home\" tour and experience life on the r
浏览 7提问于2020-01-23得票数 2
回答已采纳
我正在尝试将json格式转换为dataframe，但是出现了一个错误：“所有数组都必须具有相同的长度”。下面是密码。任何建议都是非常感谢的。
我有以下代码
import pandas as pd
import requests
import json
from pandas import json_normalize
resp = requests.get("https://unstats.un.org/SDGAPI/v1/sdg/Indicator/Data?indicator=7.2.1")
resp.json()
pd.DataFrame(resp.json())
浏览 7提问于2022-09-07得票数 1
回答已采纳
1回答
我正在尝试将嵌套的json数据读取到pandas数据帧中。使用以下代码：
deptdata = json.loads(data)
print(pd.DataFrame(json_normalize(deptdata)))
以下输出：
dept branchData
0 Mechanical [{'branch': 'abc', 'sale': 12}]
1
浏览 1提问于2020-04-16得票数 1
1回答
我正在访问一个相当大的json文件系列，并将它们存储在一个pandas系列中，这是一个更大的数据帧的一部分。我希望在上述json中有几个字段，其中一些字段是嵌套的。我一直在使用json_normalize提取它们。中的目标是将这些新字段与我的原始数据帧合并。
我的问题是，当我这样做时，我得到的不是具有J行和K列的数据帧，而是每个元素都是1xK数据帧的J长度序列。我想知道是否有一种有效的矢量化方法将这个嵌套的序列/数据帧转换为常规数据帧，或者从一开始就获取常规数据帧。
我已经使用map/lambda创建了我的嵌套系列。现在我正在使用iteritem/append解嵌，但必须有一种更有效的方法。
浏览 0提问于2019-11-11得票数 0
我有多个JSON，我正在尝试使用pandas解析这些json，并将数据填充到表中，但由于不同json输出，我面临着“长度不匹配问题”
我有两个儿子。
Json 1
{
"extract":{
"details":{
"name":"John Smith",
"region":null,
"add":"56 Street",
"state":ZL,
"ex
浏览 6提问于2020-05-05得票数 0
1回答
我正在研究一个大型的JSON，我想将它转换为csv，以便进行进一步的分析。当我使用json_normalize构建表时，它会得到以下错误：
回溯(最近一次调用)：
文件"/Users/Home/Downloads/JSONtoCSV/easybill.py"，第30行，在“状态”、“文本”、"text_prefix“、”标题“、”类型“、"use_shipping_address”、"vat_option“中
文件"/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/s
浏览 2提问于2017-10-15得票数 1
假设我有以下DataFrame： import pandas as pd
df = pd.DataFrame({'events': [ [{'event_text': 'hello1'}, {'event_text': 'hello2'}],
[{'event_text': 'whats up?'}],
[{'event_text': &#
浏览 17提问于2019-01-03得票数 3
回答已采纳
当我执行以下命令时，我会得到一个ValueError
df = pd.DataFrame.from_dict(
json_normalize(
data,
'protocol_parameters',
[['status','status'],
&
浏览 1提问于2018-08-30得票数 6
回答已采纳
我正在尝试将字典的dataframe列扩展到它自己的dataframe/其他列中。我已经尝试过使用json_normalize、迭代和列表理解，但出于某种原因，它只是返回一个空白数据。我已经给我的CSV附加了一个链接。
import matplotlib.pyplot as plt
import pandas as pd
import requests
from pandas.io.json import json_normalize
import seaborn as sns
import json
from google.colab import files
import
浏览 5提问于2022-03-24得票数 1
我有python脚本，但是当导出文件时，只打印"y“、"meas”、“标签”，使任何数据变白。我在运行scrpt时没有错误。你能建议修一下吗？我不能张贴链接和json。
import requests
from pandas.io.json import json_normalize
import json
import pandas as pd
import numpy as np
# try this
total_df = pd.DataFrame()
request_list = ["LInk",]
# read each link
for r in
浏览 1提问于2021-09-23得票数 1
回答已采纳
我试图用一个列表数组将一个列拆分为多个列，并创建多个行。以下是样本数据：
signalid monthyear readings
5135 201901 [{"v":"90","q":1,"t":1546444800000,"g":0}]
5135 201901 [{"v":"50","q":1,"t":1546444900000,"g":0}]
5135 20190
浏览 0提问于2019-02-06得票数 1
我正在尝试从API中提取数据，用于我正在进行的一个梦幻橄榄球项目。你可以使用url：'‘来获取不同玩家的数据，其中i是一个与玩家相关的数字，范围从1到400左右。
我编写了代码，为特定的播放器提取这些数据，并将其存储为数据帧，以供将来使用以下代码进行分析：
import pandas as pd
import json
import requests
from pandas.io.json import json_normalize
r = requests.get('https://fantasy.premierleague.com/api/element-summary/
浏览 0提问于2020-09-21得票数 0
各种嵌套字典和数据结构:) 我有一本字典样本- stream= {
"Outerclass": {
"Main_ID": "1",
"SetID": "1041",
"Version": 2,
"nestedData": {
"time": ["5000", "6000", "7000"],
"
浏览 9提问于2020-08-21得票数 0
回答已采纳
下面是我的输出。正如您所看到的，在我的响应中，孩子显然是一个(字典)字段。
这段代码运行良好，但它保留了所有嵌套字段(列表或字典)的原样：
user = ""
password = getattr(config, 'password')
url = ''
req = requests.post(url = url, auth=(user, password))
print('Authentication succesful!/n')
ans = req.json()
#Transform resultList in
浏览 4提问于2017-12-07得票数 0
回答已采纳
我正在尝试将API调用返回的json转换为pandas dataframe。理想情况下，我只想提取‘类型’，‘名称’和‘供应’。 我尝试了多种方法，比如flatten()、json_normalize()等等，但都不能正常工作。 def get_cryptocompare_data():
url = "https://min-api.cryptocompare.com/data/top/mktcapfull?limit=15&tsym=USD"
data = requests.get(url)
d = data.json() 我想把它转换成pa
浏览 22提问于2019-04-17得票数 0
回答已采纳
我正在尝试使用json_normalize()函数将一个大的(大约900MB) json文件规范化为一个pandas DataFrame。这适用于我正在处理的所有其他文件(大小约为150-500MB)，尽管每个文件都需要几分钟才能完成。然而，对于这个文件，它似乎永远都在运行，永远不会结束。在标准化之前，我已经尝试过使用read_json()将json文件直接读取到DataFrame中，以及使用json.loads()简单地从文件中加载json。这两种方法都有相同的结果。我使用的代码是：
import pandas as pd
import json
path = mf.getPath(
浏览 2提问于2014-06-28得票数 4
我目前正在尝试使用Pandas将JSON文件转换为CSV文件。
我现在使用的代码能够将JSON转换为CSV文件。
import pandas as pd
json_data = pd.read_json("out1.json")
from pandas.io.json import json_normalize
df = json_normalize(json_data["events"])
df.to_csv("out.csv)
这是我的JSON文件：
{
"events": [
{
"raw":
浏览 0提问于2018-09-18得票数 1
回答已采纳
1回答
我一直在努力从Pandas列中的字典中提取元素，并将这些项放入几个新列中。
我有一个由两个列组成的DataFrame，即ID和数据(字典)。
ID data
0 6602629924 {'@status': 'found', '@_fa': 'true', 'coredata...
1 55599317400 {'@status': 'found', '@_fa': 'true', 'coredata...
2 25652391600
浏览 2提问于2022-11-15得票数 -1
我正在下载json格式的数据，并将其保存到数据框架中。
data = []
for day in range(9,10):
request=Request('https://api..../10/'+str(day)+'/'+appId='+appID+')
response = urlopen(request)
arrivals = response.read()
d = json.loads(arrivals)
data.append(json_normalize(d[&#
浏览 0提问于2015-10-11得票数 1
回答已采纳
2回答
假设我有以下DataFrame，其中data列包含一个嵌套的JSON字符串，我想将该字符串解析为单独的列：
import pandas as pd
df = pd.DataFrame({
'bank_account': [101, 102, 201, 301],
'data': [
'{"uid": 100, "account_type": 1, "account_data": {"currency": {"current": 1000, &
浏览 1提问于2018-04-26得票数 12
回答已采纳
我希望每n分钟查询一次API，并将响应解析为dataframe。但是，当我尝试这样做时，我得到了一个TypeError：
TypeError：“DataFrame”对象不可调用
我试过：
运行返回get请求的函数
运行一个函数，将上述内容返回到熊猫数据中。
在#1中，我得到了"'dict‘对象是不可调用的“。
在#2中，我得到了"'DataFrame not callable'“错误(如上面所示)。
如果我打印函数的结果，两者都能很好地工作，但是需要对结果进行计算，因此需要返回一个数据文件响应。
似乎我错过了一些显而易见的东西。有
浏览 1提问于2015-10-12得票数 1
回答已采纳
1回答
我怎样才能解决这个空数据的问题？
、、、、
我试图在DataFrame上保存一些API请求，但是在运行代码之后，它将继续为空。我遗漏了什么？有人能帮我吗？
import requests
import json
import pandas as pd
from pandas import json_normalize
lista = []
lista = pd.DataFrame(lista)
contador = 0
data_inicial = 'https://public2-api2.ploomes.com/Deals'
while contador <= 3:
data_text = requ
浏览 6提问于2022-08-16得票数 0
1回答
BTC-E自动收报机时间格式
、、、、
我正在使用python将比特币自动收录机拖入pandas DF并放入我的SQL数据库中，但是我不知道dam服务器时间和更新时间是什么格式。我想转换我的熊猫DF的时间，然后放入我的SQL DB。
import pandas as pd
import urllib
import json
from pandas.io.json import json_normalize
import sqlalchemy
engine = sqlalchemy.create_engine("mssql+pyodbc://@localhost")
bitcoin = 'https://b
浏览 0提问于2015-01-05得票数 0
1回答
我对我想要转换为pd.DataFrame的财务数据有个小问题。
数据看上去如下：
{u'candles': [{u'complete': True,
u'mid': {u'c': u'1.19228',
u'h': u'1.19784',
u'l': u'1.18972',
u'o': u'1.19581'},
u'time': u'2018-05-06T21:
浏览 0提问于2018-05-08得票数 1
回答已采纳
我有这个JSON样本
{
"name":"John",
"age":30,
"cars": [
{ "name":"Ford", "models":[ "Fiesta", "Focus", "Mustang" ] },
{ "name":"BMW", "models":[ "320", "X3", &#
浏览 2提问于2017-05-18得票数 14
回答已采纳
我是Python新手，我正面临Json和Pandas的一个相当简单的问题，我认为这是一个非常简单的问题。
不幸的是，我的大脑似乎停止工作了，所以我很感激你的帮助。
我想分析来自游戏超级马里奥的itunes评论，我想用JSON来做。
我想检索评论和随之而来的所有信息，我希望它作为一个数据框架，以便我可以开始我的分析。
链接：
我的代码：
import json
import requests
import pandas as pd
requestpost = requests.get('https://itunes.apple.com/gb/rss/customerreviews/id
浏览 4提问于2020-05-02得票数 0
回答已采纳
我试着分析一个网站的数据。我解析了HTML以使用json.loads()获取json数据。
data = json.loads(soup.find('script', type='application/ld+json').text)
因此，现在留给我的数据类似于以下内容：
data = """
{'aggregateRating': {'reviewCount': 1691,
'@type' : 'AggregateRating
浏览 2提问于2017-11-11得票数 0
回答已采纳
我如何告诉我的程序跳过已损坏的/不存在的URL并继续执行任务？每次我运行它时，它都会在遇到不存在的URL时停止，并给出错误：索引错误:超出范围的列表索引。
范围是URL在1到450之间，但是混合中有一些页面被破坏了(例如，URL 133不存在)。
import requests
import pandas as pd
import json
from pandas.io.json import json_normalize
from bs4 import BeautifulSoup
df = pd.DataFrame()
for id in range (1, 450):
u
浏览 18提问于2022-09-08得票数 1
回答已采纳
在json下面，我从外部webservice获得了以下信息：
text="""
[{
"id":"1",
"name" : "abc",
"address":{
"flat":"123",
"city":"paris",
"street
浏览 0提问于2018-06-01得票数 2
回答已采纳
我正在使用pandas.io.json.json_normalize()将一些json转换成一个dataframe，然后通过df.to_sql()将其推送到SQLite数据库。
但是，在处理这个问题时，我得到了sqlite3.InterfaceError: Error binding parameter 1 - probably unsupported type.，我想是因为我的一个json字段是一个空数组。
据我所知，我可以向json_normalize传递额外的path参数，让它提取数组值，并使用父数据增加行：
json_normalize(json_data, 'field_na
浏览 5提问于2018-04-25得票数 3
回答已采纳
我有一个dataframe，其中一列是嵌套字典。我想创建一个函数，您可以在其中传递每一行和一个列名，并创建一个将列json_normalizes到一个数据帧中的函数。然而，我一直在获取和错误‘函数接受2个位置参数，6个被给定’在数据帧中有超过6列，在行col中有超过6列，所以我对如何提供6个参数感到困惑。 import pandas as pd
from pandas.io.json import json_normalize
def fix_row_(row, col):
if type(row[col]) == list:
df = json_normalize(
浏览 17提问于2020-05-01得票数 0
回答已采纳
3回答
我有一个DataFrame，索引中有日期。我每天都要做DataFrame的子集。是否有任何方法可以编写函数或循环来自动生成这些步骤？
import json
import requests
import pandas as pd
from pandas.io.json import json_normalize
import datetime as dt
#Get the channel feeds from Thinkspeak
response = requests.get("https://api.thingspeak.com/channels/518038/feeds.jso
浏览 0提问于2018-12-07得票数 0
回答已采纳
我正在将Twitter数据(tweet+ meta数据)收集到MongoDB服务器中。现在我想做一些统计分析。为了将数据从MongoDB获取到Pandas数据框架中，我使用了以下代码：
cursor = collection.find({},{'id': 1, 'text': 1})
tweet_fields = ['id', 'text']
result = pd.DataFrame(list(cursor), columns = tweet_fields)
通过这种方式，我成功地将数据加载到Pandas中，这是很棒的。现在
浏览 2提问于2015-10-26得票数 5
回答已采纳
我有一组字典对象，其结构如下所示：
{'android_id': 'ds cgethcvwrzvbjezrzve',
'app': 'hndbfhjdfhf bnmhjknuihklmmkbghjbtfgjnkluilnkkfbnjtkjzn',
'app_ver': '10.0.1_0',
'at': '2016-02-02 23:59:47',
'birth_date': 1447896843,
'browser': &#
浏览 1提问于2016-02-04得票数 1
回答已采纳
2回答
我有一个JSON文件
response ={
"classifier_id": "xxxxx-xx-1",
"url": "/testers/xxxxx-xx-1",
"collection": [
{
"text": "How hot will it be today?",
"top_class": "temperature",
"classes": [
{
浏览 2提问于2020-09-19得票数 0
2回答
此语句读取json文件。但是它没有正确地拆分列。 df = pd.read_json('https://s3.amazonaws.com/todel162/config1.json'，orient=‘索引’) 有没有办法使用pandas dataframe来读取json？
浏览 12提问于2019-04-14得票数 1
回答已采纳
1回答
我有以下json文档，我想将其导入到dataframe中：
{
"agents": [
{
"core_build": "17",
"core_version": "7.1.1",
"distro": "win-x86-64",
"groups": [
{
"id": 101819,
"
浏览 0提问于2018-10-20得票数 0
我刚接触pandas和python，在这方面遇到了困难。我有一个复杂的nexted json文件，我想把它加载到pandas数据帧中。
我使用了以下代码：
import json
import urllib.request
import pandas as pd
import numpy as np
from pandas.io.json import json_normalize
file_str = 'C:\\file.json'
with open(file_str, 'r', encoding="utf-8") as json_fil
浏览 0提问于2017-01-24得票数 4
我有一个，其中包含了一个json字段，我需要将其扁平化(并保留其余的dataframe字段)，令人困惑的是，这个字段有时(对于某些记录)包含一个列表，有时只包含一个值(而不是在列表中)。
例如(请运行代码段以查看dataframe的示例)：
<table>
<th>rank</th>
<th>Protocol</th>
<th>Type</th>
<tr>
<td>1</td>
<td>https</td>
<td>{'Res
浏览 0提问于2019-07-05得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
