scrapy -如何使用pandas dataframe中的数据填充项目？
scrapy -如何使用pandas dataframe中的数据填充项目？
提问于 2016-06-17 13:20:02
假设CrawlSpider如下：
import scrapy
from scrapy.loader import ItemLoader
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from tutorial.items import TestItem
from scrapy.http import HtmlResponse
class TestCrawlSpider(CrawlSpider):
name = "test_crawl"
allowed_domains = ["www.immobiliare.it"]
start_urls = [
"http://www.immobiliare.it/Roma/case_in_vendita-Roma.html?criterio=rilevanza",
"http://www.immobiliare.it/Napoli/case_in_vendita-Napoli.html?criterio=rilevanza"
]
rules = (
Rule(LinkExtractor(allow=(), restrict_xpaths=('//a[@class="no-decoration button next_page_act"]',)), callback="parse_start_url", follow= True),
)
def parse_start_url(self, response):
for selector in response.css('div.content'):
l = ItemLoader(item=TestItem(), selector=selector)
l.add_css('Price', '.price::text')
l.add_value('City', '...')
l.add_value('Longitude', '...')
l.add_value('Latitude', '...')
yield l.load_item()以及相应的items.py：
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import TakeFirst, MapCompose, Join
class TestItem(scrapy.Item):
Price = scrapy.Field(
output_processor=MapCompose(unicode.strip),
)
City = scrapy.Field(serializer=str)
Latitude = scrapy.Field(serializer=str)
Longitude = scrapy.Field(serializer=str)对于每个start_url，我都将相应的地理信息(“城市”、“经度”、“纬度”)存储在pandas数据帧中。对于上面的示例，数据帧如下所示：
City Latitude Longitude
0 Roma 40.85 14.30
1 Napoli 41.53 12.30如何用存储在数据框中的信息填充'City'，‘经度’，'Latitude‘项？
回答 1
Stack Overflow用户
发布于 2016-06-17 13:28:07
我将使用start_requests()方法填充每个城市的meta信息，通过.to_dict()将数据帧转储到字典中以简化查找：
def start_requests(self):
df = pd.DataFrame(...)
# make a dictionary, City -> City info
d = df.set_index('City').to_dict()
pattern = re.compile(r"http://www.immobiliare.it/(\w+)/")
for url in self.start_urls:
city = pattern.search(url).group(1)
yield scrapy.Request(url, meta={"info": d[city]})然后，在回调中，从response.meta获取信息字典
def parse_start_url(self, response):
info = response.meta["info"]
for selector in response.css('div.content'):
l = ItemLoader(item=TestItem(), selector=selector)
l.add_css('Price', '.price::text')
l.add_value('City', info['City'])
l.add_value('Longitude', info['Longitude'])
l.add_value('Latitude', info['Latitude'])
yield l.load_item()未测试。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/37882663
复制相关文章
相似问题
使用Pandas dataframe中填充的行填充缺失数据
使用数据库填充Pandas Dataframe
Pandas Dataframe中的动态列数据(由Dataframe填充)
使用Python使用备用CSV数据填充Pandas Dataframe
如何使用列迭代填充pandas Dataframe
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
