正如标题所提到的,我试图使用aiohttp和异步从几个页面获取数据。但是,我遇到的问题涉及到程序从页面中获取信息的速度太快,然后退出。该网页需要首先更新其内容(这可能需要几秒钟),然后刷新以显示正确更新的内容,这正是我想要收集的内容。
有什么方法可以加载页面,等待几秒钟,刷新页面,然后读取其内容吗?这就是我当前的提取方法的样子:
async def fetch(session, url):
with aiohttp.Timeout(10):
async with session.get(url) as response:
return await
考虑以下类
class Category {
var tag: String?
var itemList: [Item]?
}
class Item {
var id: Int?
var type: String?
var itemDetails: ItemDetails?
}
class ItemDetails {
var description: String?
var name: String?
var price: Float?
}
给定一个类别对象数组。
我有一个模板有多个标题,所有的细节都是从数据库中提取的。
当我点击单个标题时,第二个页面打开,其中有详细的描述和URL链接:
/category-details/?expertise_category=INSTITUTIONAL
但我只想
category-details/INSTITUTIONAL as link
我希望从div内的标题提取文本字符串,并使用BeautifulSoup从<strong>标记中提取文本。
我可以使用soup.h1获得标题,但我希望获得专门位于h1 <div class="site-content">中的div
HTML:
<div class="site-content"><h1>Here is the title<strong>( And a bit more! )</strong></h1></div>
所以我想要Here is the tit