请教大神:能抓取集思录里:投资日历中的表格数据吗?

#4 · closed · 4 comments

View on GitHub ↗

runrun88

求助 抓取日历表格中的数据,因为抓取的是 日历控件,里面的数据都是动态生成的。 怎么搞都不出来,特求助您。 网址:https://www.jisilu.cn/data/calendar/ url='https://www.jisilu.cn/data/calendar/' driver = webdriver.Chrome() driver.get(url) # 强制等待 time.sleep(1) html = driver.page_source driver.quit() soup = BeautifulSoup(html, 'lxml') # lxml为解析器 varStr = soup.find(id='calendar') trs= varStr.find_all('tr')

Comments

kangvcar

> 求助 抓取日历表格中的数据,因为抓取的是 日历控件,里面的数据都是动态生成的。 > > 怎么搞都不出来,特求助您。 > > 网址:https://www.jisilu.cn/data/calendar/ > > url='https://www.jisilu.cn/data/calendar/' > > driver = webdriver.Chrome() > > driver.get(url) > > > > # 强制等待 > > time.sleep(1) > > > > > > html = driver.page_source > > driver.quit() > > soup = BeautifulSoup(html, 'lxml') # lxml为解析器 > > varStr = soup.find(id='calendar') > > trs= varStr.find_all('tr') 用chrome 开发者工具看看network能不能找到api

kangvcar

![20200328000713.png](https://i.loli.net/2020/03/28/MnTho8m5gJKZWej.png)

kangvcar

https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=newbond_onlist&start=1583078400&end=1586707200&_=1585325017186

kangvcar

这些数据是用ajax返回的,分析一下url的构造,就能获取你要的信息。 - 休市信息:[https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=OTHER&start=1583078400&end=1586707200&_=1585325017184](https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=OTHER&start=1583078400&end=1586707200&_=1585325017184) - 新债信息:[https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=newbond_onlist&start=1583078400&end=1586707200&_=1585325017186](https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=newbond_onlist&start=1583078400&end=1586707200&_=1585325017186) - 新股信息:[https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=newstock_apply&start=1583078400&end=1586707200&_=1585325017179](https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=newstock_apply&start=1583078400&end=1586707200&_=1585325017179) - 分红信息:[https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=diva&start=1583078400&end=1586707200&_=1585325017187](https://www.jisilu.cn/data/calendar/get_calendar_data/?qtype=diva&start=1583078400&end=1586707200&_=1585325017187) 希望能对你有帮助!@runrun88