文章詳情頁
python - 用scrapy-splash爬取網(wǎng)站 為啥iframe下的內(nèi)容沒有被返回
瀏覽：170日期：2022-08-10 09:23:22
問題描述
用scrapy-splash爬取網(wǎng)站 為啥iframe下的內(nèi)容沒有被返回？
import scrapyfrom scrapy import Selectorclass Music163Spider(scrapy.Spider): name = 'music163' allowed_domains = ['music.163.com/#/discover/toplist'] start_urls = [’http://music.163.com/#/discover/toplist/’] def parse(self, response):print('parse:',response.text) def start_requests(self):for url in self.start_urls: yield scrapy.Request(url, self.parse, meta={’splash’: { ’endpoint’: ’render.html’, ’args’: {’wait’: 0.5, }} })
問題解答
回答1：你需要在parse中獲取iframe的url再次請(qǐng)求內(nèi)容。
相關(guān)文章：
1. 微信公眾號(hào)在線生成二維碼帶參數(shù)怎么搞？2. 微信開放平臺(tái) - android 微信支付后點(diǎn)完成按鈕，后回調(diào)打開第三方頁面，屏幕閃動(dòng)，求解決方法3. PHP單例模式4. javascript - 這種效果是輪播的效果嗎？？沒有思路，求解釋。謝謝大家5. css - font-face引入的新字體無法在火狐瀏覽器上顯示？但是谷歌可以？6. css3 - 誰有時(shí)間能給翻譯一下，應(yīng)該都是CCS的樣式屬性的中文名稱，或者有什么網(wǎng)站有CSS屬性的中英對(duì)照表也行。7. html5 - html web 打包成android app8. node.js - 利用vue-cli 構(gòu)建執(zhí)行到npm run dev 報(bào)錯(cuò)，求解~9. javascript - 微信小程序的分享問題10. css3 - 能否在CSS中定義“對(duì)特定字體的文本加粗”？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備