文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：103日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. css3 - 手機網頁中用css寫1px的描邊，為什么需要加一句overflow:hidden才能真正顯示1px？2. mysql - 一個表和多個表是多對多的關系，該怎么設計3. mysql新建字段時 timestamp NOT NULL DEFAULT ’0000-00-00 00:00:00’ 報錯4. python - type函數問題5. php - 第三方支付平臺在很短時間內多次異步通知,訂單多次確認收款6. Mysql && Redis 并發問題7. javascript - 百度echarts series數據更新問題8. css3 - css before 中文亂碼？9. javascript - node服務端渲染的困惑10. css - 求推薦幾款好用的移動端頁面布局調試工具呢？
排行榜
網公網安備