在django項目根目錄位置創(chuàng)建scrapy項目，django_12是django項目，ABCkg是scrapy爬蟲項目，app1是django的子應用

2.在Scrapy的settings.py中加入以下代碼

import osimport syssys.path.append(os.path.dirname(os.path.abspath(’.’)))os.environ[’DJANGO_SETTINGS_MODULE’] = ’django_12.settings’ # 項目名.settingsimport djangodjango.setup()

3.編寫爬蟲，下面代碼以ABCkg為例，abckg.py

# -*- coding: utf-8 -*-import scrapyfrom ABCkg.items import AbckgItem class AbckgSpider(scrapy.Spider): name = ’abckg’ #爬蟲名稱 allowed_domains = [’www.abckg.com’] # 允許爬取的范圍 start_urls = [’http://www.abckg.com/’] # 第一次請求的地址 def parse(self, response): print(’返回內容：{}’.format(response)) ''' 解析函數 :param response: 響應內容 :return: ''' listtile = response.xpath(’//*[@id='container']/div/div/h2/a/text()’).extract() listurl = response.xpath(’//*[@id='container']/div/div/h2/a/@href’).extract() for index in range(len(listtile)): item = AbckgItem() item[’title’] = listtile[index] item[’url’] = listurl[index] yield scrapy.Request(url=listurl[index],callback=self.parse_content,method=’GET’,dont_filter=True,meta={’item’:item}) # 獲取下一頁 nextpage = response.xpath(’//*[@id='container']/div[1]/div[10]/a[last()]/@href’).extract_first() print(’即將請求:{}’.format(nextpage)) yield scrapy.Request(url=nextpage,callback=self.parse,method=’GET’,dont_filter=True) # 獲取詳情頁 def parse_content(self,response): item = response.meta[’item’] item[’content’] = response.xpath(’//*[@id='post-1192']/dd/p’).extract() print(’內容為：{}’.format(item)) yield item

4.scrapy中item.py 中引入django模型類

pip install scrapy-djangoitem

from app1 import modelsfrom scrapy_djangoitem import DjangoItemclass AbckgItem(DjangoItem): # define the fields for your item here like: # name = scrapy.Field() # 普通scrapy爬蟲寫法 # title = scrapy.Field() # url = scrapy.Field() # content = scrapy.Field() django_model = models.ABCkg # 注入django項目的固定寫法，必須起名為django_model =django中models.ABCkg表

5.pipelines.py中調用save()

import jsonfrom pymongo import MongoClient# 用于接收parse函數發(fā)過來的itemclass AbckgPipeline(object): # i = 0 def open_spider(self,spider): # print(’打開文件’) if spider.name == ’abckg’: self.f = open(’abckg.json’,mode=’w’) def process_item(self, item, spider): # # print(’ABC管道接收：{}’.format(item)) # if spider.name == ’abckg’: # self.f.write(json.dumps(dict(item),ensure_ascii=False)) # # elif spider.name == ’cctv’: # # img = requests.get(item[’img’]) # # if img != ’’: # # with open(’圖片%d.png’%self.i,mode=’wb’)as f: # # f.write(img.content) # # self.i += 1 item.save() return item # 將item傳給下一個管道執(zhí)行 def close_spider(self,spider): # print(’關閉文件’) self.f.close()

6.在django中models.py中一個模型類，字段對應爬取到的數據，選擇適當的類型與長度

class ABCkg(models.Model): title = models.CharField(max_length=30,verbose_name=’標題’) url = models.CharField(max_length=100,verbose_name=’網址’) content = models.CharField(max_length=200,verbose_name=’內容’) class Meta: verbose_name_plural = ’爬蟲ABCkg’ def __str__(self): return self.title

7.通過命令啟動爬蟲：scrapy crawl 爬蟲名稱

8.django進入admin后臺即可看到爬取到的數據。

到此這篇關于Django結合使用Scrapy爬取數據入庫的方法示例的文章就介紹到這了,更多相關Django Scrapy爬取數據入庫內容請搜索好吧啦網以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網！