引言

之前有些無(wú)聊（呆在家里實(shí)在玩的膩了），然后就去B站看了一些python爬蟲(chóng)視頻，沒(méi)有進(jìn)行基礎(chǔ)的理論學(xué)習(xí)，也就是直接開(kāi)始實(shí)戰(zhàn)，感覺(jué)跟背公式一樣的進(jìn)行爬蟲(chóng)，也算行吧，至少還能爬一些東西，hhh。我今天來(lái)分享一個(gè)我的爬蟲(chóng)代碼。

正文

話不多說(shuō)，直接上完整代碼

ps：這個(gè)代碼有些問(wèn)題 每次我爬到fate的圖片它就給我報(bào)錯(cuò)，我只好用個(gè)try來(lái)跳過(guò)了，如果有哪位大佬能幫我找出錯(cuò)誤并給與糾正，我將不勝感激

import requests as rimport reimport osimport timefile_name = '動(dòng)漫截圖'if not os.path.exists(file_name): os.mkdir(file_name) for p in range(1,34): print('--------------------正在爬取第{}頁(yè)內(nèi)容------------------'.format(p)) url = ’https://www.acgimage.com/shot/recommend?page={}’.format(p) headers = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36'} resp = r.get(url, headers=headers) html = resp.text images = re.findall(’data-original='(.*?)' ’, html) names =re.findall(’title='(.*?)'’, html) #print(images) #print(names) dic = dict(zip(images, names)) for image in images: time.sleep(1) print(image, dic[image]) name = dic[image] #name = image.split(’/’)[-1] i = r.get(image, headers=headers).content try: with open(file_name + ’/’ + name + ’.jpg’ , ’wb’) as f: f.write(i) except FileNotFoundError: continue

先導(dǎo)入要使用的庫(kù)

import requests as rimport reimport osimport time

然后去分析要去爬的網(wǎng)址： https://www.acgimage.com/shot/recommend

下圖是網(wǎng)址的內(nèi)容：

好了 url已經(jīng)確定

下面去尋找headers

找到user-agent 將其內(nèi)容復(fù)制到headers中

第一步就完成了

下面是代碼展示

url = ’https://www.acgimage.com/shot/recommend?page={}’.format(p)headers = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36' }

然后檢索要爬的圖片內(nèi)容

從上圖就可以找到圖片的位置：data-origina=后面的內(nèi)容以及圖片的名字：title=后面的內(nèi)容

然后用正則表達(dá)式re來(lái)檢索就行了

images = re.findall(’data-original='(.*?)' ’, html)names =re.findall(’title='(.*?)'’, html)

最后將其保存就好了

i = r.get(image, headers=headers).contentwith open(file_name + ’/’ + name + ’.jpg’ , ’wb’) as f: f.write(i)

還有就是一些細(xì)節(jié)了

比如換頁(yè)

第一頁(yè)網(wǎng)址：

https://www.acgimage.com/shot/recommend

第二頁(yè)網(wǎng)址：https://www.acgimage.com/shot/recommend?page=2

然后將page后面的數(shù)字改動(dòng)就可以跳到相應(yīng)的頁(yè)面

換頁(yè)的問(wèn)題也就解決了

or p in range(1,34): url = ’https://www.acgimage.com/shot/recommend?page={}’.format(p)

以及將爬到的圖片放到自己建立的文件zh

使用了os庫(kù)

file_name = '動(dòng)漫截圖' if not os.path.exists(file_name): os.mkdir(file_name)

以及為了不影響爬取的網(wǎng)站 使用了sleep函數(shù)

雖然爬取的速度慢了一些

但是這是應(yīng)遵守的道德

time.sleep(1)

以上 這就是我的爬蟲(chóng)過(guò)程

還是希望大佬能解決我的錯(cuò)誤之處

萬(wàn)分感謝

總結(jié)

到此這篇關(guān)于python爬蟲(chóng)實(shí)例之獲取動(dòng)漫截圖的文章就介紹到這了,更多相關(guān)python爬蟲(chóng)獲取動(dòng)漫截圖內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！