python - pyspider使用redis分布式
問題描述
在部署pyspider分布式時,嘗試連接redis集群配置項為： 'message_queue':'redis://127.0.0.1:6380/db'在啟動時：報如下錯誤[E 170221 09:40:39 tornado_fetcher:529] MOVED 12068 127.0.0.1:6380
Traceback (most recent call last): File '/usr/lib/python2.6/site-packages/pyspider/fetcher/tornado_fetcher.py', line 515, in queue_loop if self.outqueue.full(): File '/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py', line 50, in full if self.maxsize and self.qsize() >= self.maxsize: File '/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py', line 40, in qsize self.last_qsize = self.redis.llen(self.name) File '/usr/lib/python2.6/site-packages/redis/client.py', line 1219, in llen return self.execute_command(’LLEN’, name) File '/usr/lib/python2.6/site-packages/redis/client.py', line 573, in execute_command return self.parse_response(connection, command_name, **options) File '/usr/lib/python2.6/site-packages/redis/client.py', line 585, in parse_response response = connection.read_response() File '/usr/lib/python2.6/site-packages/redis/connection.py', line 582, in read_response raise responseResponseError: MOVED 12068 127.0.0.1:6380
經查找，得到：因為redis由單節點變為集群，而python的redis連接包暫時還不支持redis集群連接方式，需要更換連接包（redis-py-cluster）。
在安裝完redis-py-cluster之后，依舊報上面的錯誤。
問題解答
回答1：鏈接 redis 使用的庫是寫在代碼里面的，不是你安裝了就會切換的。就算你要改代碼，也要確認 API 是兼容的。
相關文章：
1. PHP單例模式2. javascript - 微信報redirect_uri參數錯誤3. node.js - webstorm中下載mongoose的錯誤4. 我在centos容器里安裝docker，也就是在容器里安裝容器，報錯了？5. android - 類似微信朋友圈或者QQ空間說說那種點擊圖片放大，并且有放大縮小手勢，左右滑動圖片手勢效果6. win10系統 php安裝swoole擴展7. html5 - 如何禁止百度轉碼？8. html5 - css3 scale 從0到1在有的手機上,圖像會變模糊9. 黑客 - Python模塊安全權限10. 網頁動畫等過渡效果，CSS3 transitions 和 jQuery animations 誰實現的性能更好？
網公網安備