scrapy-redisを使って、redisを使ったクローリングを試してみる その2(redisを別サーバーで起動)

前回に引き続きscrapy-redisを使ってのクローリングです。

★scrapy-redisを使って、redisを使ったクローリングを試してみる その1(基本的な設定)
https://developer-collaboration.com/2019/03/26/scrapy-redis/

前回は単純に同一のサーバーで実施したので、次にredisサーバーを分けてみます。

構成としては以下となります。

ServerA : redisサーバ
ServerB : scrapy-redis

 

ServerAではredisを外部から利用できるように外部からredisに接続できるように設定します。

redisサーバの方は再起動してテストの開始です。

 

scrapy-redisから外部のredisサーバに接続

外部のサーバに接続するには、ServerBで「settings.py」に以下の設定を行います。

「REDIS_HOST」の設定と「REDIS_PORT」の設定を追加しただけになります。

 

こちらでServerBでscrapyを起動します。

前回と同じで待機の状態になっています。

 

それではServerAで以下のコマンドを実施します。

 

すると、ServerBで以下のような出力が行われました。

2行設定を追加しただけですし、シンプルなのですが拡張性としては非常に高いことがわかりました。

今回はこの辺で。

★関連記事
scrapy-redisを使って、redisを使ったクローリングを試してみる その1(基本的な設定)
scrapy-redisを使って、redisを使ったクローリングを試してみる その3(パラメーターを利用してのクローリング:use parameter)