awsでスクレイピングを行ってslackで投稿させるまでの道のり

やりたいこと

AWS上でpythonを走らせて、スクレイピングを実行 取得したデータを日時でSlackに投稿する

スクリプトを書く

書き方とかはぐぐれば出てくるので略 はじめは当たり前だけどローカルで動かして動作確認して、 githubにpushしておく Amazon Linux2でSelenium環境を最短で構築する - Qiita

AWSインスタンスを立てる

無料枠で十分なので、セキュリティだけ気をつけてインスタンスを立てる AmazonLinux2を利用

git と python3をいれる

sudo yum install git
sudo yum install python3

最新版のpython3はpipも同時にinstallされるので今後はpip3を使う。 標準だとpython2が使われちゃうからpip使わないように注意

スクレイピングに必要なインストールを実行

qiita.com

の通りに各種必要ファイルをインストールしていきましょう。

ただしpip installのところは、上記で書いたとおりpip3で実行すること。 またslack投稿を行いたいのであれば 

sudo pip3 install slackweb

githubからclone

とくに書くこと無いけどcloneして実行できることを確認する。

cron設定を実施

awsのcron動作でハマる。 単にcrontab -e とかで書いても動作しないので解消に努めている。

https://docs.aws.amazon.com/ja_jp/opsworks/latest/userguide/workingcookbook-extend-cron.html