awsでスクレイピングを行ってslackで投稿させるまでの道のり
やりたいこと
AWS上でpythonを走らせて、スクレイピングを実行 取得したデータを日時でSlackに投稿する
スクリプトを書く
書き方とかはぐぐれば出てくるので略 はじめは当たり前だけどローカルで動かして動作確認して、 githubにpushしておく Amazon Linux2でSelenium環境を最短で構築する - Qiita
AWSでインスタンスを立てる
無料枠で十分なので、セキュリティだけ気をつけてインスタンスを立てる AmazonLinux2を利用
git と python3をいれる
sudo yum install git sudo yum install python3
最新版のpython3はpipも同時にinstallされるので今後はpip3を使う。 標準だとpython2が使われちゃうからpip使わないように注意
スクレイピングに必要なインストールを実行
の通りに各種必要ファイルをインストールしていきましょう。
ただしpip installのところは、上記で書いたとおりpip3で実行すること。 またslack投稿を行いたいのであれば
sudo pip3 install slackweb
githubからclone
とくに書くこと無いけどcloneして実行できることを確認する。
cron設定を実施
awsのcron動作でハマる。 単にcrontab -e とかで書いても動作しないので解消に努めている。
https://docs.aws.amazon.com/ja_jp/opsworks/latest/userguide/workingcookbook-extend-cron.html