【お仕事自動化】pythonでHPからcsvをDLして、データフレーム化する①【準備編】

必要なモジュールのインストールからchromedriverの起動まで

excelではなくpythonに取り込んで、分析したい時ってありますよね。
そんな方に向けた記事です。

※jupyter labのインストール等は各自でお願いします。

事前にインストールするモジュール

pandas：データフレーム化するのに使う
selenium：chromedriverを動かすのに使う
beautifulsoup4：スクレイピングするのに使う

# あらかじめDLしておくモジュール
# 一つずつ動かした方がいいかも
!pip install pandas
!pip install selenium
!pip install beautifulsoup4

chromedriverの準備をする

※ブラウザはGoogleChromeを使っている事が前提です。

今使っているGoogleChromeのバージョンを確認する

右上の縦に並んでいる･･･をクリックして「設定」をクリック

「Chromeについて」をクリック

バージョンを確認する。（今回は87.0.4280.88）

適合するchromedriverのバージョンを探す

chromedriverで検索する。大抵一番上に出ます。

（今回は今回は87.0.4280.88なので）該当バージョンをDL

私の環境はWindowsなのでWindows用をDL

解凍して、pythonプログラムを使うフォルダと同列に配置する

Chromedriverの起動テスト

# クロムを起動

path = os.getcwd() # pythonプログラムが保管されているフォルダパスを取得
Exefile= path + "\\chromedriver.exe"

driver = webdriver.Chrome(executable_path = Exefile)
driver.implicitly_wait(3)

めでたく成功

これでなんでも出来そうな気がしますね！

続きの記事はこちら

【お仕事自動化】pythonでHPからcsvをDLして、データフレーム化する②【パスワードが必要なページにログインする】

今回はChromeDriverでパスワードが必要なページへのアクセスし、例として「エキスパ」のログインからCSVダウンロードのボタンを押してダウンロードするところまでの記事です。この記事はの続きで、実際にChromeDriverを起動して、...

tagawake.work

2021.01.04