ブラウザを非表示にしてスクレイピングする方法
Chromeを使って、スクレイピングする時、ブラウザが立ち上がりますが、ブラウザが立ち上がらずに、ブラウザは非表示で処理だけやってくれる。という方法です。
非表示にすることをヘッドレスといいます。
最初このヘッドレスという言葉がわからず(笑)
ずっと非表示とか表示させない。とかで検索していました。恥ずかしいw
そのため、無駄に検索してしまったので、タイトルは非表示にする方法というキーワードでヒットするようにしています。
以下がコード全文です。
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
# chromedriverの設定
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Users/oono/Downloads/chromedriver_win32/chromedriver', chrome_options=options)
# 特定のサイトにアクセスする
driver.get("接続したいURLを入力")
# やりたい処理を記載する
# 終了処理
driver.close()
driver = webdriver.Chrome(’ご自身のChromeドライバーの入っているパスを入力’)
してください。
ここが通常とは違います。
オプション=オプションと、ヘッドレスというのがあります。
そのあと、自分のchromeドライバーの場所を指定します。
# chromedriverの設定
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Users/oono/Downloads/chromedriver_win32/chromedriver', chrome_options=options)