コード一覧

【Python】ブラウザを非表示のままスクレイピングselenium

ブラウザを非表示でスクレイピングする方法

Chromeを使って、スクレイピングする時、ブラウザが立ち上がりますが、ブラウザが立ち上がらずに、処理だけやってくれる。という方法です。
非表示にすることをヘッドレスといいます。

最初このヘッドレスという言葉がわからず(笑)
ずっと非表示とか表示させない。とかで検索していました。恥ずかしいw
そのため、無駄に検索してしまったので、タイトルは非表示にする方法というキーワードでヒットするようにしています。
以下がコード全文です。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

# chromedriverの設定
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Users/oono/Downloads/chromedriver_win32/chromedriver', chrome_options=options)

# 特定のサイトにアクセスする
driver.get("接続したいURLを入力")

# やりたい処理を記載する

# 終了処理
driver.close()

driver = webdriver.Chrome(’ご自身のChromeドライバーの入っているパスを入力’)
してください。

ここが通常とは違います。
オプション=オプションと、ヘッドレスというのがあります。
そのあと、自分のchromeドライバーの場所を指定します。

# chromedriverの設定
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome('C:/Users/oono/Downloads/chromedriver_win32/chromedriver', chrome_options=options)