BeautifulSoupとSelenium併用：ウェブスクレイピング効率化【Python】

2024.08.04

ウェブスクレイピングは、ウェブサイトからデータを自動的に収集する技術です。

Pythonには多くのスクレイピングライブラリがありますが、特に人気が高いのはBeautifulSoupとSeleniumです。
本記事では、これら2つのツールを効果的に組み合わせて使用する方法について解説します。

BeautifulSoupとは？
- BeautifulSoupの使用例
Seleniumとは？
- Selenium使用例
BeautifulSoupとSeleniumを併用すべき理由
- BeautifulSoupの欠点
- Seleniumの欠点
例：動的ページからデータを取得
- 使い分けのポイント
最後に

BeautifulSoupとは？

BeautifulSoupは、Pythonのライブラリで、HTMLやXMLファイルからデータを解析、抽出するためのものです。
静的なウェブページの内容を簡単に解析し、特定の要素を取得するのに非常に便利です。

BeautifulSoupの使用例

既存のHTMLファイルの解析
特定のタグや属性を持つ要素の抽出
HTML構造のナビゲーション

from bs4 import BeautifulSoup

html = """
<html>
  <head><title>Example</title></head>
  <body>
    <p class="title"><b>The Example</b></p>
    <p class="story">Once upon a time...</p>
  </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
print(soup.title.string)  # Output: Example

Seleniumとは？

Seleniumは、ウェブブラウザを自動化するためのツールで、JavaScriptで生成される動的コンテンツの取得や、フォームの自動入力、ボタンのクリックなど、ユーザー操作をエミュレートすることができます。

Selenium使用例

動的なウェブページのデータ取得
フォーム入力やボタンクリックの自動化
ページの完全なレンダリング

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://example.com')

# ボタンをクリックする
button = driver.find_element(By.ID, 'example-button')
button.click()

# ページのタイトルを取得
print(driver.title)
driver.quit()

BeautifulSoupとSeleniumを併用すべき理由

BeautifulSoupとSeleniumを組み合わせることで、お互いの欠点を補い、静的および動的なウェブコンテンツの両方を効率的にスクレイピングすることが可能です。

BeautifulSoupの欠点

動的コンテンツの処理ができない： BeautifulSoupは静的なHTML解析には優れていますが、JavaScriptで生成される動的コンテンツの処理はできません。
ユーザー操作のエミュレーションができない:：フォーム入力やボタンクリックなどのユーザー操作を実行する機能はありません。

Seleniumの欠点

パフォーマンスが低い：ブラウザを起動して操作するため、処理速度が遅くなります。大量のページをスクレイピングする場合、効率が悪いです。
リソースの消費が大きい：ブラウザを自動化するため、メモリやCPUリソースを多く消費します。

これらの欠点を補うために、BeautifulSoupとSeleniumを併用することが有効です。

例：動的ページからデータを取得

Seleniumを使用してウェブページを完全にロードし、必要なユーザー操作（例：ログイン、ボタンクリック）を実行します。
ページのHTMLソースコードを取得し、それをBeautifulSoupで解析して必要なデータを抽出します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time

# Seleniumを使用してブラウザを起動し、ページをロード
driver = webdriver.Chrome()  # 必要なブラウザドライバーを使用
driver.get('https://example.com')

# 必要な操作を実行（例: ログイン）
login_button = driver.find_element(By.ID, 'login-button')
login_button.click()

# JavaScriptが実行されるのを待つ
time.sleep(5)

# ページのHTMLソースを取得
html = driver.page_source

# BeautifulSoupでHTMLを解析
soup = BeautifulSoup(html, 'html.parser')

# 必要なデータを抽出
data = soup.find_all('div', class_='data-class')

# 結果を処理
for item in data:
    print(item.text)

# ブラウザを閉じる
driver.quit()