ライブラリをインストール
!apt install chromium-chromedriver
!pip install -U requests
!pip install selenium
ライブラリを読み込む
from selenium import webdriver
from selenium.webdriver.common.by import By
import time as t
import pandas as pd
ドライバにオプションを設定する
options=webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("--no-sandbox")
driver=webdriver.Chrome(options=options)
URLからブラウザを起動する
url="xxxxx" #URLを指定
driver.get(url)
t.sleep(5)
table要素を含むhtmlを取得する
el=driver.find_element(By.ID, "constituents") #IDでテーブルを指定
html=el.get_attribute("outerHTML") #table要素を含むhtmlを取得
tableをDataFrameに格納する
df=pd.read_html(html) #tableをDataFrameに格納
df[0] #複数テーブルがある場合は要素を指定
コメント