Pythonでスクレイピングするコード例

Pythonを使用してWebサイトをスクレイピングするためには、PythonのライブラリであるBeautifulSoupとrequestsが必要です。以下は、基本的なスクレイピングの例です。 ``` python Copy code import requests from bs4 import BeautifulSoup # スクレイピングするWebサイトのURL url = 'https://example.com/' # Webページを取得する response = requests.get(url) # 取得したWebページのHTMLをBeautifulSoupオブジェクトに変換する soup = BeautifulSoup(response.text, 'html.parser') # タイトルタグのテキストを取得する title = soup.title.text # h1タグのテキストを取得する h1 = soup.find('h1').text # aタグのhref属性を取得する links = [] for link in soup.find_all('a'): links.append(link.get('href')) # 結果を出力する print('Title:', title) print('h1:', h1) print('Links:', links) ``` この例では、requestsを使用してWebサイトからHTMLを取得し、BeautifulSoupを使用してHTMLを解析しています。その後、soupオブジェクトから必要な情報を取得しています。例では、タイトルタグのテキスト、h1タグのテキスト、およびaタグのhref属性のリストを取得しています。最後に、結果を出力しています。 ただし、Webサイトのスクレイピングには法律上の制限があり、すべてのWebサイトがスクレイピングを許可しているわけではありません。また、スクレイピングによってWebサイトに負荷をかけたり、不正アクセスとみなされた場合には法的問題が発生する可能性があるため、注意が必要です。必ずWebサイトの利用規約を確認して、スクレイピングが許可されている場合にのみ実行してください。