スクレイピング_中市 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• スクレイピング_中市 へ行く。
• スクレイピング_中市 の差分を削除

#author("2023-03-31T03:58:15+00:00","","")
#author("2023-03-31T03:59:38+00:00","","")
[[卒研１での技術習得　中市]]
#menu(nakaichi)
#attach(nolist)
~


**【BeautifulSoup4を使用したスクレイピング】[#i495c384]
コマンドプロンプトからBeautifulSoup4とrequestsをインストールする。

 pip install beautifulsoup4

 pip install requests

pythonファイルを作成、コピペする
bs4.pyなどファイル名とモジュール名が同じだとエラーが起きる

今回使用するモジュールは4つ
 import requests
 from bs4 import BeautifulSoup
 import csv
 import re

 search_word = 'python'

 pages_num = 10 + 1
 print(f'【検索ワード】{search_word}')

 url = f'https://www.google.co.jp/search?hl=ja&num={pages_num}&q={search_word}'
 request = requests.get(url)

 soup = BeautifulSoup(request.text, "html.parser")
 search_site_list = soup.select('div.kCrYT > a')

 for rank, site in zip(range(1, pages_num), search_site_list):
   try:
       site_title = site.select('h3.zBAuLc')[0].text
   except IndexError:
       site_title = site.select('img')[0]['alt']
   site_url = site['href'].replace('/url?q=', '')
   print(str(rank) + "位: " + site_title + ": " + site_url)
#ref(bes4.py,,ソースコード)