スクレイピング_中市
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
[[卒研１での技術習得 中市]]
#menu(nakaichi)
#attach(nolist)
~
**【BeautifulSoup4を使用したスクレイピング】[#i495c384]
コマンドプロンプトからBeautifulSoup4とrequestsをインスト...
pip install beautifulsoup4
pip install requests
pythonファイルを作成、コピペする
bs4.pyなどファイル名とモジュール名が同じだとエラーが起きる
今回使用するモジュールは4つ
import requests
from bs4 import BeautifulSoup
import csv
import re
search_word = 'python'
pages_num = 10 + 1
print(f'【検索ワード】{search_word}')
url = f'https://www.google.co.jp/search?hl=ja&num={pages...
request = requests.get(url)
soup = BeautifulSoup(request.text, "html.parser")
search_site_list = soup.select('div.kCrYT > a')
for rank, site in zip(range(1, pages_num), search_site_l...
try:
site_title = site.select('h3.zBAuLc')[0].text
except IndexError:
site_title = site.select('img')[0]['alt']
site_url = site['href'].replace('/url?q=', '')
print(str(rank) + "位: " + site_title + ": " + site_url)
#ref(bes4.py,,ソースコード)
終了行:
[[卒研１での技術習得 中市]]
#menu(nakaichi)
#attach(nolist)
~
**【BeautifulSoup4を使用したスクレイピング】[#i495c384]
コマンドプロンプトからBeautifulSoup4とrequestsをインスト...
pip install beautifulsoup4
pip install requests
pythonファイルを作成、コピペする
bs4.pyなどファイル名とモジュール名が同じだとエラーが起きる
今回使用するモジュールは4つ
import requests
from bs4 import BeautifulSoup
import csv
import re
search_word = 'python'
pages_num = 10 + 1
print(f'【検索ワード】{search_word}')
url = f'https://www.google.co.jp/search?hl=ja&num={pages...
request = requests.get(url)
soup = BeautifulSoup(request.text, "html.parser")
search_site_list = soup.select('div.kCrYT > a')
for rank, site in zip(range(1, pages_num), search_site_l...
try:
site_title = site.select('h3.zBAuLc')[0].text
except IndexError:
site_title = site.select('img')[0]['alt']
site_url = site['href'].replace('/url?q=', '')
print(str(rank) + "位: " + site_title + ": " + site_url)
#ref(bes4.py,,ソースコード)
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
