プログラム初心者がpythonを勉強する方法！その１１・スクレイピングにトライする！

python勉強級の超ヘタレシステム管理者の管理人です。

システム管理者といっても別にプログラムが書ける訳でも・・・

アプリを作れる訳でもなく・・・

主に継続契約の事務をやっている単なる事務屋でしかありません。

さて、pythonの勉強も飛び飛びながらも１１日目となりました。

今回はよく目にするスクレイピングにトライです。

pythonでWEBスクレイピングに挑戦
実行すると

pythonでWEBスクレイピングに挑戦

線計画法につづき、今回はWEBスクレイピングにトライです。

とりあえず、入門編として・・・

管理人のHPをスクレイピングして・・・

タイトルとaタグを抽出してみました。

コードは次のとおりです。

次のコマンドで必要なライブリを事前にインストールしてから実行してください。

pip install requests
pin install BeautifulSoup

次に下のコードをコピペして実行すると・・・

管理人のサイトのスクレイピングができました。

# requests及びbs4を必ずインポートする
import requests
from bs4 import BeautifulSoup

# HTMLの取得先として当サイトを指定する
response = requests.get("https://terzoblog.com")

# BeautifulSoup4でサイトのテキストを取得し、
# 第二因数にhtml.parserを指定、解析結果をsoupに入れる
soup = BeautifulSoup(response.text,'html.parser')

title = soup.find('title').get_text()
print(title)

# soup.find_all('a', text=True))でaタグに指定されている要素を抽出、
# print(element.getText())でテキストのみを出力する

for element in soup.find_all('a', text=True):
	print(element.getText())

実行すると

実行すると次の結果が出力されます。

terzoblog
ホーム
サイトマップ
次のページ
2
3
141
プログラム初心者がpythonを勉強する方法！その８・openpyxl・pulp・pandasでエクセルからデータフレームを抽出して線形計画を実行してみる！
プログラム初心者がpythonを勉強する方法！その７・pandasでもエクセルからデータフレームを抽出してみる！
2023年６回目・2022年式H2 SX SE・１カ月ぶりに乗ったらまともにコントロールできずにかなりビビった！
プログラム初心者がpythonを勉強する方法！その６・pulpでもう少し難しい線形計画法にトライしてみる！
プログラム初心者がpythonを勉強する方法！その５・pulpで数理最適化・線形計画法にトライしてみる！
000-ブログ運営
020-資格
030-自動車とバイク
035-スキー
036-ホビー
037-PCスマホ等
040-滞納整理
050-VBA
060-SQL
080-お仕事
085-健康
090-猫
100-家
110-資産運用
999_その他
母親の介護認定で欠席裁判＆死刑宣告でブチきれる！
母親の介護認定で欠席裁判＆死刑宣告でブチきれる！
選挙といえば恒例の投票事務・開票事務！これが結構心身共に結構辛い！国家公務員も都道府県職員もちょっとくらい人手を出せとマジ思う！
選挙といえば恒例の投票事務・開票事務！これが結構心身共に結構辛い！国家公務員も都道府県職員もちょっとくらい人手を出せとマジ思う！
先日の１件でスキーを辞めたくなった！雲散臭いスキー宗教団体【SAJ】の輩が視界に入るだけで気分が悪くなる！
プログラム初心者がpythonを勉強する方法！その８・openpyxl・pulp・pandasでエクセルからデータフレームを抽出して線形計画を実行してみる！
プログラム初心者がpythonを勉強する方法！その７・pandasでもエクセルからデータフレームを抽出してみる！
2023年６回目・2022年式H2 SX SE・１カ月ぶりに乗ったらまともにコントロールできずにかなりビビった！
プログラム初心者がpythonを勉強する方法！その６・pulpでもう少し難しい線形計画法にトライしてみる！
プログラム初心者がpythonを勉強する方法！その５・pulpで数理最適化・線形計画法にトライしてみる！
000-ブログ運営
020-資格
030-自動車とバイク
035-スキー
036-ホビー
037-PCスマホ等
040-滞納整理
050-VBA
060-SQL
080-お仕事
085-健康
090-猫
100-家
110-資産運用
999_その他
母親の介護認定で欠席裁判＆死刑宣告でブチきれる！
母親の介護認定で欠席裁判＆死刑宣告でブチきれる！
選挙といえば恒例の投票事務・開票事務！これが結構心身共に結構辛い！国家公務員も都道府県職員もちょっとくらい人手を出せとマジ思う！
選挙といえば恒例の投票事務・開票事務！これが結構心身共に結構辛い！国家公務員も都道府県職員もちょっとくらい人手を出せとマジ思う！
先日の１件でスキーを辞めたくなった！雲散臭いスキー宗教団体【SAJ】の輩が視界に入るだけで気分が悪くなる！
terzoblog
ホーム
お問合せ
プライバシーポリシー
このブログについて
ホーム
サイトマップ

最近の投稿とカテゴリがそれぞれ２回ずつ出力されているので？？？

ブログランキングにご協力ください！