一、环境准备

pip install requests beautifulsoup4 lxml

二、基础请求

import requests

# GET 请求
response = requests.get('https://www.example.com')
print(response.status_code)
print(response.text)

三、解析 HTML

from bs4 import BeautifulSoup

html = '''

标题

”’ soup = BeautifulSoup(html, ‘lxml’) print(soup.h1.text)

四、实战示例

# 爬取新闻标题
import requests
from bs4 import BeautifulSoup

url = 'https://news.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')

headlines = soup.find_all('h2', class_='headline')
for h in headlines:
    print(h.text)

五、注意事项

1. 遵守 robots.txt 协议
2. 控制请求频率
3. 使用 User-Agent
4. 合法合规使用数据

六、总结

网络爬虫是 Python 实战的重要应用。建议多实践。

关注我们获取更多 Python 实战教程！

Python 网络爬虫入门实战 – 实战篇最先出现在帝讯博客。