Python爬虫入门：从零开始爬取网站数据

我们将分步骤介绍如何使用Python编写一个简单的爬虫，来爬取网站的数据。本教程将包括环境搭建、请求发送、数据解析、保存数据等内容。

步骤1：环境搭建
首先需要安装Python，并安装必要的库：requests 和 beautifulsoup4。可以通过pip安装：
pip install requests
pip install beautifulsoup4

步骤2：发送HTTP请求
使用requests库发送HTTP请求，获取网页的HTML内容。例如：
import requests
url = 'http://example.com'
response = requests.get(url)
html = response.text

步骤3：解析HTML
使用beautifulsoup4解析HTML，提取需要的数据。例如，提取所有的链接：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
links = soup.find_all('a')
for link in links:
print(link.get('href'))

步骤4：保存数据
可以将数据保存到文件中，比如CSV或文本文件。例如：
with open('links.txt', 'w') as f:
for link in links:
f.write(link.get('href') + '\n')

步骤5：处理分页和高级技巧
如果网站有分页，我们需要构造相应的URL来爬取多页数据。同时，要遵守网站的robots.txt，设置爬取间隔，避免给服务器带来过大压力。

标签：Python爬虫, 网络爬虫, 数据爬取, Python教程, BeautifulSoup, requests, 数据采集, 爬虫入门

注意：在写内容时，应该注意代码的清晰和可读性，以及步骤的详细说明。这里只是示例，实际的文章内容会更丰富，包括更多的解释和示例代码。### 标题
**Python爬虫入门：从零开始爬取网页数据（附完整代码）**

---

### 内容
# Python爬虫入门：从零开始爬取网页数据（附完整代码）

在数据驱动的时代，网络爬虫已成为获取公开数据的重要工具。本文将带领读者从零开始，用Python构建一个简单的网页爬虫，无需任何编程基础即可轻松上手。

## 准备工作
1. 安装Python（推荐3.8+版本）
2. 安装所需库：
```bash
pip install requests beautifulsoup4 pandas
```

## 步骤1：发送HTTP请求
```python
import requests

def fetch_webpage(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
else:
raise Exception(f"请求失败: {response.status_code}")

url = "https://example.com/news"
html_content = fetch_webpage(url)
```

## 步骤2：解析HTML数据
```python
from bs4 import BeautifulSoup

def parse_news(html):
soup = BeautifulSoup(html, 'html.parser')
news_list = []

for item in soup.select('.news-item'):
title = item.find('h2').text.strip()
summary = item.find('p').text.strip()
time = item.find('.time').text.strip()

news_list.append({
'title': title,
'summary': summary,
'time': time
})
return news_list

news_data = parse_news(html_content)
```

## 步骤3：数据存储
```python
import pandas as pd

def save_to_csv(data, filename):
df = pd.DataFrame(data)
df.to_csv(filename, index=False, encoding='utf-8-sig')
print(f"数据已保存到 {filename}")

save_to_csv(news_data, "news_data.csv")
```

## 完整代码整合
```python
# news_crawler.py
import requests
from bs4 import BeautifulSoup
import pandas as pd

def fetch_webpage(url):
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
response = requests.get(url, headers=headers)
return response.text if response.status_code == 200 else None

def parse_news(html):
soup = BeautifulSoup(html, 'html.parser')
return [{
'title': item.find('h2').text.strip(),
'summary': item.find('p').text.strip(),
'time': item.find('.time').text.strip()
} for item in soup.select('.news-item')]

def main():
url = "https://example.com/news"
html = fetch_webpage(url)
if html:
news = parse_news(html)
save_to_csv(news, "news_data.csv")
else:
print("获取网页失败")

if __name__ == "__main__":
main()
```

## 重要提示
1. 遵守网站的robots.txt规则
2. 添加请求间隔避免被封禁：`time.sleep(2)`
3. 处理异常情况：超时、验证码、反爬机制等
4. 生产环境应考虑使用代理IP池

## 进阶方向
- 动态网页爬取（Selenium）
- 数据库存储（MySQL/MongoDB）
- 分布式爬虫（Scrapy-Redis）
- 反反爬策略（IP轮换、模拟登录）