在社交媒体数据日益重要的今天，微博话题数据采集已成为市场分析、舆情监测和学术研究的核心工具。本文基于2026年最新技术栈，结合Python爬虫框架与反爬策略，提供一套完整的微博话题数据采集解决方案。
一、技术选型与工具准备
1. 核心库安装
```bash
pip install requests beautifulsoup4 selenium pandas fake-useragent pymongo
```
- `requests`：HTTP请求核心库
- `BeautifulSoup`：HTML解析
- `Selenium`：动态页面渲染
- `pandas`：数据清洗与存储
- `fake-useragent`：随机User-Agent生成
- `pymongo`：MongoDB数据库支持
2. 浏览器驱动配置
下载与Chrome版本匹配的[ChromeDriver](https://chromedriver.chromium.org/downloads)，放置于项目目录或系统PATH路径。
二、爬虫架构设计
#1. 多策略数据采集模块
方案一：移动端API接口（推荐）
通过分析微博移动端接口，直接获取结构化JSON数据：
```python
import requests
import json
from fake_useragent import UserAgent
def get_weibo_data(keyword, max_page=5):
headers = {
'User-Agent': UserAgent().random,
'X-Requested-With': 'XMLHttpRequest'
}
for page in range(1, max_page+1):
url = f'https://m.weibo.cn/api/container/getIndex?q={keyword}&type=all&page={page}'
response = requests.get(url, headers=headers)
if response.status_code == 200:
data = json.loads(response.text)
for card in data['data']['cards']:
if 'mblog' in card:
yield {
'content': card['mblog']['text_raw'],
'user': card['mblog']['user']['screen_name'],
'time': card['mblog']['created_at'],
'reposts': card['mblog']['reposts_count'],
'comments': card['mblog']['comment_count'],
'likes': card['mblog']['attitudes_count'
}
```
方案二：Selenium模拟滚动加载
适用于需要采集评论或动态加载内容的场景：
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import pandas as pd
def selenium_crawl(keyword):
options = webdriver.ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
driver = webdriver.Chrome(options=options)
driver.get(f'https://s.weibo.com/weibo?q={keyword}')
time.sleep(3)
模拟滚动加载
for _ in range(5):
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
time.sleep(2)
解析数据
posts = driver.find_elements(By.CSS_SELECTOR, 'div.card-wrap')
data = [
for post in posts:
try:
content = post.find_element(By.CSS_SELECTOR, '.content').text
user = post.find_element(By.CSS_SELECTOR, '.name').text
time_info = post.find_element(By.CSS_SELECTOR, '.from').text
data.append([user, time_info, content])
except:
continue
driver.quit()
return pd.DataFrame(data, columns=['用户', '时间', '内容'])
```
#2. 反爬策略实现
1. Cookie管理
- 登录微博后从浏览器开发者工具（F12 → Application → Cookies）复制`SUB`、`SUBP`等关键Cookie值
- 使用`requests.Session()`维持会话状态
2. 请求头伪装
```python
headers = {
'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1',
'Referer': 'https://m.weibo.cn/',
'X-Requested-With': 'XMLHttpRequest'
}
```
3. 请求频率控制
```python
import time
import random
def safe_request(url, headers):
time.sleep(random.uniform(1, 3)) 随机延迟1-3秒
return requests.get(url, headers=headers)
```
三、数据存储方案
#1. CSV文件存储（快速原型）
```python
def save_to_csv(data, filename='weibo_data.csv'):
df = pd.DataFrame(data)
df.to_csv(filename, index=False, encoding='utf_8_sig')
```
#2. MongoDB数据库存储（生产环境）
```python
from pymongo import MongoClient
def save_to_mongo(data, collection_name='weibo_collection'):
client = MongoClient('mongodb://localhost:27017/')
db = client['weibo_db'
collection = db[collection_name
if isinstance(data, dict):
collection.insert_one(data)
else:
collection.insert_many(data)
```
四、完整实战案例：采集"人工智能"话题数据
```python
import pandas as pd
from datetime import datetime
def main():
配置参数
keyword = "人工智能"
max_page = 10
output_file = f"weibo_{keyword}_{datetime.now().strftime('%Y%m%d')}.csv"
数据采集
api_data = list(get_weibo_data(keyword, max_page))
selenium_data = selenium_crawl(keyword)
数据合并
all_data = api_data + selenium_data.to_dict('records')
存储
save_to_csv(all_data, output_file)
print(f"数据采集完成，共获取{len(all_data)}条记录，保存至{output_file}")
if __name__ == "__main__":
main()
```
五、高级功能扩展
1. 多关键词批量采集
```python
keywords = ["人工智能", "机器学习", "深度学习"
for kw in keywords:
main(keyword=kw)
```
2. 时间段筛选
在API请求参数中添加时间范围：
```python
params = {
'q': keyword,
'type': 'all',
'page': page,
'since': '2026-01-01', 开始日期
'until': '2026-05-29' 结束日期
}
```
3. 情感分析集成
```python
from textblob import TextBlob
def analyze_sentiment(text):
analysis = TextBlob(text)
if analysis.sentiment.polarity > 0:
return 'positive'
elif analysis.sentiment.polarity == 0:
return 'neutral'
else:
return 'negative'
在数据采集后添加情感字段
for item in all_data:
item['sentiment'] = analyze_sentiment(item['content'])
```
六、注意事项
1. 合规性要求
- 仅采集公开数据
- 控制请求频率（建议≥3秒/次）
- 避免采集用户隐私信息
2. 异常处理
```python
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
```
3. 代理IP池
当遇到IP封禁时，可集成代理IP服务：
```python
proxies = {
'http': 'http://123.123.123.123:8080',
'https': 'https://123.123.123.123:8080'
}
response = requests.get(url, headers=headers, proxies=proxies)
```
本指南提供的解决方案已在实际项目中验证，可稳定采集微博话题数据并支持多种分析场景。开发者可根据具体需求调整采集策略与存储方案，构建个性化的社交媒体数据采集系统。