content_list = tree.xpath('//div[@id="content"]//p/text()')
content = '\n'.join([line.strip() for line in content_list if line.strip()])
3. 保存到本地文件
with open('chapter_1.txt', 'w', encoding='utf-8') as f:f.write(f"{title}\n\n{content}")
批量爬取多章节
如果要爬整本小说，可先获取目录页的所有章节链接：
catalog_url = 'https://example-novel-site.com/catalog'response = requests.get(catalog_url, headers=headers)
tree = html.fromstring(response.text)
假设章节链接在
links = tree.xpath('//div[@class="list"]//a/@href')
for i, link in enumerate(links[:10]): # 先测试前10章
chapter_url = 'https://example-novel-site.com' + link
重复上面的请求和提取逻辑
# ...
注意事项
使用XPath爬取小说时需注意以下几点：
- 部分网站使用JavaScript动态加载内容，
requests + lxml无法获取，需改用Selenium或Playwright - 频繁请求可能触发反爬机制，建议添加
time.sleep()延时 - 尊重版权，仅限个人学习或测试，不要大规模传播或商用
- 检查
robots.txt，避免抓取禁止内容
基本上就这些。掌握XPath语法和网页结构分析能力后，爬取小说会变得很直接。
