python爬虫抓取晋江网一篇小说

这几天学了python的requests库和BeautifulSoup,闲来爬取晋江网一篇小说。

1.过程分析：

（1）获取全部免费章节的标题和链接（前23章），后面的章节是vip收费，没有账号充值无法爬取
（2）进入每章的链接爬取小说正文
其实爬取得思路比较简单，稍微复杂的是小说正文的正则匹配

2.代码实现：

# coding: utf-8

import requests
from bs4 import BeautifulSoup as bs
import re

start_url = "http://www.jjwxc.net/onebook.php?novelid=1857985"
res = requests.get(start_url)
res.encoding = "utf-8"
soup = bs(res.content,