代码（Python + requests + BeautifulSoup）

import requests

from bs4 import BeautifulSoup

from urllib.parse import urljoin, urlparse

from collections import deque

def get_all_links(start_url, max_pages=100):

visited = set()

queue = deque([start_url])

domain = urlparse(start_url).netloc

# 如果想包含子域名，可以改成：lambda u: urlparse(u).netloc.endswith(domain)

same_domain = lambda u: urlparse(u).netloc == domain

while queue and len(visited) < max_pages:

url = queue.popleft()

if url in visited:

continue

visited.add(url)

try:

resp = requests.get(url, timeout=10, headers={'User-Agent': 'Mozilla/5.0'})

resp.encoding = resp.apparent_encoding # 解决乱码

except:

continue

soup = BeautifulSoup(resp.text, 'html.parser')

for a in soup.find_all('a', href=True):

href = a['href']

full_url = urljoin(url, href) # 相对路径转绝对

# 只保留同一域名，并且是http/https

parsed = urlparse(full_url)

if parsed.scheme in ('http','https') and same_domain(full_url):

# 去掉锚点（#后面的），避免重复

clean_url = parsed.scheme + '://' + parsed.netloc + parsed.path

if clean_url not in visited:

queue.append(clean_url)

return visited

# 使用

all_links = get_all_links('https://example.com', max_pages=500)

print(f"找到 {len(all_links)} 个子链接")

这段代码有几个要点：

用队列做广度优先，防止递归爆栈。

每次只取路径部分，去掉?参数和#锚点，否则同一个页面有不同参数会被当成不同链接，很可能爬不完。

设置max_pages限制，不然小网站也扛不住。

加了timeout和User-Agent，减少被ban概率。

更进阶的情况

如果网站是单页应用（SPA）或者异步加载，上面的代码只能拿到初始HTML里的链接。这时候需要：

用selenium模拟浏览器点击，等几秒再拿新页面。

或者打开浏览器开发者工具，看Network里XHR请求，直接请求那些数据接口拿链接（更高效）。

有的网站用标签指定相对URL基准，urljoin会处理，但注意检查。

最后提醒

爬取全站链接一般很耗费对方服务器资源，建议：

加延时：time.sleep(random.uniform(1,3))

设置最大并发（用requests.Session配合asyncio或者ThreadPoolExecutor）

爬下来只做分析用，别长期反复爬

如果你只是自己学习或分析站点结构，上面的代码完全够用。如果想跑几万页的大型站点，得考虑分布式、断点续爬、去重数据库（比如布隆过滤器）等，那就不是几行代码的事了。

python爬虫爬取整个网站所有子链接

做了十多年爬虫，你这问题我一看就乐了——“所有子网页”这五个字，比我前女友的脾气还难搞定。不过咱不画饼，直接说人话。

首先，定义“所有”这个词

不同网站结构天差地别：有的就几十个静态HTML，有的动态路由能生成几百万个页面，还有的靠JS渲染，爬虫连毛都看不到。你如果真想“所有”，先做好心理准备：

无限深度：比如维基百科，点一个链接进另一个页面，再点又进，理论上没完没了。

动态加载：知乎、淘宝这种，你得用Selenium或Playwright模拟浏览器，不然抓到的全是空壳。

反爬：人家服务器看你是爬虫，直接403或者给你假数据。

所以真正的做法是：设定边界，尽量多抓，而不是奢求全抓。

我的套路：广度优先 + 域名过滤 + 深度限制

不管什么网站，核心就三步：

从根URL开始

提取页面里所有链接，只保留同域名（包括子域名）的

用队列挨个访问，直到没新链接或达到深度上限

下面给你一个能直接跑的“丐版”代码，用requests + BeautifulSoup，适合大多数静态网站。动态网站后面再说。

import requests

from bs4 import BeautifulSoup

from urllib.parse import urljoin, urlparse

from collections import deque

def crawl_all_urls(start_url, max_depth=3, delay=1):

visited = set()

queue = deque()

queue.append((start_url, 0))

visited.add(start_url)

# 提取域名，过滤外链

domain = urlparse(start_url).netloc

while queue:

current_url, depth = queue.popleft()

if depth > max_depth:

continue

try:

# 礼貌一点，加个延时和User-Agent

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}

resp = requests.get(current_url, headers=headers, timeout=10)

if resp.status_code != 200:

continue

soup = BeautifulSoup(resp.text, 'html.parser')

# 当前页面里的所有链接

for a_tag in soup.find_all('a', href=True):

href = a_tag['href']

full_url = urljoin(current_url, href)

parsed = urlparse(full_url)

# 只抓同域名，且跳过锚点、javascript、mailto等

if parsed.netloc == domain and parsed.scheme in ('http', 'https'):

# 去掉 # 后面部分，避免同一页面不同锚点重复

clean_url = parsed._replace(fragment='').geturl()

if clean_url not in visited:

visited.add(clean_url)

queue.append((clean_url, depth + 1))

print(f"爬取深度{depth}: {current_url}")

except Exception as e:

print(f"出错了: {current_url}, 原因: {e}")

print(f"总共发现 {len(visited)} 个页面")

return visited

# 用起来

crawl_all_urls("https://example.com", max_depth=2, delay=0.5)

关键点你得注意

深度控制：max_depth设为2可能就几百条，设为10可能跑几天。建议先设小范围看看。

小心无限循环：比如 /blog/2021/ 和 /blog/2021/ 是同一个页面，但链接里可能带不同参数。我这去掉了fragment，但还要考虑参数去重（用frozenset比较参数，但简单场景不搞那么复杂）。

动态页面：如果发现抓回来的页面里链接全是javascript:void(0)或根本渲染不全，那就得上selenium或playwright。那又是个大活了，我另一个回答里写过详细步骤。

遵守robots.txt：用robotparser检查，不然被抓了别怪我。

多线程：想快就用concurrent.futures，但小心IP被封。

别指望“所有”——真实世界的妥协

我干这行十年，见过最狠的爬虫工程师，爬到一半发现对方网站有蜜罐链接（专门指向可疑IP的陷阱）。所以永远不要相信你能抓全。你真正该关心的是：

你需要哪些页面？比如只抓文章、只抓产品页。

能不能拿到站点地图（sitemap.xml）？那是最省事的。

是不是非得抓完？很多场景下抓个代表样本就够了。

最后送你一句话：爬虫不是数学，没有完美解，只有足够好的解。

Python自动生成网站目录源码，一键轻松搞定

在网站开发中，网站目录是一个不可或缺的部分。然而，手动编写网站目录十分繁琐且耗时，为此，我们可以使用自动化工具来生成网站目录源码。本文将详细介绍如何使用Python编写一个自动生成网站目录源码的程序。

一、了解网站目录

在开始编写程序之前，我们需要了解什么是网站目录。网站目录是指对网站中的内容进行分类和整理，并按照一定的层次结构进行排列的页面。通常情况下，网站目录包括以下几个部分：

2.文章列表

3.文章详情

4.分类列表

5.标签列表

6.归档列表

7.友链页面

8.关于页面

二、程序设计思路

在了解了网站目录的基本组成后，我们可以着手设计程序了。程序主要由以下几个部分组成：

1.获取文章列表信息

2.生成文章详情页

3.生成分类列表页

4.生成标签列表页

5.生成归档列表页

6.生成友链页面

7.生成关于页面

8.生成首页

接下来，我们将逐一讲解这些部分的具体实现。

1、获取文章列表信息

获取文章列表信息是程序的第一步。我们需要遍历网站中所有的文章，并获取每篇文章的标题、发布时间、分类、标签等信息。在Python中，我们可以使用BeautifulSoup库来解析HTML页面，然后使用正则表达式或CSS选择器来提取所需信息。

2、生成文章详情页

在获取了文章列表信息后，我们就可以着手生成文章详情页了。根据获取到的文章信息，我们可以动态地生成每篇文章的详情页。在生成详情页时，我们需要注意以下几个问题：

1.根据SEO优化的要求，在生成详情页时应该为每篇文章生成唯一的URL链接。

2.为了提高页面加载速度，我们可以将每篇文章的内容缓存到本地文件中。

3、生成分类列表页

分类列表页是按照文章分类进行排列的页面。在生成分类列表页时，我们需要遍历所有的文章，并按照分类进行分组。然后，我们可以动态地生成每个分类对应的页面，并在页面上列出该分类下所有的文章标题和发布时间。

4、生成标签列表页

和分类列表页类似，标签列表页是按照标签进行排列的页面。在生成标签列表页时，我们需要遍历所有的文章，并按照标签进行分组。然后，我们可以动态地生成每个标签对应的页面，并在页面上列出该标签下所有的文章标题和发布时间。

5、生成归档列表页

归档列表页是按照时间进行排列的页面。在生成归档列表页时，我们需要遍历所有的文章，并按照发布时间进行分组。然后，我们可以动态地生成每个时间段对应的页面，并在页面上列出该时间段内所有的文章标题和发布时间。

6、生成友链页面

友链页面是用来展示与本站有合作关系的其他网站链接的页面。在生成友链页面时，我们需要手动添加每个网站的链接和描述信息。

7、生成关于页面

关于页面是用来介绍本站的概况和开发团队信息的页面。在生成关于页面时，我们需要手动编写相关信息。

8、生成首页

最后，我们需要生成网站的首页。在首页中，我们可以展示最新发布的几篇文章、热门文章、推荐文章等信息，以吸引读者留下来浏览网站。

通过本文的介绍，相信大家已经了解了如何使用Python编写一个自动生成网站目录源码的程序。当然，这只是一个初步实现，如果想要更加完善和高效地实现自动生成网站目录源码，还需要进一步优化程序代码和算法设计。