SEO中蜘蛛池搜索陷阱有哪些

　　SEO中蜘蛛池搜索陷阱有哪些？蜘蛛池优化有好处也有缺点，一旦中了蜘蛛陷阱很快就能让网站降权了?我们又该如何去避免这些蜘蛛陷阱呢?今日不二网小编SEO就和大家聊聊SEO中蜘蛛池搜索陷阱有哪些。

　　1、动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。

　　2、框架，在早期框架到处被泛滥使用，而现在框架网页很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对也越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性了，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

　　3、JS，虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的，但是我们最好不要寄望于搜索引擎自己克服困难，虽然说通过js可以做一些效果不错的导航，但是css同样可以做到;为了提高网站对搜索引擎的岩散友好度建议使网页能够更好的蜘蛛爬行，就尽量不要采用js，当然在seo中，js有一个好处就是站长掘世不希望被收录的页面或者友情链接可以采用js。

　　SEO中蜘蛛池搜索陷阱有哪些？以上就是不二网小编为大家总结的SEO中蜘蛛池搜索陷阱有哪些的相关内容介绍了，希望以上判枣肢文章对你有所启发，不二网资讯有更多的文章归于此的，希望你感觉好的话可以收藏一下。

SEO中需要避开的蜘蛛陷阱有哪些

做了十几年SEO，踩过的坑比吃过的盐还多。蜘蛛陷阱这事儿，说白了就是你以为网站搭建得很完美，结果搜索引擎的爬虫进来就卡住，要么死循环，要么直接迷路。

我跟你讲几个最要命的，你对照着看看自己的站有没有中招。

第一个，无限点不完的日历翻页。 很多博客或者新闻站喜欢搞那种按日期翻页的列表，比如“上一页”、“下一页”，然后一直翻到2030年都有数据。爬虫一旦进去就开始疯狂跑，根本停不下来，这属于典型的“无限蜘蛛陷阱”。更坑的是那种动态生成的日历，比如你点某一天，它用JavaScript弹出一个窗口显示文章，爬虫根本看不懂脚本，等于白抓。解决方案？pagination用rel=“next”和rel=“prev”标签告诉爬虫这是一条链，或者直接限制最多翻到最近两年。

第二个，URL参数一坨屎。 电商网站最容易犯这个毛病。比如一个商品，用户点了颜色、尺寸、排序方式，URL后面都会跟一串?color=red&size=L&sort=price… 本来一个商品一个页面就够，结果爬虫能给你整出几百个带不同参数的相同内容。这不仅是陷阱，还是巨大浪费。正确做法是在网站后台给爬虫提供的URL里把参数统一，比如优先用短链接，或者用canonical标签指明唯一版本。

第三个，软404跟软200夹在一起。 这个很隐蔽。比如你的网站有个页面删了，但你用程序返回了一个200状态码，显示“内容已删除，请返回首页”。爬虫以为正常，结果啥也没抓到，浪费资源。反过来，如果页面明明存在，但因为某个错误返回了404或者500，爬虫就被吓跑了。还有更坑的：搜索结果页面没找到内容就显示“无结果”，但URL是/search?q=xxx，这个URL正常返回200，爬虫会以为它是个正常页面，结果全是空白。解决方案：对搜索无结果页面，直接返回一个空内容页或者301跳转到首页，千万别返回200。

第四个，Flash、iframe、JavaScript渲染的内容。 老派网站用全Flash，爬虫完全读不了，现在少见了。但很多网站用JavaScript加载核心文章内容，比如点击“阅读全文”才展开，而爬虫不会点那个按钮。还有用iframe嵌套别的网站，爬虫只抓到一个框，里面的内容当作跨域资源直接跳过。如果你非要这样搞，至少得提供noscript标签或者服务端渲染（SSR）让爬虫看到文本。

第五个，robots.txt把自己关门外。 这是新手容易犯的傻错。比如写了个Disallow: /，整个站都不让爬。或者Disallow: /images/，图片全屏蔽。更离谱的是写Allow和Disallow顺序搞错，导致首页都不能抓。还有那种用robots.txt屏蔽了CSS和JS，Google虽然还能抓，但看不到页面版式，可能会认为用户体验差。正确做法：只屏蔽后台、登录页、重复内容目录，其他都放行。

第六个，重定向链太长。 一个URL指向另一个，另一个又指另一个，甚至形成环。比如A→B→C→A，爬虫进去就是鬼打墙。或者A→B→C→D……超过了5次，Google可能就不继续跟了，直接放弃。你平时改版的时候，一定注意把所有旧链接直接301到最终版本，别搞层层递进。

第七个，登录墙、付费墙、表单提交。 爬虫不会帮你填用户名密码，也不会点验证码。如果你的核心内容都在登录后才能看，那对搜索引擎来说，你站点就是个空壳子。必须给爬虫一个单独的入口或者用User-Agent判断才显示真实内容。

第八个，重复内容陷阱。 比如同一个文章在多个栏目下都有，或者有打印机版、手机版、带www和不带www的版本，还有根据用户登录状态显示不同的导航。爬虫抓来抓去，发现全是雷同的，最后可能直接不收录你了。解决方案：严格统一主域名（www或非www），所有内容只有一个URL对应，用canonical标签标明权威版本。

我当年有个客户，电商站把翻页设成了几千页，产品列表的URL里还带了筛选参数，同时robots.txt还误屏蔽了CSS。结果Google只收录了首页。后来我们花了两周把这个链条理顺，收录量涨了十倍。蜘蛛陷阱就是这么致命，平时看不着，中了招就哭。

你回去拿网站检查一下，重点是打开Google Search Console，看抓取统计里有没有大量“已抓取但未收录”的页面，八成就是掉陷阱里了。