网站日志怎么看用户搜索了什么关键词

网站日志本身通常不能直接告诉你“用户搜索了什么关键词”，它能看到的是用户从哪个入口访问、请求了哪个页面、带了哪些参数、用了什么设备和搜索引擎蜘蛛抓取了什么内容。想通过网站日志怎么看用户搜索了什么关键词，关键要分清两类：站内搜索关键词和搜索引擎带来的搜索词。 先看站内搜索，日志里最容易找到 如果你的网站有搜索框，用户输入的词一般会出现在URL参数里，比如 /search?q=装修报价，或 /?s=空气净化器。打开Nginx、Apache或应用访问日志，搜索“search”“s=”“keyword”“q=”这类参数，就能看到用户在站内搜了什么。比如一条访问记录里出现 GET /search?q=儿童书桌，就说明用户在站内搜索了“儿童书桌”。这也是网站日志怎么看用户搜索了什么关键词最直接的场景。 搜索引擎关键词为什么经常看不到 如果用户从百度、Google、必应等搜索结果点进网站，早些年日志里的来源地址可能带有 wd、word、q 等参数。但现在大量搜索引擎使用HTTPS和隐私保护，关键词常被隐藏，日志里更多只能看到来源域名，比如 baidu.com 或 google.com，而不是具体搜索词。所以单靠服务器日志，想完整还原搜索引擎关键词并不现实。 可以结合哪些工具判断关键词 比较可行的做法是把日志和统计工具一起看。百度搜索资源平台可以看展现词、点击词，Google Search Console能看到查询词、点击量、曝光量和平均排名；再结合网站日志里的落地页访问情况，就能推断用户大概率搜了什么。例如某篇“厨房漏水维修”页面突然从百度获得大量访问，而搜索资源平台显示“厨房漏水怎么处理”点击上升，就能把关键词和页面对应起来。 日志分析时重点看这些字段 实际操作中，重点看请求URL、Referer、User-Agent、时间和状态码。请求URL用于找站内搜索词，Referer用于判断来源，User-Agent能区分真实用户和蜘蛛，状态码能排除404、爬虫异常访问。很多人问网站日志怎么看用户搜索了什么关键词，其实还要先清洗掉蜘蛛、监控工具和无效请求，否则数据会很乱。 如果只是想知道“用户在我网站里搜了什么”，日志基本能解决；如果想知道“用户在百度里搜了什么进来的”，就要结合搜索资源平台和流量统计。网站日志怎么看用户搜索了什么关键词这个问题，真正的答案不是只看一份日志，而是把日志、落地页和搜索词报告放在一起看。

网站日志提取用户搜索关键词的具体步骤

做了十年网站优化，我跟你讲，这事儿得先分清楚：用户搜索的关键词，到底是在你网站内部搜的，还是在搜索引擎（比如百度、谷歌）上搜了之后点进来的。

如果是站内搜索（比如用户在你网站顶部的搜索框输入“红色连衣裙”），那网站日志里通常会记录搜索的URL参数。常见的有 ?s=keyword、?q=keyword、?search=xxx 这类。你直接去看Nginx或Apache的access.log，用 grep 命令把带这些参数的URL挑出来就行。比如：

grep "?s=" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn

这行命令能按搜索次数排序，最快找到哪些词被搜得最多。要是网站日志每天几百万条，你还可以提前用awk把参数单独拿出来，比如awk -F '?s=' '{print $2}'。

如果是外部搜索引擎带来的搜索词（比如用户百度搜“怎么修洗碗机”，点进了你的网站），那情况就有点麻烦了。因为现在大部分搜索引擎（百度、谷歌）都加密了 referer 字段，你从日志的 referer 域看到的是 https://www.baidu.com/ 或者 https://www.google.com/，后面没有具体关键词。老域名、早期网站可能还能抓到，新站基本没戏。

如果非要抓，只能靠百度站长工具或者谷歌Search Console里看“搜索分析”那部分数据。日志里顶多看到 site.baidu.com 的蜘蛛爬取记录，但不是用户真实输入的词。

另外提醒一句：别只看IP、UA，日志里真正的“搜索意图”有时藏在URL参数里。比如用户在你网站搜索“iPhone 14”，但你的CMS用的参数是?keyword=iPhone%2014，你命令里没写对就漏掉了。我一般会先手动翻几十条日志，看看参数名是什么，再写正则。

最后说个别人不爱提的：如果日志被人为截断过（比如按天分割但轮转没做好），或者你用的是CDN（比如Cloudflare），那原始IP和用户真实搜索词可能被覆盖。这时候就只能靠你前端的搜索事件埋点或者用统计工具（比如百度统计）补全了。

总结：能直接从日志里捞的，只有你自己的站内搜索；外部的关键词，要么看工具，要么当它不存在，别硬挖。

网站日志里蜘蛛抓取少要不要用蜘蛛池

网站日志里蜘蛛抓取少，不建议一上来就用蜘蛛池。真正要先判断的是：百度蜘蛛、谷歌蜘蛛少抓，是因为网站本身不值得抓、抓不到，还是新站权重低、更新频率低导致的正常现象。蜘蛛池只能制造一些外部入口和抓取信号，不能解决页面质量、站内结构、服务器响应这些核心问题。 先看日志里的“少”到底少在哪里 搜索“网站日志里蜘蛛抓取少要不要用蜘蛛池”的人，通常已经看过服务器日志，发现Baiduspider访问次数很低。这里不能只看总次数，要看抓取的URL类型。如果蜘蛛只抓首页、robots、sitemap，不抓栏目页和内容页，可能是内链层级太深、入口太少；如果抓了很多404、301、参数页，说明抓取预算被浪费了。 什么情况下不该用蜘蛛池 如果网站打开慢、经常5xx、页面重复度高、内容长期不更新，用蜘蛛池意义不大。蜘蛛来了也可能很快离开，甚至加重无效抓取。尤其是新站，前1-3个月抓取少比较常见，百度通常会先少量试探，再根据内容质量、更新稳定性、外链和用户反馈调整抓取频率。 应该先做哪些更有效的事 处理网站日志里蜘蛛抓取少要不要用蜘蛛池这个问题，建议先做基础排查：robots是否误屏蔽、sitemap是否提交且能访问、重要页面是否有内链入口、URL是否规范、服务器响应是否在合理范围内。一般来说，页面返回200、加载稳定、栏目结构清晰，比单纯引蜘蛛更重要。 蜘蛛池有没有适合的场景 蜘蛛池不是完全不能用，但更适合已有一定内容量、页面质量过关、只是发现新链接慢的网站。比如站内每天发布几十篇原创或聚合整理内容，但收录入口不足，可以用少量外部链接引导蜘蛛发现页面。这里要注意，蜘蛛池解决的是“发现问题”，不是“收录和排名问题”。 看结果别只盯抓取次数 判断网站日志里蜘蛛抓取少要不要用蜘蛛池，还要同时看索引量、收录速度、抓取状态码和重点页面覆盖率。抓取次数上涨但全是无效URL，并不是好事。反过来，抓取次数不高，但核心页面都被正常抓取、收录稳定，也没必要折腾。 所以，网站日志里蜘蛛抓取少要不要用蜘蛛池，答案是先别急。先把站内可抓、值得抓、抓得顺的问题解决，再考虑外部引蜘蛛。很多时候，真正缺的不是蜘蛛，而是能让蜘蛛留下来的页面。

网站是如何盈利的

　　搜索引擎公司

　　专业搜索引擎类有百度一家，主要在国内经营搜索排名、企业级软件、广告业务和竞价排名等，其营收的增长，得益于网站流量的进一步增加，客户数量的持续扩大，以及按效果付费的竞价排名商业模式李歼念可扩展的潜力。

　　独创的"竞价排名"为按效果付费的网络推广方式，企业在购买该项服务后，通过注册一定数量的关键词，其推广信息就会率先出现在网民相应的搜索结果中。百度按照给企业带去的潜在客户访问数收费，竞价排名占到其收入的80%。

　　无线增值服务公司

　　无线增值服务提供商有空中网、灵通、华友世纪三家。

　　中国移动增值业务市场从2002年开始，经过5年的快速发展，2005年市场总体规模达到415亿元。一类是直接提供娱乐服务，如交友、彩信、彩铃、游戏、来电铃声、语音交互等等；另一类是提供资讯服务，比如广告、专科医学常识介绍、天气预报等等。传统SP业务包括短信、语音、彩铃，基于3G的SP业务包括WAP、网络游戏、彩信、JAVA应用等。

　　2005年中国移动增值服务市场发展继续趋缓，在传统的短信业务已经放慢，3G迟迟未上的背景下，众多SP在较低的技术层面展开较量，最终形成恶性竞争。另外，中国移动以及改带中国联通针对WAP等增值业务而实施的高压政策，也令SP行业遭受打击。2006年将为无线增值服务突围的关键一年。

　　电子商务公司

　　电子商务类公司有提供旅游服务的携程、e龙以及提供人力资源服务的前程无忧。

　　旅游电子商务是向旅游者提供免费服务，而从酒店和航空公司那里获得收入。e龙热衷差旅服务，即从客户收取服务费，比如，年初计划替客户节省10%，结果节省了20%，预先承诺的10%部分哪困不收费，而另外的10%五五分成。携程着力自助游，自助游的服务内容有简单的"机票+酒店"，也有"机票+酒店+接送机+选择性旅游内容"等不同层次，主要依靠酒店和机票的佣金来获得利润。

　　前程无忧是国内第一个集多种媒介资源优势的专业人力资源服务机构。它集合了传统媒体、网络媒体及先进的信息技术，加上一支经验丰富的专业顾问队伍，提供包括招聘猎头、培训测评和人事外包在内的全方位专业人力资源服务。

　　网络游戏公司

　　盛大网络和第九城市是国内领先的网络游戏运营商。目前盛大提供包括奇迹II在内的10余款网络游戏的运营服务，占据着1/3左右的市场份额（仅指大型角色扮演类网络游戏部分）。第九城市拥有《魔兽世界》在中国地区的独家代理运营权。

　　盈利模式包括对游戏时间计费以及增值应用服务（如在游戏内提供一些特殊道具让玩家用"元宝"购买，而"元宝"则须由玩家用人民币购买）。

　　广告公司

　　广告公司有分众传媒公司，是中国户外电视广告网络的创建者，首家登陆纳市的中国纯广告传媒股。定位于分众市场的清晰战略定位是分众传媒商业模式的核心。其广告业务，包括商业楼宇、卖场广告等。

　　纳斯达克上市的中国新媒体公司是中国新媒体产业的缩影。媒体有三种主要的赢利模式，一种是靠内容赢利，比如SP公司，购买内容甚至租赁内容，通过强大的线上与线下推广，销售给移动电话的持有者；杂志通过印刷版的付费订阅及电子订阅赢利都属于这种情况；第二种是靠广告赢利，比如门户网站通过销售文字链接、banner等网络广告赢利，搜索引擎公司靠竞价排名赢利，在线招聘服务公司靠分类招聘广告赢利等；第三种是通过互联网构筑业务平台，降低运营成本，如提供差旅服务、酒店及机票预订的e龙及携程网；提供游戏服务的盛大及第九城市（如果没有互联网技术，人们参与多角色扮演游戏的成本将是非常巨大的）；提供网络购物服务的当当网。

　　目前在纳斯达克上市的中国新媒体公司中，赢利模式都是上述两种或三种的综合。随着中国社会发展与经济成长，消费者对信息的需求、企业对广告的需求呈现出广阔的前景，新媒体产业也必将迎来井喷式的增长。新媒体发展最主要的动力来源于将原有政策体制下被割裂成不同地理位置、不同媒介形态、不同内容主题的市场整合为一个大市场。我们预测，针对不同信息格式（文字、图形、视频）、不同内容主题、不同受众群体的新媒体是未来传媒产业发展趋势。（作者：詹正茂刘辰子/清华大学新闻与传播学院本文刊于《传媒》2006.4）

　　___________________________________________________________

　　表1：NASDAQ上市网络门户类公司概况（按市值排序）

　　公司名称市值总收入市盈率业务概况

　　网易29.072.118.92网络游戏（81.4%），广告（14.2%）无线增值及其它（4.3%），无线增值业务因市场竞争激烈下滑，业务中心向网络游戏转移

　　新浪13.251.93626.93广告（43.9%），无线增值（50.7%），广告和移动增值业务均领先网易搜狐，基本占据相同比例

　　Tom10.181.72116.73无线增值（94.1%），广告（5.4%），其无线互联网服务在大陆市场处于领先地位

　　搜狐8.581.08323.40广告（65.5%），无线增值（24.3%），电子商务（3.5%），主要收入来源于广告业务，其中包括品牌广告和搜索引擎"搜狗"所带来的搜索引擎广告

　　中华网4.442.47625.12软件开发（82.5%），China.com（17.5%），软件收入来自CDC软件公司

　　金融界1.060.07521.56中国领先的金融和财经信息提供商，以及全球最大的中文财经网站之一，其收入主要来自广告业务

　　___________________________________________________________

　　表2：NASDAQ上市专业搜索引擎类公司概况

　　公司名称市值总收入市盈率业务概况

　　百度15.960.39656.78网络营销（96.2%）包括搜索排名、企业级软件、广告业务和竞价排名等

　　注：市值和总收入的单位均为亿美元，下同

　　___________________________________________________________

　　表3：NASDAQ上市单一无线增值类公司概况（按市值排序）

　　公司名称市值总收入市盈率业务概况

　　空中网4.080.77512.40提供彩信(MMS)、WAP、JAVA等产品和服务。基于2.5G的业务收入占72.7%，基于2G的业务收入占27.4%

　　华友世纪1.900.6248.69提供手机铃声、图片下载及无线娱乐服务的无线增值业务的内容应用及综合软件平台的开发、集成与服务。基于2.5G的业务收入占57.5%，基于2G的收入占32.2%，软件和系统整合服务的业务收入占10.1%

　　灵通1.770.73612.21主要涉及包括短信（SMS）、多媒体信息服务（MMS）、WAP、IVR及RBT在内的诸多无线产品业务。业务收入中短信（SMS）收入占62.6%，2.5G及音频相关收入占33.5%，MMS、WAP、JAVA游戏收入占38.8%

　　___________________________________________________________

　　表4：NASDAQ上市电子商务公司

　　公司名称市值总收入市盈率业务概况

　　携程11.970.646529.74集宾馆预订、机票预订、度假产品预订、旅游信息查询及打折商户服务为一体的综合性旅行服务公司。宾馆预订（69.7%），机票预订（31.3%），度假产品预订（4.3%）

　　前程无忧4.090.62423.84收入来源包括印刷广告、在线招聘、执行搜索和人力资源服务。印刷广告（54.7%），在线招聘（30.7%），执行搜索（3.9%），人力资源服务（10.6%）

　　e龙1.72NA100.50业务范围覆盖全球酒店及机票预订、休闲度假产品、特约商户、集团差旅等服务。酒店预订（72.6%），机票预订（12.3%），其他（15.1%）

　　___________________________________________________________

　　表5：NASDAQ上市网络游戏类公司

　　公司名称市值总收入市盈率业务概况

　　盛大9.392.3517.68休闲游戏（22.6%），MMORPG（64.0%），网络广告及其他（13.4%）

　　第九城市5.740.57613.562005年1239%的年增长率位列所有公司首位，收入主要来自魔兽世界（99.6%）

　　___________________________________________________________

　　表6：NASDAQ上市广告公司

　　公司名称市值总收入市盈率业务概况

　　分众传媒22.190.68229.04商业楼宇联播网目前已经覆盖全国54个城市，近35,000个液晶屏，日覆盖数千万中高收入人群。其业务收入中，商业场所广告网络收入占84.1%，场内广告网络收入占13.4%他门赚钱大都分为以下两种

　　1:做宣传广告

　　2:卖广告牌主要是做广告来赢利的