首页
15问答网
>
访问被拒绝爬虫发起抓取,httpcode返回码是403
访问被拒绝爬虫发起抓取,httpcode返回码是403
怎么解决详细步骤 每天都是这个样子，自从网站开通以后就这样
2025-05-16 23:43:28
推荐回答（2个）
回答1：
自己写的爬虫不必理会robots.txt.
检查你的 curl 里的user agent。
一些server 会检查合格的user agent.
回答2：
是因为权限问题，你看一下你的robots.txt文件
相关问答
最新问答
我们在一起7年了，他对我一直很好，虽然大多时间是异地恋，只有寒暑假一起。可是我现在对他没感觉了，怎
步步高y18l为什麼照相机照出来的照片是倒的？
圆通从杭州到辽阳快递多长时间
雾霾产生的根本原因及如何治理京津冀等多省雾霾
50岁男人吃什么维生素好
女人安全期什么时候是最安全的时候
安全期怎么算 妇科专家进
美国免税州转运
没有在淘宝买东西,可以要求商家提供检测报告,商家有权利不提供吗？
上海申孚贸易有限公司怎么样？
