为什么网站知道爬虫使用了代理？
一些网站会通过反爬虫技术检测代理IP，以此防止网络爬虫的访问。以下是一些可能导致网站检测到使用代理的原因：
频繁更换代理IP
如果你过于频繁地更换代理IP，服务器可能记录下你的行为信息，识别出你的请求方式，并在后续访问判定时排除这些请求。
代理IP共享问题
很多代理IP服务供应商都采用共享代理IP的方式来提供服务，这样的话一个IP地址就被多个用户同时使用，也可能遇到对方也在访问同名网站引发嫌疑，因此被服务器认定为恶意机器（或者反复访问）而加入了黑名单中。
同时打开多个连接
在爬取数据请求期间可能会同时打开多个连接，如创建新会话、与服务器握手等，这些操作对于正常浏览器用户而言并不常见，所以可能引起服务器的警觉。此时可以设置合适的爬取速率和最大并发连接数试图解决上述问题。
总之，为了避免被服务器抓住证据，获取到你的IP并纪录下来，从而阻止爬虫程序接下来的操作，使用网络爬虫时需要遵循相应的道德规范和法律法规，控制合理访问频率，适当休息等方式来降低被检测到的概率。
以下是一些反爬虫措施：
IP封禁或限制访问
通过识别并禁用或限制访问某些IP地址，例如过于频繁发起请求的地址可能会被识别为恶意爬虫并加入黑名单。
User-Agent检测
通过User-Agent（请求头信息）字段来检测请求是否是正常浏览器发送的，并对非正常特定的User-Agent种类进行判别和处理，比如某些代理发来的UA串以及requests模块的内置默认UA。
验证码验证
通过添加验证码等机制，强制要求用户进行人机交互验证，防止完全自动化的网络爬虫程序的访问。
延迟或频率限制
服务器可能会在单个IP上限制请求速率，减慢数据获取速度，增加访问困难度。程序可以模拟人类的访问习惯，增加访问间隔来打破这种限制，然后可以再次开启较快的速度爬取网站内容。
动态页面
服务器可以使用JavaScript生成页面，并在客户端渲染，使得只有JS代码中包含的数据才能被访问到。
蜜罐（honey pot）
在网站中布置一些隐藏内容或者链接，并且设置访问这些内容的链接为网站检测恶意爬虫的陷阱，能够识别那些行为异常的程序。
总之，在完成爬虫时应该遵守道德规范和法律法规，确保自己的爬虫行为合法有效。除了上述措施外，还可以使用代理IP、请求头等技术手段来绕过反爬虫机制。但是需要注意的是，不要去试图突破其他人工智能爬虫技术在不同网站中设定的反爬虫机制，因为这样可能导致你的爬虫被封禁或被追究法律责任。