爬虫JS逆向其实挺简单

q-q56731526 / 2023-05-06 / 原文

JS逆向爬虫是指通过分析网站的JavaScript代码，模拟浏览器行为，从而获取网站数据的一种方式。下面是一个JS逆向爬虫的案例：

1、分析目标网站的JavaScript代码，找到数据请求的URL和参数。

2、使用Python的Requests库发送模拟的HTTP请求，携带必要的参数。

3、解析返回的数据，提取需要的信息。

4、如果需要模拟登录，可以使用Selenium模拟浏览器登录，然后再进行数据爬取。

例如，假设有一个网站需要登录才能查看数据，可以使用以下代码进行模拟登录并获取数据：

import requests
from selenium import webdriver

# 模拟登录
driver = webdriver.Chrome()
driver.get("https://example.com/login")
username_input = driver.find_element_by_name("username")
password_input = driver.find_element_by_name("password")
submit_button = driver.find_element_by_xpath("//button[contains(text(), 'Login')]")
username_input.send_keys("myusername")
password_input.send_keys("mypassword")
submit_button.click()

# 爬取数据
response = requests.get("https://example.com/data", cookies=driver.get_cookies())
data = response.json()

其中，Selenium模拟登录后获取的cookie可以通过driver.get_cookies()方法获取，然后传递给Requests库发送数据请求。返回的数据可以通过解析JSON格式的响应进行提取。

例如：

以下是一个使用 Node.js 和 Request 库编写的简单的网页爬虫代码，爬取指定网页的标题和文章内容：

const request = require('request');
const cheerio = require('cheerio');

const url = 'https://www.example.com'; // 指定要爬取的网页地址

request(url, (error, response, body) => {
  if (!error && response.statusCode === 200) {
    const $ = cheerio.load(body); // 使用 cheerio 将 HTML 解析为 DOM 对象

    const title = $('title').text(); // 获取网页标题
    console.log(`网页标题：${title}`);

    const article = $('article').text(); // 获取文章内容
    console.log(`文章内容：${article}`);
  } else {
    console.error(error);
  }
});

另外，需要注意的是，爬虫行为可能会违反网站的使用协议和法律法规，建议在使用之前先了解相关规定并获得网站的授权。