机场节点转爬虫节点

3/17/2024 翻墙

感谢大佬提供的代码glider (opens new window)

首先按照版本将对应的压缩包下载到本地,解压!

我这里就已目前使用的windows机器举例:

image-20240718210437306

解压后将glider_0.16.3_windows_amd64\config\examples\4.multiple_forwarders\下的glider.conf复制到根目录

之后对其简单的修改

可以利用这个库中的代码对订阅文件 (opens new window)进行转换,然后复制到配置文件中.

image-20240718210317847

主要就是将自己的节点转换后添加到配置文件上.

除此之外还可以修改一下端口listen=:

然后可以看一下后面的模式配置:

节点选择策略

轮询模式:rr

Round Robin mode: rr

轮询模式是一种负载均衡算法,它会依次将请求分配到各个服务器上,直至所有服务器被均衡使用。该算法简单易实现,适用于服务器性能差异不大的情况。

简单来说就是IP换的特别快

高可用模式:ha

High Availability mode: ha

高可用模式指的是在服务器宕机或出现其他故障时,系统可以自动切换到备用服务器上,保证服务的持续可用性。这种模式常用于对服务可用性要求较高的场景,如金融、医疗等领域。

简单来说就是节点挂了才换

延迟为基础的高可用模式:lha

Latency based High Availability mode: lha

延迟为基础的高可用模式是一种结合了高可用与负载均衡思想的算法,它会根据服务器的延迟情况来判断是否需要切换到备用服务器上。当主服务器的延迟明显高于备用服务器时,系统会自动切换到备用服务器上以减少用户感知的延迟。

简单来说就是始终选择最低延迟的节点

目标哈希模式:dh

Destination Hashing mode: dh

目标哈希模式是一种负载均衡算法,它会根据请求的某些关键特征(如来源 IP、URL等)计算哈希值,并将请求分配到相应的服务器上。该算法可以保证同一请求的多次访问会被路由到同一台服务器上,适用于需要对用户进行会话管理的场景。

打个比方来说就是访问百度的所有流量都交给一个节点,访问微软的所有流量交给另一个节点

之后修改完成后直接执行即可.

glider.exe -config glider.conf
1

如果觉得很麻烦也可以用一个闭源的工具airfly (opens new window)

这个使用起来也很方便,找到符合的版本然后运行即可

airfly.exe -l mixed://:6633 -u "<https://dyc101fdbc>" -u "https:scri09c7v2ray" -u "https099e8ce794"
1

-u 后面跟订阅链接,需是v2rayN的订阅链接,如果是那种clash的也可以尝试一下.

之后简单测试一下发现很成功

import requests
from log import Logger
url = "https://myip.ipip.net/"

proxy = {"http": "http://127.0.0.1:8443", "https": "http://127.0.0.1:8443"}
my_logger = Logger('my_app_logger', log_file='my_app.log')

for i in range(10):
    try:
        res = requests.get(url, proxies=proxy)
        my_logger.info(res.text)
    except:
        pass
1
2
3
4
5
6
7
8
9
10
11
12
13

image-20240718210454153