Téléchargement sbulb - Téléchargement du code source sbulb

sbulb

Autres catégories

v0.3.0

Télécharger

udploadbalancer

Un prototype de balancer UDP à l'aide de BCC (XDP / BPF)

 usage: sbulb [-h] -vs VIRTUAL_SERVER
             (-rs REAL_SERVER [REAL_SERVER ...] | -cfg CONFIG_FILE) -p PORT
             [PORT ...] [-d {0,1,2,3,4}]
             [-l {CRITICAL,ERROR,WARNING,INFO,DEBUG,TRACE}] [-mp MAX_PORTS]
             [-mrs MAX_REALSERVERS] [-ma MAX_ASSOCIATIONS]
             ifnet

positional arguments:
  ifnet                 network interface to load balance (e.g. eth0)

optional arguments:
  -h, --help            show this help message and exit
  -vs VIRTUAL_SERVER, --virtual_server VIRTUAL_SERVER
                        <Required> Virtual server address (e.g. 10.40.0.1)
  -rs REAL_SERVER [REAL_SERVER ...], --real_server REAL_SERVER [REAL_SERVER ...]
                        <Required> Real server address(es) (e.g. 10.40.0.2 10.40.0.3)
  -cfg CONFIG_FILE, --config_file CONFIG_FILE
                        <Required> a path to a file containing real server address(es). 
                        File will be polled each second for modification and configuration
                        updated dynamically. A file content example :
                        
                        [Real Servers]
                        10.0.0.4
                        10.0.0.2
                        10.0.0.6
                        
  -p PORT [PORT ...], --port PORT [PORT ...]
                        <Required> UDP port(s) to load balance
  -d {0,1,2,3,4}, --debug {0,1,2,3,4}
                        Use to set bpf verbosity, 0 is minimal. (default: 0)
  -l {CRITICAL,ERROR,WARNING,INFO,DEBUG,TRACE}, --loglevel {CRITICAL,ERROR,WARNING,INFO,DEBUG,TRACE}
                        Use to set logging verbosity. (default: ERROR)
  -mp MAX_PORTS, --max_ports MAX_PORTS
                        Set the maximum number of port to load balance. (default: 16)
  -mrs MAX_REALSERVERS, --max_realservers MAX_REALSERVERS
                        Set the maximum number of real servers. (default: 32)
  -ma MAX_ASSOCIATIONS, --max_associations MAX_ASSOCIATIONS
                        Set the maximum number of associations. (default: 1048576)
                        This defined the maximum number of foreign peers supported at the same time.

Par exemple: sudo python3 -m sbulb eth0 -vs 10.188.7.99 -rs 10.188.100.163 10.188.100.230 -p 5683 5684

Comportement

Cet équilibreur de charge peut être considéré comme un balancer NAT-4 NAT car il modifie uniquement l'adresse IP.

Pour le trafic entrant:

Nous recherchons si nous avons une Association clientip:port/realserverip .
Si oui, nous modifions l'adresse de destination ( dest Nat ) remplacer l'adresse IP virtuelle par le vrai serveur IP .
Si non, nous choisissons un vrai serveur et créons une nouvelle association, et faisons dest nat comme ci-dessus.

Pour le trafic de sortie:

Nous recherchons si nous avons une association clientip:port/realserverip .
Si oui et le paquet provient du serveur réel associé, nous modifions l'adresse source ( Source NAT ) remplaçant l'adresse du serveur réel par l' adresse IP du serveur virtuel .
Si oui et le paquet provient du vrai serveur "non associé", nous supprimons le paquet
Si non, nous créons une nouvelle association à l'aide de l'adresse IP source ( adresse IP du serveur réel ) et modifiant l'adresse source ( Source NAT ) par l' adresse IP du serveur virtuel .

Nous gardons cette association est une grande carte LRU aussi longtemps que possible, ce qui signifie que l'association la plus ancienne n'est supprimée que si la carte LRU est pleine et que la nouvelle association doit être créée.

L'algorithme utilisé est un simple rabat à la ronde.

️ Tous les paquets des RealServers au client doivent passer par la machine / directeur de chargeur UDP (comme avec LVS-Nat).

Pourquoi créer un nouvel équilibreur de charge?

Dans un cluster, la bonne pratique est généralement de partager des états entre chaque instance de serveur, mais parfois certains états ne peuvent pas être partagés ...
Par exemple, un groupe de serveurs qui ne peut pas partager la connexion DTLS, dans ce cas, vous souhaitez toujours envoyer des paquets d'un client donné au même serveur pour limiter le nombre de poignées de main.
Pour ce faire, vous devez créer une association à longue durée de vie entre le client et le serveur, mais la plupart des UDP Loadbalancer sont pour avoir une association Ephemere. La plupart du temps, cette durée de vie d'association peut être configurée et vous pouvez définir une grande valeur, mais ici grâce à la carte LRU, nous pouvons garder l'association aussi longtemps que possible.

L'autre point est la communication initiée au serveur . Nous voulons pouvoir lancer la communication à partir d'un serveur exactement comme si la communication avait été initiée par un client. Signifiant que la même table d'association est utilisée.

Limitation

Il s'agit d'un simple balancer de charge et il a donc quelques limites:

Tout le trafic (entrée et sortie) doit être géré par la même interface réseau.
Tout le trafic doit passer à la même passerelle Ethernet (ce qui est le cas la plupart du temps).
Ne prend pas en charge la fragmentation IP.
Ne prend pas en charge le paquet IP avec les options d'en-tête pour l'instant. Ce qui signifie que la taille de l'en-tête IP (nombre de 32 bits de mot) doit être définie sur 5.

Exigences et dépendances

Vous avez besoin:

Un noyau Linux récent pour pouvoir lancer le code XDP / BPF. (actuellement testé avec le package 4.19.x)
BCC installé. (Actuellement testé avec V0.8: Package Python3-BPFCC sur Debian)
Les têtes Linux installées pour permettre à BCC de compiler le code BPF.

Utilisation avec Systemd

SBULB prend en charge le mécanisme SD_notify (3), mais ne nécessite pas de bibliothèque SystemD ou aucune bibliothèque SystemD. Cela permet à SBULB de notifier SystemD lorsqu'il est prêt à accepter les connexions. Pour utiliser cette fonctionnalité, vous pouvez écrire un service comme ceci:

 [Unit]
Description=UDP Load Balancer
Wants=network-online.target
[Service]
Type=notify
NotifyAccess=all
Environment=PYTHONUNBUFFERED=1
ExecStart=/usr/bin/python3 -m slulb args...
[Install]
WantedBy=multi-user.target

Performance

Voir notre page wiki à ce sujet.

Tests unitaires

Pour lancer des tests unitaires:

 sudo python3 -m unittest                                   # all tests
sudo python3 -m unittest sbulb.tests.IPv4TestCase          # only 1 test case
sudo python3 -m unittest sbulb.tests.IPv4TestCase.test_lru # only 1 test

Les tests nécessitent BCC V0.14 (Python3-BPFCC) et SCAPY (Python3-Scapy).