LLM IK

Résoudre la cinématique inverse avec des modèles de grandes langues

Ce référentiel est pour générer et tester les solutions cinématiques inverses générées par des modèles de grande langue (LLMS) pour les chaînes cinématiques avec un seul "effecteur final".

Caractéristiques

• Peut charger des fichiers URDF.
• Prend en charge les LLM basées sur le chat et les API.
• Peut résoudre en cinq modes.
  • Normal: tente directement de résoudre la chaîne.
  • Extension: essaie d'étendre une solution existante pour une liaison de chaîne One plus petite que le courant.
  • Dynamique: essaie de baser la solution des sous-chaînes déjà résolues.
  • Cumulatif: comme dynamique mais passe toutes les chaînes de sous-sous-sols possibles.
  • Transfert: essaie de baser la solution pour un solveur de position et d'orientation hors d'un solveur de position uniquement.
• L'héritage des modèles où des modèles plus chers peuvent s'étendre ou construire dynamiquement à partir des solutions de modèles moins chers.

Installation

1. Recommandé: Créez un environnement virtuel python3 -m venv .venv .
   • Activer l'environnement virtuel.
     • Windows: .venvScriptsactivate.bat .
     • Linux: .venvScriptsactivate.ps1 .
     • Mac: source .venv/bin/activate .
2. Installez toutes les exigences avec pip install -r requirements.txt .
3. Si vous faites vos propres expériences, il est recommandé de supprimer tous les dossiers de ce projet, à l'exception des Robots ou Models , et des dossiers Providers si vous souhaitez utiliser certains des mêmes robots ou LLM que nous.
4. Dans le répertoire racine, assurez-vous qu'il existe un dossier nommé Robots et placez les fichiers URDF des robots que vous souhaitez utiliser à l'intérieur.
5. Dans le répertoire racine, assurez-vous qu'il existe un dossier nommé Models et placez tous vos fichiers de spécification LLM que vous souhaitez utiliser à l'intérieur comme détaillé dans la section des modèles.
6. Facultatif: ces étapes ne s'appliquent que si vous souhaitez utiliser des API compatibles API OpenAI.
   • Dans le répertoire racine, assurez-vous qu'il existe un dossier nommé Providers et placez vos fichiers de spécification compatibles API OpenAI que vous souhaitez utiliser à l'intérieur comme détaillé dans la section des fournisseurs.
   • Dans le répertoire racine, assurez-vous qu'il existe un dossier nommé Keys et créez des fichiers .txt nommés les mêmes que les fichiers de spécification compatibles API OpenAI dans le dossier Providers et collez les clés API appropriées dans chacune.
7. Exécutez llm_ik avec les paramètres décrits dans la section d'utilisation.
8. Affichez les résultats dans le dossier Results dans le répertoire racine.

Modèles

• Les modèles sont spécifiés dans les fichiers .txt dans le dossier Models dans le répertoire racine.
• Le nom du fichier est ce qui apparaîtra dans les résultats.
• Chaque ligne du fichier représente des informations sur le fichier, avec seulement la première ligne nécessaire pour les modèles non API.

Format

1. Si le modèle est un modèle de raisonnement ou non, spécifié par True ou False et défaut en False . Si ce n'est pas un modèle de raisonnement, les invites comprendront une déclaration pour "réfléchir étape par étape et montrer tout votre travail" pour susciter certains avantages de la pensée de la chaîne de pensées. Sinon, cela est omis, car le raisonnement fait déjà un processus comme celui-ci en interne.
2. Le nom du "fournisseur" du modèle étant le nom du fichier de spécification compatible API OpenAI (sans l'extension .txt ) à utiliser à partir du dossier Providers . Voir la section Providers pour configurer ces fichiers eux-mêmes.
3. Le coût d'entrée par jeton de ce modèle. S'il n'est pas spécifié, ce modèle ne peut pas être hérité par d'autres modèles d'API.
4. Le coût de production par jeton de ce modèle. S'il n'est pas spécifié, ce modèle ne peut pas être hérité par d'autres modèles d'API.
5. Si ce modèle prend en charge l'appel de fonction via l'API OpenAI, spécifié par True ou False et défaut si son fournisseur prend en charge les fonctions. Ceci est utile car certains fournisseurs, tels que OpenRouter, prennent en charge les appels de fonction, mais tous les modèles qu'ils fournissent ne font pas aussi bien, vous donnant ainsi une option pour effectuer un remplacement par modèle. Cependant, si le fournisseur ne prend pas en charge les appels de fonction et cela est défini sur True , la configuration du fournisseur le remplacera à False , donc cela ne peut être utilisé que pour désactiver l'appel de fonction et ne pas lui permettre. Si cela est False , des détails supplémentaires sont ajoutés à l'invite afin que les modèles puissent toujours appeler des méthodes, tout simplement pas via les fonctions API OpenAI et à la place, la réponse de message régulière est analysée.
6. Le nom de l'API à utiliser pour ce modèle. Si elle est omise, le nom de fichier (sans l'extension .txt ) sera utilisé.

Fournisseurs

• Les fournisseurs compatibles API OpenAI sont spécifiés dans les fichiers .txt dans le dossier Providers dans le répertoire racine.

Format

1. Le point de terminaison de l'API du fournisseur.
2. Si ce modèle prend en charge l'appel de la fonction via l'API OpenAI, spécifié par True ou False et défaut en False . Si le fournisseur prend en charge les méthodes mais qu'un modèle ne s'explique pas comme dans la section des modèles, cela sera remplacé par False pour ce modèle uniquement.

Usage

Arguments

• -r ou --robots - Les noms des robots. Par défaut, None qui chargera tous les fichiers URDF robot dans le dossier Robots .
• -m ou --max - la longueur de chaîne maximale à fonctionner. Par défaut est 0 ce qui signifie qu'il n'y a pas de limite.
• -o ou --orientation - Si nous voulons résoudre l'orientation en plus de la position. Par défaut est True .
• -t ou --types - Le type de résolution le plus élevé à exécuter. Les défauts par Transfer , ce qui signifie que tous sont exécutés.
• -f ou --feedbacks - Le nombre maximum de fois pour donner des commentaires. Par défaut à 5 .
• -e ou --examples - Le nombre d'exemples à donner avec des rétroactions. Par défaut est 10 .
• -a ou --training - Le nombre d'échantillons de formation. Par défaut à 1000 .
• -v ou --evaluating - le nombre d'évaluations d'échantillons. Par défaut à 1000 .
• -s ou --seed - La graine de génération d'échantillons. Par défaut à 42 .
• -d ou --distance - L'erreur de distance acceptable. Par défaut à 0.001 .
• -n ou --angle - l'erreur d'angle acceptable. Par défaut à 0.001 .
• -c ou --cwd - Le répertoire de travail. Par défaut, None qui obtient le répertoire de travail actuel.
• -l ou --logging - le niveau de journalisation. Par défaut INFO .
• -w ou --wait - combien de temps attendre entre les appels d'API. Par défaut à 1 seconde.
• -u ou --run - Flag - Activer l'exécution de l'API.
• -b ou --bypass - Flag - contourner la confirmation de l'exécution de l'API.

Chat manuel

• Si vous discutez manuellement avec un LLM, après avoir fonctionné, regardez dans le dossier Interactions jusqu'à ce que vous trouviez le robot, le modèle et la résolution que vous recherchez.
• Copiez le dernier X-Prompt.txt , X-Feedback.txt , X-Forward.txt ou X-Test.txt dans votre interface de chat et attendez une réponse où X est un nombre.
  • Copiez la réponse entière, pas seulement le code. Le programme recherchera un bloc de code Python pour extraire de la réponse, donc si vous extraire manuellement ce code, le programme ne le reconnaîtra pas.
• Une fois une réponse reçue, faites un fichier texte nommé X-Response.txt où X est le numéro suivant de l'historique de chat et réduisez le programme. Répétez l'étape précédente et celle-ci jusqu'à ce qu'un fichier nommé X-Done.txt apparaît où X est un nombre.