modelexicon

Cette IA n'existe pas?

Cette IA n'existe pas génère des descriptions réalistes des modèles d'apprentissage automatique inventés. ModeLexicon est ce qu'il a été appelé avant d'acheter le domaine.

Cette IA n'existe pas est construite avec du chêne et du tore. Le GPT-J-6B d'Eleutherai est utilisé pour la génération de texte et de code au moment de la rédaction, bien que cela puisse changer à mesure que les modèles de pointe s'améliorent.

Comment ça marche

Au cœur de cette IA n'existe pas de deux pipelines de génération de texte:

• On prend un "nom du modèle" et génère une brève description de la prose à consonance académique
• Un autre prend cette description du modèle et écrit un extrait de code Python qui montre comment "utiliser" le modèle décrit

Ceux-ci sont tous deux générés à l'aide d'un modèle de langue appelé GPT-J-6B, qui se situe quelque part entre les modèles bien connus GPT-2 et GPT-3 en termes de performances.

Lorsque vous ouvrez simplement thisaidoesnotexist.com , les noms de modèle que vous verrez sont organisés à la main et pré-générés par moi. Il y a quelques raisons pour lesquelles j'ai choisi de pré-gérer un ensemble de noms de modèle:

• Plus important encore, cela permet d'économiser les coûts de calcul . La plupart des utilisateurs vont statistiquement cliquer sur les premiers modèles d'échantillons / pré-générés et essaient une ou deux de leurs propres idées de modèles. Certains visiteurs peuvent même rebondir après avoir vu seulement des exemples pré-générés. Je m'attends à ce que les données de modèle pré-générées me sauvent 2-4x sur les factures d'API, qui - mes modèles de langage - mon Dieu sont coûteux à exécuter!
• La conservation manuelle des premiers échantillons garantit que la première rencontre que les visiteurs ont avec ce projet est au moins d'une certaine base de qualité et de plaisir.

Le script dans scripts/pregenerate_models.oak pré-génère cet ensemble de données dans models.json , que le serveur rond-robins via à l'exécution à chaque demande. Tous les noms de modèles intentés à l'utilisateur sont évidemment acheminés vers les bonnes API pour la génération de texte.

Développement

L'exécution de ModeLexicon nécessite un fichier de configuration config.oak , qui comprend actuellement des informations d'accès à l'API pour la génération de texte. Il y a deux backends de génération de texte pris en charge:

• L'inférence de l'étreinte, ce qui nécessite un ensemble HuggingfaceURL sur le bon modèle et un ensemble HuggingfaceToken sur votre clé API.
• Mon API de modèle de langue privée personnelle, que vous ne pouvez probablement pas utiliser parce que vous n'êtes pas moi. Cela nécessite de définir CalamityURL au point de terminaison de l'API et CalamityToken au jeton API spécifique à l'application que je génère pour mes projets.

Avec ceux-ci définis dans config.oak , oak src/main.oak devrait démarrer l'application.

Comme beaucoup de mes projets, ModeLexicon est construit et géré avec du chêne. Il y a un court métrage qui enveloppe les commandes oak communes:

• make des exécutions sur le serveur Web et équivaut à oak src/main.oak mentionné ci-dessus
• make fmt ou make f Formats automatiquement tout changement suivi dans le référentiel
• make build ou make b le pack JavaScript client à partir de src/app.js.oak
• make watch ou make w pour les modifications de fichiers et exécute la make build sur toute modification