project lakechain

Projet Lakechain

Pipelines de traitement de document natifs et natifs du cloud sur AWS.

? Caractéristiques

• ? Composable - API composable pour exprimer des pipelines de traitement de document à l'aide de Middlewares.
• ☁️ évolutif - Échelles hors de la boîte. Traiter des millions de documents, évoluer automatiquement à zéro une fois terminé.
• ⚡ CARFAIT - Utilise des architectures optimisées pour réduire les coûts et stimuler un modèle de paiement.
• Prêt à utiliser - 60+ Middlewares intégrés pour les tâches de traitement des documents courants, prêts à être déployés.
• ? Support GPU et CPU - Utilisez le bon type de calcul pour équilibrer les performances et le coût.
• ? Apportez le vôtre - créez votre propre transformation Middlewares pour traiter les documents et étendre Lakechain.
• ? Exemples prêts à faire - Quickstar votre voyage en tirant parti de plus de 50 exemples que nous avons construits pour vous.

Commencer

Dirigez-vous vers notre documentation qui contient toutes les informations nécessaires pour comprendre le projet et commencez rapidement à construire!

Qu'est-ce que Lakechain ❓

Project LakeChain est un cadre expérimental basé sur le kit de développement Cloud AWS (CDK) qui facilite l'expression et le déploiement de pipelines de traitement de documents évolutifs sur AWS à l'aide d'infrastructure en tant que code. Il met l'accent sur la modularité des pipelines et fournit plus de 40 composants prêts à l'emploi pour le prototypage des pipelines de documents complexes qui peuvent évoluer hors de la boîte à des millions de documents.

Ce projet a été conçu pour aider les clients AWS à construire et à évoluer différents types de pipelines de traitement de documents, allant d'un large éventail de cas d'utilisation, notamment l'extraction des métadonnées , la conversion de documents , l'analyse NLP , le résumé de texte , les traductions , les transcriptions audio , la vision par ordinateur , les pipelines de génération augmentée de récupération , et bien plus encore!

Montre-moi le code ❗

? Vous trouverez ci-dessous un exemple de pipeline qui déploie l'infrastructure AWS pour transcrire automatiquement les fichiers audio téléchargés sur S3, en quelques lignes de code. Échelle à des millions de documents.

LICENCE

Voir la licence.