LLMSymbolicReasoningBench

Conjuntos de datos sintéticos para modelos de lenguaje

Este repositorio está dedicado a generar conjuntos de datos para varias tareas de modelado de idiomas. Nuestro objetivo es proporcionar una implementación para la generación de conjuntos de datos que no son públicos o que no tienen una implementación oficial, y facilitar que las personas los creen y reproducan.

Alentamos las contribuciones y los comentarios para que este repositorio sea un recurso valioso para la comunidad. Si tiene alguna pregunta o sugerencia, no dude en abrir un problema o enviar una solicitud de extracción.

Haga sus solicitudes de extracción (PRS)

Si desea contribuir, le recomendamos que haga un PR a este repositorio de acuerdo con las siguientes pautas.

Estructura de directorio

Cada PR debe incluir el código y la descripción de Markdown en un subdirectorio. Un ejemplo de árbol subdirectorio:

 └── DataGenLM
    └── <Your PR directory>: Dataset name
        ├── example.json (Optional)
        ├── README.md
        ├── requirements.txt
        └── <Your code>

Excluya los grandes archivos de datos en el PR mientras ocupan demasiado espacio. En su lugar, describa el método para adquirir los datos en su README.md y opcionalmente proporcione un fragmento de generación pequeña ( example.json ). Vea los subdirectorios coin-flip y last-letter-concatenation para un ejemplo.

Descripción de la tarea (ReadMe.md)

Incluya las siguientes secciones en su ReadMe para ayudar a su mejor uso:

• Nombre del conjunto de datos : sirve como el título de Markdown.
• Autores : su (s) nombre (s), contacto (correo electrónico) y URL a su (s) página (s) de inicio (si está disponible).
• Descripción de la tarea : un párrafo corto para introducir brevemente de qué se trata el conjunto de datos y la tarea correspondiente.
• Ejecutar comandos : instrucciones para generar el conjunto de datos.
• Referencia : Información de cita adecuada para el conjunto de datos (si corresponde).

Requisitos del medio ambiente (requisitos.txt)

Incluya los paquetes necesarios en el archivo para generar el conjunto de datos.