Inicio>Relacionado con la programación>Otro código fuente
Descargar

Edgar-Crawler: extrae datos financieros clave de las presentaciones de la SEC sin esfuerzo

Edgar-rawler-logo

Edgar-Crawler es el único conjunto de herramientas de código abierto que descarga las presentaciones de la SEC financieras sin procesar y no estructuradas de Edgar y las convierte en archivos JSON estructurados para arrancar experimentos financieros de PNL .

Edgar-Crawler tiene 2 funcionalidades básicas:

  • ? Descarga perfecta : recuperar y descargar presentaciones financieras de todas las empresas que cotizan en bolsa en función de sus filtros especificados, como año, trimestres, tipo de presentación, etc.
  • ? Salida JSON estructurada : extraer y analizar secciones clave específicas de las presentaciones de 10-K, 10-Q y 8-K a un formato JSON estandarizado agradable y fácil. (Presentaciones compatibles: 10-K, 10-Q, 8-K)

Noticias

  • 2024/10: Ahora admitimos la salida JSON estructurada para presentaciones de 10-Q y 8-K . (@Bailefan)
  • 2023/12: Tuvimos una charla sobre Edgar-Crawler en el tercer taller para el software de código abierto de procesamiento de lenguaje natural (NLP-ASS), alojado en EMNLP 2023, en Singapur.
  • 2023/01: Edgar-Corpus, el mayor corpus financiero de la PNL (generado por Edgar-Crawler!), ¿Está disponible como una cara de abrazo? Tarjeta de conjunto de datos. Ver recursos acompañantes.
  • 2022/10: documentación actualizada y solucionó un error de importación menor que afecta las versiones de Python más antiguas.
  • 2022/04: Edgar-Crawler también está disponible para los sistemas de Windows.
  • 2021/11: Presentamos a Edgar-Corpus, nuestro proyecto "Parent" que comenzó todo, en ECONLP 2021 (Taller EMNLP) en la República Dominicana. Vea los recursos acompañantes para más detalles. Se construyó una versión temprana/alfa de Edgar-Crawler para ese proyecto.

Tabla de contenido

  • Salidas de ejemplo
  • Instalar
  • Uso
  • Citación
  • Recursos acompañantes
  • Comentario
  • Que contribuye
  • Asuntos

Ejemplo de salidas JSON

Además de descargar las presentaciones sin procesar, Edgar-Crawler es el único kit de herramientas de código abierto que convierte las presentaciones SEC complejas y no estructuradas a salidas JSON estructuradas para una integración más fácil de su investigación y desarrollo. A continuación se presentan ejemplos de tales salidas para cada tipo de archivo admitido:

Presentación de 10-K (informe anual)

Informe original: Apple 10-K de 2022 

{
  "cik" : " 320193 " ,
  "company" : " Apple Inc. " ,
  "filing_type" : " 10-K " ,
  "filing_date" : " 2022-10-28 " ,
  "period_of_report" : " 2022-09-24 " ,
  "sic" : " 3571 " ,
  "state_of_inc" : " CA " ,
  "state_location" : " CA " ,
  "fiscal_year_end" : " 0924 " ,
  "filing_html_index" : " https://www.sec.gov/Archives/edgar/data/320193/0000320193-22-000108-index.html " ,
  "htm_filing_link" : " https://www.sec.gov/Archives/edgar/data/320193/000032019322000108/aapl-20220924.htm " ,
  "complete_text_filing_link" : " https://www.sec.gov/Archives/edgar/data/320193/0000320193-22-000108.txt " ,
  "filename" : " 320193_10K_2022_0000320193-22-000108.htm " ,
  "item_1" : " Item 1. Business n Company Background n The Company designs, manufactures ... " ,
  "item_1A" : " Item 1A. Risk Factors n The Company’s business, reputation, results of ... " ,
  "item_1B" : " Item 1B. Unresolved Staff Comments n None. " ,
  "item_1C" : " " ,
  "item_2" : " Item 2. Properties n The Company’s headquarters are located in Cupertino, California. ... " ,
  "item_3" : " Item 3. Legal Proceedings n Epic Games n Epic Games, Inc. (“Epic”) filed a lawsuit ... " ,
  "item_4" : " Item 4. Mine Safety Disclosures n Not applicable. ... " ,
  "item_5" : " Item 5. Market for Registrant’s Common Equity, Related Stockholder ... " ,
  "item_6" : " Item 6. [Reserved] n Apple Inc. | 2022 Form 10-K | 19 " ,
  "item_7" : " Item 7. Management’s Discussion and Analysis of Financial Condition ... " ,
  "item_8" : " Item 8. Financial Statements and Supplementary Data n All financial ... " ,
  "item_9" : " Item 9. Changes in and Disagreements with Accountants on Accounting and Financial Disclosure n None. " ,
  "item_9A" : " Item 9A. Controls and Procedures n Evaluation of Disclosure Controls and ... " ,
  "item_9B" : " Item 9B. Other Information n Rule 10b5-1 Trading Plans n During the three months ... " ,
  "item_9C" : " Item 9C. Disclosure Regarding Foreign Jurisdictions that Prevent Inspections n Not applicable. ... " ,
  "item_10" : " Item 10. Directors, Executive Officers and Corporate Governance n The information required ... " ,
  "item_11" : " Item 11. Executive Compensation n The information required by this Item will be included ... " ,
  "item_12" : " Item 12. Security Ownership of Certain Beneficial Owners and Management and ... " ,
  "item_13" : " Item 13. Certain Relationships and Related Transactions, and Director Independence ... " ,
  "item_14" : " Item 14. Principal Accountant Fees and Services n The information required ... " ,
  "item_15" : " Item 15. Exhibit and Financial Statement Schedules n (a)Documents filed as part ... " ,
  "item_16" : " Item 16. Form 10-K Summary n None. n Apple Inc. | 2022 Form 10-K | 57 "
}

10-Q (informe trimestral)

Haga clic para ver un ejemplo de salida estructurado completo de una presentación de 10-Q.

Informe original: Apple 10-Q desde el primer trimestre de 2024 

{
  "cik" : " 320193 " ,
  "company" : " Apple Inc. " ,
  "filing_type" : " 10-Q " ,
  "filing_date" : " 2024-05-03 " ,
  "period_of_report" : " 2024-03-30 " ,
  "sic" : " 3571 " ,
  "state_of_inc" : " CA " ,
  "state_location" : " CA " ,
  "fiscal_year_end" : " 0928 " ,
  "filing_html_index" : " https://www.sec.gov/Archives/edgar/data/320193/0000320193-24-000069-index.html " ,
  "htm_filing_link" : " https://www.sec.gov/Archives/edgar/data/320193/000032019324000069/aapl-20240330.htm " ,
  "complete_text_filing_link" : " https://www.sec.gov/Archives/edgar/data/320193/0000320193-24-000069.txt " ,
  "filename" : " 320193_10Q_2024_0000320193-24-000069.htm " ,
  "part_1" : " PART I - FINANCIAL INFORMATION n Item 1. Financial Statements n Apple Inc. n CONDENSED CONSOLIDATED STATEMENTS ... " ,
  "part_1_item_1" : " Item 1. Financial Statements n Apple Inc. n CONDENSED CONSOLIDATED STATEMENTS ... " ,
  "part_1_item_2" : " Item 2. Management’s Discussion and Analysis of Financial Condition and ... " ,
  "part_1_item_3" : " Item 3. Quantitative and Qualitative Disclosures About Market Risk n There have ... " ,
  "part_1_item_4" : " Item 4. Controls and Procedures n Evaluation of Disclosure Controls and ... " ,
  "part_2" : " PART II - OTHER INFORMATION n Item 1. Legal Proceedings n Digital Markets Act Investigations n On ... " ,
  "part_2_item_1" : " Item 1. Legal Proceedings n Digital Markets Act Investigations n On March 25, 2024, ... " ,
  "part_2_item_1A" : " Item 1A. Risk Factors n The Company’s business, reputation, ... " ,
  "part_2_item_2" : " Item 2. Unregistered Sales of Equity Securities and Use of ... " ,
  "part_2_item_3" : " Item 3. Defaults Upon Senior Securities n None. " ,
  "part_2_item_4" : " Item 4. Mine Safety Disclosures n Not applicable. " ,
  "part_2_item_5" : " Item 5. Other Information n Insider Trading Arrangements n None. " ,
  "part_2_item_6" : " Item 6. Exhibits n Incorporated by Reference n Exhibit n Number n Exhibit Description ... "
}

Nota: part_1 y part_2 contienen el texto completo detectado para esa parte. Proporcionamos que, dado que en algunos archivos antiguos de 10-Q, no es posible extraer la información en el nivel de elemento.

8-K (informe actual importante)

Haga clic para ver un ejemplo de salida estructurado completo de una presentación de 8 K.

Informe original: Apple 8-K de 2022-08-19 

{
  "cik" : " 320193 " ,
  "company" : " Apple Inc. " ,
  "filing_type" : " 8-K " ,
  "filing_date" : " 2022-08-19 " ,
  "period_of_report" : " 2022-08-17 " ,
  "sic" : " 3571 " ,
  "state_of_inc" : " CA " ,
  "state_location" : " CA " ,
  "fiscal_year_end" : " 0924 " ,
  "filing_html_index" : " https://www.sec.gov/Archives/edgar/data/320193/0001193125-22-225365-index.html " ,
  "htm_filing_link" : " https://www.sec.gov/Archives/edgar/data/320193/000119312522225365/d366128d8k.htm " ,
  "complete_text_filing_link" : " https://www.sec.gov/Archives/edgar/data/320193/0001193125-22-225365.txt " ,
  "filename" : " 320193_8K_2022_0001193125-22-225365.htm " ,
  "item_1.01" : " " ,
  "item_1.02" : " " ,
  "item_1.03" : " " ,
  "item_1.04" : " " ,
  "item_1.05" : " " ,
  "item_2.01" : " " ,
  "item_2.02" : " " ,
  "item_2.03" : " " ,
  "item_2.04" : " " ,
  "item_2.05" : " " ,
  "item_2.06" : " " ,
  "item_3.01" : " " ,
  "item_3.02" : " " ,
  "item_3.03" : " " ,
  "item_4.01" : " " ,
  "item_4.02" : " " ,
  "item_5.01" : " " ,
  "item_5.02" : " Item 5.02 Departure of Directors or Certain Officers; Election of Directors; Appointment ... " ,
  "item_5.03" : " Item 5.03 Amendments to Articles of Incorporation or Bylaws; Change in Fiscal Year. n On August 17, 2022, Apple’s Board approved and adopted amended and restated bylaws ... " ,
  "item_5.04" : " " ,
  "item_5.05" : " " ,
  "item_5.06" : " " ,
  "item_5.07" : " " ,
  "item_5.08" : " " ,
  "item_6.01" : " " ,
  "item_6.02" : " " ,
  "item_6.03" : " " ,
  "item_6.04" : " " ,
  "item_6.05" : " " ,
  "item_7.01" : " " ,
  "item_8.01" : " " ,
  "item_9.01" : " Item 9.01 Financial Statements and Exhibits. n (d) Exhibits. n Exhibit n Number n Exhibit ... " ,
}

Instalar

  • Descargue EDGAR-CRAWLER localmente a través de SSH o HTTPS: 
 # Method 1: SSH 
git clone https://github.com/nlpaueb/edgar-crawler.git 

# Method 2: HTTPS
git clone [email protected]:nlpaueb/edgar-crawler.git
  • Luego, se recomienda crear un nuevo entorno virtual utilizando Python 3.8 instalando y usando Anaconda. 
conda create -n edgar-crawler-venv python=3.8 # After installing Anaconda, create a venv with python 3.8+
conda activate edgar-crawler-venv # Activate the environment
  • Luego, instale las dependencias del kit de herramientas a través de: 
pip install -r requirements.txt # Install requirements for edgar-crawler

Uso

  • Antes de ejecutar cualquier script, debe editar el archivo config.json , que configura el comportamiento de nuestros 2 módulos (uno para descargar las presentaciones de su elección, el otro para obtener la salida estructurada de ellos).

    • Argumentos para download_filings.py , el módulo para descargar informes financieros:
      • start_year XXXX : el rango de año a comenzar desde (predeterminado es 2023).
      • end_year YYYY : el rango de año a terminar (el valor predeterminado es 2023).
      • quarters : Los cuartos de los que desea descargar presentaciones (Lista).
        El valor predeterminado es: [1, 2, 3, 4] .
      • filing_types : Lista de tipos de archivo para descargar.
        El valor predeterminado es: ['10-K', '8-K', '10-Q'] .
      • cik_tickers : Lista o ruta del archivo que contiene CIKS o tickers. Eg [789019, "1018724", "AAPL", "TWTR"]
        En caso de archivo, proporcione cada CIK o ticker en una línea diferente.
        Si no se proporciona este argumento, el conjunto de herramientas descargará informes anuales para todas las empresas que cotizan en bolsa en los EE. UU.
      • user_agent : el agente de usuario (nombre/correo electrónico) que se declarará en Sec Edgar.
      • raw_filings_folder : el nombre de la carpeta donde se almacenarán las presentaciones descargadas.
        El valor predeterminado es 'RAW_FILINGS' .
      • indices_folder : el nombre de la carpeta donde se almacenarán los archivos EDGAR TSV. Estos se utilizan para localizar los informes anuales. El valor predeterminado es 'INDICES' .
      • filings_metadata_file : nombre de archivo CSV para guardar metadatos de los informes.
      • skip_present_indices : si omitir los índices Edgar ya descargados o descargarlos de todos modos.
        El valor predeterminado es True .
    • Argumentos para extract_items.py , el módulo para limpiar y extraer datos textuales de informes ya descargados:
      • raw_filings_folder : el nombre de la carpeta donde se almacenan los documentos descargados.
        Valor predeterminado s 'RAW_FILINGS' .
      • extracted_filings_folder : el nombre de la carpeta donde se almacenarán los documentos extraídos.
        El valor predeterminado es 'EXTRACTED_FILINGS' .
        Para cada informe descargado, se creará un archivo JSON correspondiente que contiene las secciones de elementos como valores de pares de teclas.
      • filings_metadata_file : nombre de archivo CSV para cargar metadatos de informes (proporcione el mismo archivo CSV que en download_filings.py ).
      • filing_types : Lista de tipos de archivo para extraer.
      • include_signature : si se debe incluir la sección de firma después del último elemento o no.
      • items_to_extract : una lista con ciertas secciones de elementos para extraer.
        Por ejemplo ['7','8'] para extraer 'Discusión y análisis de la gerencia' y 'Estados financieros' ítems para informes de 10-K.
        Por defecto, esta lista está vacía, en cuyo caso se extraen todos los elementos.
      • remove_tables : si eliminar las tablas que contienen principalmente datos numéricos (financieros). Este trabajo es principalmente para facilitar la investigación de PNL donde, a menudo, las tablas numéricas no son útiles.
      • skip_extracted_filings : si omitir las presentaciones ya extraídas o extraerlas de todos modos.
        El valor predeterminado es True .

  • Para descargar los informes financieros RAW de Edgar, ejecute python download_filings.py .

  • Para limpiar y extraer secciones específicas de elementos de documentos ya descargados, ejecute python extract_items.py .

    • Recordatorio: Actualmente admitimos la salida JSON estructurada para documentos 10-K, 10-Q y 8-K.
    • Nota: Para las presentaciones anteriores de 10-Q, es posible que no sea posible extraer ningún elemento para piezas específicas (Parte 1 o Parte 2). Debido a esto, también incluimos cada part completa en el archivo de salida como una entrada separada.

Citación

Un artículo de Edgar-Rawler está en camino. Hasta entonces, cite nuestro artículo de Edgar-Corpus relevante publicado en ECONLP@EMNLP 2021 (Punta Cana, República Dominicana). 

 @inproceedings { loukas-etal-2021-edgar-corpus-and-edgar-crawler ,
    title = " {EDGAR}-{CORPUS}: {B}illions of {T}okens {M}ake {T}he {W}orld {G}o {R}ound " ,
    author = " Loukas, Lefteris  and
      Fergadiotis, Manos  and
      Androutsopoulos, Ion  and
      Malakasiotis, Prodromos " ,
    booktitle = " Proceedings of the Third Workshop on Economics and Natural Language Processing (ECONLP) " ,
    month = nov,
    year = " 2021 " ,
    address = " Punta Cana, Dominican Republic " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2021.econlp-1.2 " ,
    pages = " 13--18 " ,
}

Lea el artículo de Edgar-Corpus aquí: https://aclanthology.org/2021.econlp-1.2/

Historia de la estrella

Recursos acompañantes

Aquí hay algunos recursos adicionales creados mediante el uso de Edgar-Crawler :

  • Edgar-Corpus : El corpus NLP financiero más grande, más de 6 mil millones de tokens de informes anuales (¿URL de la cara de abrazo?) | (URL Zenodo).

  • EDGAR-W2V : Financial Word2Vec Incrushings, Pretrados en Edgar-Corpus (URL de Zenodo)

Comentarios para Edgar-Crawler

¿Tiene alguna solicitud de función? ¡Díganos directamente usando este formulario de Google: (https://forms.gle/bpv8nxmqx8sq2v5z8)!

Que contribuye

Se aceptan PR y contribuciones. Utilizamos el flujo de trabajo de la rama de funciones.

Asuntos

Cree un problema en GitHub en lugar de enviarnos un correo electrónico directamente para que todos los usuarios posibles puedan beneficiarse de la solución de problemas.

Licencia

Este software tiene licencia bajo la Licencia Pública General de GNU V3.0, una licencia aprobada por la Iniciativa de código abierto (OSI).

Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo