LiLT

O que há de novo

[2022/10] Lilt foi adicionado a? Huggingface/Transformers aqui.

[2022/03] Modelo inicial e liberação de código.

Lilt (ACL 2022)

Esta é a implementação oficial do Pytorch do artigo da ACL 2022: "Lilt: um transformador de layout de idioma simples, mas eficaz, para o entendimento estruturado de documentos". [OFICIAL] [ARXIV]

O LILT é pré-treinado nos documentos visualmente ricos em um único idioma (inglês) e pode ser diretamente ajustado em outros idiomas com os correspondentes modelos textuais monolíngues/multilíngues correspondentes. Esperamos que a disponibilidade pública deste trabalho possa ajudar a documentar pesquisas de inteligência.

Instalação

Para Cuda 11.x:

conda create -n liltfinetune python=3.7
conda activate liltfinetune
conda install pytorch==1.7.1 torchvision==0.8.2 cudatoolkit=11.0 -c pytorch
python -m pip install detectron2==0.5 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu110/torch1.7/index.html
git clone https://github.com/jpWang/LiLT
cd LiLT
pip install -r requirements.txt
pip install -e .

Ou verifique as versões Detectron2/Pytorch e modifique as linhas de comando de acordo.

Conjuntos de dados

Neste repositório, fornecemos os códigos de ajuste fino para FunSD e XFund.

Você pode fazer o download de nossos dados pré-processados ​​(~ 1,2 GB) daqui e colocar o xfund&funsd/ UND LILT/ UND LiLT/ .

Ponto de verificação disponível

Modelo	Linguagem	Tamanho	Download
lilt-roberta-en-base	En	293MB	OneDrive
lilt-infoxlm-base	Mul	846 MB	OneDrive
lilt-only-base	Nenhum	21 MB	OneDrive

Ou gerar seu próprio ponto de verificação (opcional)

Se você deseja combinar o LILT pré-treinado com o Roberta de outro idioma , faça o download lilt-only-base e use gen_weight_roberta_like.py para gerar seu próprio ponto de verificação pré-treinado.

Por exemplo, combine lilt-only-base com o inglês roberta-base :

mkdir roberta-en-base
wget https://huggingface.co/roberta-base/resolve/main/config.json -O roberta-en-base/config.json
wget https://huggingface.co/roberta-base/resolve/main/pytorch_model.bin -O roberta-en-base/pytorch_model.bin
python gen_weight_roberta_like.py 
     --lilt lilt-only-base/pytorch_model.bin 
     --text roberta-en-base/pytorch_model.bin 
     --config roberta-en-base/config.json 
     --out lilt-roberta-en-base

Ou combine lilt-only-base com microsoft/infoxlm-base :

mkdir infoxlm-base
wget https://huggingface.co/microsoft/infoxlm-base/resolve/main/config.json -O infoxlm-base/config.json
wget https://huggingface.co/microsoft/infoxlm-base/resolve/main/pytorch_model.bin -O infoxlm-base/pytorch_model.bin
python gen_weight_roberta_like.py 
     --lilt lilt-only-base/pytorch_model.bin 
     --text infoxlm-base/pytorch_model.bin 
     --config infoxlm-base/config.json 
     --out lilt-infoxlm-base

Afinação

Reconhecimento de entidade semântica no FUNSD

 CUDA_VISIBLE_DEVICES=0,1,2,3 python -m torch.distributed.launch --nproc_per_node=4 examples/run_funsd.py 
        --model_name_or_path lilt-roberta-en-base 
        --tokenizer_name roberta-base 
        --output_dir ser_funsd_lilt-roberta-en-base 
        --do_train 
        --do_predict 
        --max_steps 2000 
        --per_device_train_batch_size 8 
        --warmup_ratio 0.1 
        --fp16

Reconhecimento semântico específico da linguagem (por exemplo, ZH)

 CUDA_VISIBLE_DEVICES=0,1,2,3 python -m torch.distributed.launch --nproc_per_node=4 examples/run_xfun_ser.py 
        --model_name_or_path lilt-infoxlm-base 
        --tokenizer_name xlm-roberta-base 
        --output_dir ls_ser_xfund_zh_lilt-infoxlm-base 
        --do_train 
        --do_eval 
        --lang zh 
        --max_steps 2000 
        --per_device_train_batch_size 16 
        --warmup_ratio 0.1 
        --fp16

Extração de relação específica da linguagem (por exemplo, ZH) no XFund

 CUDA_VISIBLE_DEVICES=0,1,2,3 python -m torch.distributed.launch --nproc_per_node=4 examples/run_xfun_re.py 
        --model_name_or_path lilt-infoxlm-base 
        --tokenizer_name xlm-roberta-base 
        --output_dir ls_re_xfund_zh_lilt-infoxlm-base 
        --do_train 
        --do_eval 
        --lang zh 
        --max_steps 5000 
        --per_device_train_batch_size 8 
        --learning_rate  6.25e-6 
        --warmup_ratio 0.1 
        --fp16

Reconhecimento de entidade semântica de várias tarefas

 CUDA_VISIBLE_DEVICES=0,1,2,3 python -m torch.distributed.launch --nproc_per_node=4 examples/run_xfun_ser.py 
        --model_name_or_path lilt-infoxlm-base 
        --tokenizer_name xlm-roberta-base 
        --output_dir mt_ser_xfund_all_lilt-infoxlm-base 
        --do_train 
        --additional_langs all 
        --max_steps 16000 
        --per_device_train_batch_size 16 
        --warmup_ratio 0.1 
        --fp16

Extração de relação com várias tarefas no XFund

 CUDA_VISIBLE_DEVICES=0,1,2,3 python -m torch.distributed.launch --nproc_per_node=4 examples/run_xfun_re.py 
        --model_name_or_path lilt-infoxlm-base 
        --tokenizer_name xlm-roberta-base 
        --output_dir mt_re_xfund_all_lilt-infoxlm-base 
        --do_train 
        --additional_langs all 
        --max_steps 40000 
        --per_device_train_batch_size 8 
        --learning_rate  6.25e-6 
        --warmup_ratio 0.1 
        --fp16

Resultados

Reconhecimento de entidade semântica no FUNSD

Tuneamento fino específico de idioma no XFund

Transferência de tiro zero transversal no XFund

Ajuste fino multitarefa no xfund

Reconhecer

O repositório se beneficia muito da Unilm/Layoutlmft. Muito obrigado pelo seu excelente trabalho.

Citação

Se nosso artigo ajudar sua pesquisa, cite -o em sua (s) publicação (s):

 @inproceedings{wang-etal-2022-lilt,
    title = "{L}i{LT}: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding",
    author={Wang, Jiapeng and Jin, Lianwen and Ding, Kai},
    booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = may,
    year = "2022",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.acl-long.534",
    doi = "10.18653/v1/2022.acl-long.534",
    pages = "7747--7757",
}

Opinião

Sugestões e discussões são muito bem -vindas. Entre em contato com os autores enviando e -mail para [email protected] .