O Pytorchautodrive é uma estrutura pura do Python inclui modelos de segmentação semântica, modelos de detecção de pista baseados em Pytorch . Aqui, fornecemos suportes de pilha completa da pesquisa (treinamento de modelos, testes, benchmarking justo, simplesmente escrevendo configurações) para aplicação (visualização, implantação de modelos).
Papel: Repensando a detecção eficiente da pista via modelagem de curvas (CVPR 2022)
Poster: Pytorchautodrive: Kit de ferramentas e benchmark justo para pesquisa de direção autônoma (Pytorch Developer Day 2021)
Esse repositório está sob desenvolvimento ativo, os resultados com os modelos carregados são estáveis. Para usuários de código herdado, verifique as depreciações para alterações.
Um vídeo de demonstração da Erfnet:
Vários métodos em uma ampla gama de backbones, implementações baseadas em configuração , códigos modulados e facilmente compreendidos , carregamento de imagem/ponto de chave, transformações e visualizações , treinamento de precisão mista , registro de tensorboard e suporte de implantação com ONNX e Tensorrt.
Os modelos deste repositório são mais rápidos para treinar ( treinam com cartão único ) e geralmente têm melhor desempenho do que outras implementações, consulte o Wiki por razões e especificação técnica de modelos.
| Tarefa | Conjunto de dados |
|---|---|
| Segmentação semântica | Pascal Voc 2012 |
| Segmentação semântica | Paisagens da cidade |
| Segmentação semântica | Gtav* |
| Segmentação semântica | Synthia* |
| Detecção de pista | Culane |
| Detecção de pista | Tusimple |
| Detecção de pista | Lhamas |
| Detecção de pista | BDD100K ( em andamento ) |
* A configuração da linha de base da UDA, com as paisagens da cidade Val definidas como validação.
| Tarefa | Espinha dorsal | Modelo/método |
|---|---|---|
| Segmentação semântica | Resnet-101 | Fcn |
| Segmentação semântica | Resnet-101 | DEEPLABV2 |
| Segmentação semântica | Resnet-101 | DEEPLABV3 |
| Segmentação semântica | - | ENET |
| Segmentação semântica | - | Erfnet |
| Detecção de pista | ENET, ERFNET, VGG16, Resnets (18, 34, 50, 101), Mobilenets (V2, V3-Large), Repvggs (A0, A1, B0, B1g2, B2), Swin (Tiny) | Linha de base |
| Detecção de pista | Erfnet, VGG16, Resnets (18, 34, 50, 101), repvggs (A1) | Scnn |
| Detecção de pista | Resnets (18, 34, 50, 101), Mobilenets (V2, V3-Large), Erfnet | Resa |
| Detecção de pista | Erfnet, ENET | Triste ( adiado ) |
| Detecção de pista | Erfnet | PRNET ( em andamento ) |
| Detecção de pista | Resnets (18, 34, 50, 101), resnet18-reduzido | Lstr |
| Detecção de pista | Resnets (18, 34) | LANEATT |
| Detecção de pista | Resnets (18, 34) | Bézierlanenet |
Fornecemos resultados sólidos (média/melhor/detalhada), tempo de treinamento, scripts de shell e modelos treinados disponíveis para download em model_zoo.md.
Prepare o ambiente e codifique com o install.md. Em seguida, siga as instruções no DataSet.md para configurar conjuntos de dados.
Comece a Lanedetection.md para detecção de pista.
Comece a segmentar.md para segmentação semântica.
Consulte o Visualization.MD para obter um tutorial de visualização e inferência, para obter entradas de imagem e vídeo.
Consulte Benchmark.md para um tutorial de benchmarking, incluindo teste FPS, flops e contagem de memória para cada modelo suportado.
Consulte o Implement.md para suportes de implantação de ONNX e Tensorrt.
Checkout Advanced_tutorial.md para casos de uso avançado e como codificar no pytorchautodrive.
Consulte Contribuindo.md para guias de contribuição.
Se você acha que essa estrutura ajudou substancialmente sua pesquisa ou deseja uma referência ao usar nossos resultados, cite o artigo a seguir que fez o lançamento oficial do Pytorchautodrive:
@inproceedings{feng2022rethinking,
title={Rethinking efficient lane detection via curve modeling},
author={Feng, Zhengyang and Guo, Shaohua and Tan, Xin and Xu, Ke and Wang, Min and Ma, Lizhuang},
booktitle={Computer Vision and Pattern Recognition},
year={2022}
}
O pytorchautodrive é mantido por Zhengyang Feng (Voldemortx) e Shaohua Guo (Cedricgsh).
Colaboradores (ID do Github): Kalkun, Littlejohnkhan, Francis0407, Pannenetsf, BJZHB666
Pessoas que nos patrocinaram (por exemplo, com hardware): Lizhuang MA, Xin Tan, Junshu Tang (Junshutang), Fengqi Liu (FengqiLiu1221)