A Deepseek, líder no campo da IA na China, divulgou uma grande tecnologia no último dia da semana de código aberto-o sistema de arquivos paralelos de alto desempenho 3FS (sistema de arquivos de fogo de fogo) projetado para cenários modernos de computação e sua estrutura de processamento de dados de suporte Smallpond. Essa combinação de socos resolve diretamente os problemas de processamento de dados no treinamento e inferência de IA, estabelecendo um novo registro do setor com uma taxa de transferência de 6.6tib/s, marcando uma nova era para a tecnologia de armazenamento distribuída.
Através de sua arquitetura descentralizada e forte design semântico consistente, a 3FS alcançou uma taxa de transferência de leitura agregada de 6.6tib/s em um cluster de 180 nós, e o pico de pesquisa de kvcache de um único nó excedeu 40GIB/s. No teste de referência de Graysort, o desempenho da 3FS atingiu 3,66tib/min (25 nós), uma melhoria exponencial em comparação com as soluções tradicionais. Esse sistema otimiza profundamente as características das redes SSD e RDMA, empurra a utilização de largura de banda de hardware ao extremo e fornece fornecimento estável de dados para agrupamentos de treinamento de IA no nível do Kilocard.
Como a infraestrutura principal da versão Deepseek V3/R1, o 3FS penetrou totalmente em links -chave, como pré -processamento de dados, armazenamento do ponto de verificação, pesquisa de vetores e cache de inferência. Seu design de camada de armazenamento compartilhado simplifica significativamente a complexidade do desenvolvimento distribuído, enquanto a forte consistência garante garantem a segurança de operações simultâneas em larga escala. A estrutura de smallpond com código aberto construiu recursos de processamento de dados de nível de PEB leve e confiou no DuckDB para realizar a engenharia de dados "sem serviço", formando um loop fechado ecológico completo do armazenamento para a computação.
O código aberto duplo de 3Fs e Smallpond continua o ritmo de abertura tecnológica do "Lançamento Contínuo de Cinco Dias" de Deepseek. Ao fazer sistemas que foram comprovados por seus próprios negócios de IA ao público, a Deepseek está levando o setor a romper os gargalos de armazenamento de aplicativos com diferentes dados. Os analistas acreditam que essa solução pode causar um golpe de redução da dimensionalidade nos sistemas distribuídos tradicionais, como Ceph e Luster, especialmente para abrir novos paradigmas em cenários, como o grande treinamento de modelos.
Endereço de código aberto:
3fs → https://github.com/deepseek-ai/3fs
Estrutura de processamento de dados em Smallpond -3fs →: https://github.com/deepseek-ai/smallpond