Divisor de fragmentos de documento
Divide texto em fragmentos sobrepostos de caracteres Unicode.
Divisor de fragmentos de documento
Como usar Divisor de fragmentos de documento
Document chunk splitter cuts text into overlapping chunks of a fixed number of Unicode characters, for example to prepare content for retrieval or embedding. Chunk size ranges from 100 to 10,000 characters with an overlap smaller than the chunk size. The result is a JSON array listing each chunk's id, start and end positions and text.
- Cole a fonte no editor de entrada ou carregue o exemplo integrado.
- Configure os caracteres de fragmento e de sobreposição.
- Execute o divisor de fragmentos de documento, revise a saída e use os controles disponíveis para copiar ou baixar.
O que esta ferramenta suporta
Divide texto em fragmentos sobrepostos de caracteres Unicode.
- Caracteres de fragmento
- Range: 100 to 10000
- Caracteres de sobreposição
- Range: 0 to 9999
Limites e processamento
Valem os limites de arquivos e texto do navegador, além dos limites mostrados em Configurações. O processamento de imagens é limitado a 32 megapixels. A qualidade do OCR depende da resolução e do layout da fonte.
Fonte de exemplo
A useful tool makes everyday work easier. Review the results before sharing.
Perguntas frequentes
What chunk size and overlap should I use for RAG?
The defaults are 1,200 characters with 150 characters of overlap. Size can be 100 to 10,000, and overlap can be 0 or more but must stay smaller than the chunk size.
Does the chunk splitter count tokens?
No. Chunks are measured in Unicode characters, counting each code point once, and the character count is not the same as a model token count.
Does the document chunk splitter break at sentences?
No. Chunks are cut at fixed character positions, with each new chunk starting the overlap distance before the previous one ended. Sentences and words can be split between chunks.
Onde minha entrada é processada?
Processa a fonte no seu navegador. Copiar e baixar são ações explícitas; a fonte não é salva no histórico da conta.
Quais são os limites de entrada?
Valem os limites de arquivos e texto do navegador, além dos limites mostrados em Configurações. O processamento de imagens é limitado a 32 megapixels. A qualidade do OCR depende da resolução e do layout da fonte.