Счётчик токенов LLM
Считает токены текста с помощью выбранного токенизатора.
Счётчик токенов LLM
Как использовать Счётчик токенов LLM
LLM token counter encodes your text with a GPT-style tokenizer and reports the number of tokens alongside the character count. Choose o200k_base or cl100k_base in the Tokenizer setting. The count covers the source text only, so chat message wrappers, images, tool definitions and provider-specific formatting can add tokens to a real request.
- Вставьте исходные данные в редактор ввода или загрузите встроенный пример.
- Выберите токенизатор.
- Запустите «Счётчик токенов LLM», просмотрите результат и используйте доступные элементы копирования или скачивания.
Что поддерживает этот инструмент
Считает токены текста с помощью выбранного токенизатора.
- Токенизатор
- o200k_base · cl100k_base
Ограничения и обработка
Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.
Пример исходных данных
Explain a complex topic using a concrete example and three practical steps.
Частые вопросы
What is the difference between o200k_base and cl100k_base?
They are two different tokenizer encodings, so the same text can produce different token counts. Pick the one your model uses; o200k_base is the default here. The results show the tokenizer name next to the count so you know which was applied.
Why does my API usage show more tokens than this counter?
The counter measures only the text you paste. Chat formatting, system messages, images, tool definitions and other provider-specific additions are not included, so billed usage can be higher. Also confirm which tokenizer your model actually uses.
Does the token counter also count characters?
Yes. Alongside Tokens it shows Characters, counted as Unicode code points, plus the tokenizer name. Comparing the two numbers shows how many characters each token covers on average for your language or format.
Где обрабатываются мои данные?
Эта операция обрабатывает исходные данные в вашем браузере. Копирование и скачивание выполняются только по вашему действию; входные данные не сохраняются в учётной записи или истории.
Каковы ограничения входных данных?
Текстовые операции обычно принимают до 2 000 000 символов. Отдельные парсеры, генераторы и формулы применяют дополнительные ограничения, отображаемые в их элементах управления.