local-llm-server/llm_server/llm/oobabooga/tokenize.py

import tiktoken

tokenizer = tiktoken.get_encoding("cl100k_base")


def tokenize(prompt: str) -> int:
    return len(tokenizer.encode(prompt)) + 10