import tiktoken tokenizer = tiktoken.get_encoding("cl100k_base") def tokenize(prompt: str) -> int: return len(tokenizer.encode(prompt)) + 10