8 lines
148 B
Python
8 lines
148 B
Python
|
import tiktoken
|
||
|
|
|
||
|
|
tokenizer = tiktoken.get_encoding("cl100k_base")
|
||
|
|
|
||
|
|
|
||
|
|
def tokenize(prompt: str) -> int:
|
||
|
|
return len(tokenizer.encode(prompt)) + 10
|