Snapshot update with vllm paged.
This commit is contained in:
parent
631ca319f3
commit
5afc98a7d7
|
@ -30,19 +30,19 @@
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 264,
|
"id": 264,
|
||||||
"logprob": -0.38061523,
|
"logprob": -0.37573242,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " a"
|
"text": " a"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 633,
|
"id": 633,
|
||||||
"logprob": -0.09301758,
|
"logprob": -0.09161377,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " new"
|
"text": " new"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 4480,
|
"id": 4480,
|
||||||
"logprob": -0.26782227,
|
"logprob": -0.26171875,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " feature"
|
"text": " feature"
|
||||||
},
|
},
|
||||||
|
@ -78,7 +78,7 @@
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 13,
|
"id": 13,
|
||||||
"logprob": -0.10632324,
|
"logprob": 0.0,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "\n"
|
"text": "\n"
|
||||||
}
|
}
|
||||||
|
|
Loading…
Reference in New Issue