fix(llama): use </s> token if available for EOT

basraayman · Jul 5, 2023 · 68cefa6 · 68cefa6
1 parent 4177d5c
commit 68cefa6
Showing 1 changed file with 1 addition and 1 deletion.
diff --git a/crates/models/llama/src/lib.rs b/crates/models/llama/src/lib.rs
@@ -338,7 +338,7 @@ impl KnownModel for Llama {
     }
 
     fn eot_token_id(&self) -> TokenId {
-        2
+        self.tokenizer.id("</s>".as_bytes()).unwrap_or(2)
     }
 
     fn quantize_tensors() -> Vec<Regex> {