diff --git a/api/prediction.go b/api/prediction.go index ff4866f..7a49a57 100644 --- a/api/prediction.go +++ b/api/prediction.go @@ -44,6 +44,8 @@ func defaultLLamaOpts(c Config) []llama.ModelOption { llamaOpts = append(llamaOpts, llama.SetTensorSplit(c.TensorSplit)) if c.Batch != 0 { llamaOpts = append(llamaOpts, llama.SetNBatch(c.Batch)) + } else { + llamaOpts = append(llamaOpts, llama.SetNBatch(512)) } return llamaOpts