Ettore Di Giacinto
|
58f6aab637
|
feat: move llama to a grpc
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
b816009db0
|
feat: add falcon ggllm via grpc client
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
mudler
|
f09ddd2983
|
feat: add grammar and functions call support
|
1 year ago |
Ettore Di Giacinto
|
3593cb0c87
|
feat: update llama, enable NUMA (#684)
|
1 year ago |
|
Ettore Di Giacinto
|
2f5feb4841
|
Add LowVRAM option parameter (#642)
|
1 year ago |
|
Ettore Di Giacinto
|
295f3030a9
|
feat: add typical_p to model parameters (#598)
Signed-off-by: mudler <mudler@mocaccino.org>
|
1 year ago |
|
Ettore Di Giacinto
|
10ddd72b58
|
fix: set default batch size (#597)
|
1 year ago |
|
Ettore Di Giacinto
|
e37361985c
|
deps: update gpt4all bindings, fix search path on new versions (#592)
|
1 year ago |
|
Ettore Di Giacinto
|
5abbb134d9
|
feat: extend model configuration for llama.cpp (#536)
|
1 year ago |
|
Ettore Di Giacinto
|
d62aef2016
|
feat: add experimental support for falcon-7b (#516)
Signed-off-by: mudler <mudler@mocaccino.org>
|
1 year ago |
Pavel Zloi
|
3ba07a5928
|
feat: add LangChainGo Huggingface backend (#446)
Co-authored-by: Ettore Di Giacinto <mudler@users.noreply.github.com>
|
1 year ago |
|
Ettore Di Giacinto
|
217dbb448e
|
feat: allow to set a prompt cache path and enable saving state (#395)
Signed-off-by: mudler <mudler@mocaccino.org>
|
1 year ago |
|
Ettore Di Giacinto
|
9decd0813c
|
feat: update go-gpt2 (#359)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
9d051c5d4f
|
feat: add image generation with ncnn-stablediffusion (#272)
|
2 years ago |
|
Ettore Di Giacinto
|
acd03d15f2
|
feat: add support for cublas/openblas in the llama.cpp backend (#258)
|
2 years ago |
|
Ettore Di Giacinto
|
2488c445b6
|
feat: bert.cpp token embeddings (#241)
|
2 years ago |
|
Ettore Di Giacinto
|
8250391e49
|
Add support for gptneox/replit (#238)
|
2 years ago |
|
Ettore Di Giacinto
|
4413defca5
|
feat: add starcoder (#236)
|
2 years ago |
|
Ettore Di Giacinto
|
59e3c02002
|
make use of new bindings for gpt4all (#232)
|
2 years ago |
|
Ettore Di Giacinto
|
11675932ac
|
feat: add dolly/redpajama/bloomz models support (#214)
|
2 years ago |
|
Ettore Di Giacinto
|
f8ee20991c
|
feat: add bert.cpp embeddings (#222)
|
2 years ago |
|
Ettore Di Giacinto
|
89dfa0f5fc
|
feat: add experimental support for embeddings as arrays (#207)
|
2 years ago |
mudler
|
e62ee2bc06
|
fix: remove trailing 0s from embeddings
This happens when no max_tokens are set, so by default go-llama
allocates more space for the slice and padding happens.
|
2 years ago |
|
mudler
|
64c0a7967f
|
fix: pass prediction options when using the model
|
2 years ago |
|
mudler
|
e73283121b
|
feat: support arrays for prompt and input
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
961cf29217
|
feat: expose mirostat to config (#193)
|
2 years ago |
|
Ettore Di Giacinto
|
c839b334eb
|
feat: add embeddings for go-llama.cpp backend (#190)
|
2 years ago |
|
Ettore Di Giacinto
|
714bfcd45b
|
fix: missing returning error and free callback stream (#187)
|
2 years ago |
|
Ettore Di Giacinto
|
fdf75c6d0e
|
rwkv fixes and examples (#185)
|
2 years ago |
|
Ettore Di Giacinto
|
751b7eca62
|
feat: add rwkv support (#158)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
1ae7150810
|
feat: allow to specify default backend for model (#156)
Signed-off-by: mudler <mudler@c3os.io>
|
2 years ago |
|
Ettore Di Giacinto
|
220d6fd59b
|
feat: add stream events (#152)
|
2 years ago |
|
Ettore Di Giacinto
|
156e15a4fa
|
Bump llama.cpp, downgrade gpt4all-j (#149)
|
2 years ago |
|
Ettore Di Giacinto
|
92452d46da
|
feat: add new gpt4all-j binding (#142)
|
2 years ago |
|
Ettore Di Giacinto
|
52f4d993c1
|
feat: add /edit endpoint (#119)
|
2 years ago |
|
Ettore Di Giacinto
|
c806eae0de
|
feat: config files and SSE (#83)
Signed-off-by: mudler <mudler@mocaccino.org>
Signed-off-by: Tyler Gillson <tyler.gillson@gmail.com>
Co-authored-by: Tyler Gillson <tyler.gillson@gmail.com>
|
2 years ago |
