Ettore Di Giacinto
|
6352448b72
|
feat: add llama-master backend (#752)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
Ettore Di Giacinto
|
d0e67cce75
|
fix: make last stream message to send empty content
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
17294ae5e5
|
fix: make first stream message to send empty content (#751)
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
1d0ed95a54
|
feat: move other backends to grpc
This finally makes everything more consistent
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
5dcfdbe51d
|
feat: various refactorings
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
f2f1d7fe72
|
feat: use gRPC for transformers
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
ae533cadef
|
feat: move gpt4all to a grpc service
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
58f6aab637
|
feat: move llama to a grpc
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
Ettore Di Giacinto
|
b816009db0
|
feat: add falcon ggllm via grpc client
Signed-off-by: Ettore Di Giacinto <mudler@localai.io>
|
1 year ago |
|
mudler
|
dcf35dd25f
|
Fixup custom role encoding
Signed-off-by: mudler <mudler@localai.io>
|
1 year ago |
|
mudler
|
e70322676c
|
Allow to customize no action behavior
Signed-off-by: mudler <mudler@localai.io>
|
1 year ago |
|
mudler
|
b3f43ab938
|
Add a way to disable default action
|
1 year ago |
|
mudler
|
bbc4468908
|
Make functions more compatible with OpenAI specs
|
1 year ago |
|
mudler
|
55befe396a
|
Add grammar_json to the request parameters to facilitate JSON generation
|
1 year ago |
|
mudler
|
483fddccf9
|
minor fixups
|
1 year ago |
|
mudler
|
05aed255db
|
Customize function call in templates
|
1 year ago |
|
mudler
|
0f1326b2bd
|
fixups
|
1 year ago |
|
mudler
|
b722e7eb7e
|
feat: cleanups, small enhancements
Signed-off-by: mudler <mudler@localai.io>
|
2 years ago |
|
mudler
|
f09ddd2983
|
feat: add grammar and functions call support
|
2 years ago |
Luis López
|
a6839fd238
|
feat: [whisper] Partial support for verbose_json format in transcribe endpoint (#721)
|
2 years ago |
|
Ettore Di Giacinto
|
3593cb0c87
|
feat: update llama, enable NUMA (#684)
|
2 years ago |
|
Ettore Di Giacinto
|
02136531a3
|
fix: return index and delta in stream token (#680)
Signed-off-by: mudler <mudler@localai.io>
|
2 years ago |
|
Ettore Di Giacinto
|
d3a486a4f8
|
feat: Add '/version' endpoint and display it in the CLI (#679)
|
2 years ago |
|
Ettore Di Giacinto
|
2b957df56c
|
fix: rename /models/list to /models/available (#678)
|
2 years ago |
|
Ettore Di Giacinto
|
78f3c3da48
|
refactor: consolidate usage of GetURI (#674)
Signed-off-by: mudler <mudler@localai.io>
|
2 years ago |
|
Ettore Di Giacinto
|
60db5957d3
|
Gallery repository (#663)
Signed-off-by: mudler <mudler@localai.io>
|
2 years ago |
|
Ettore Di Giacinto
|
a7bb029d23
|
feat: add tts with go-piper (#649)
Signed-off-by: mudler <mudler@localai.io>
|
2 years ago |
|
Ettore Di Giacinto
|
2f5feb4841
|
Add LowVRAM option parameter (#642)
|
2 years ago |
|
Ettore Di Giacinto
|
295f3030a9
|
feat: add typical_p to model parameters (#598)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
10ddd72b58
|
fix: set default batch size (#597)
|
2 years ago |
|
Ettore Di Giacinto
|
e37361985c
|
deps: update gpt4all bindings, fix search path on new versions (#592)
|
2 years ago |
|
Ettore Di Giacinto
|
84946e9275
|
feat: display download progress when installing models (#543)
|
2 years ago |
|
Ettore Di Giacinto
|
c9bbba4872
|
tests: add llama tests with openllama (#538)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
5abbb134d9
|
feat: extend model configuration for llama.cpp (#536)
|
2 years ago |
|
Ettore Di Giacinto
|
d62aef2016
|
feat: add experimental support for falcon-7b (#516)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
b503725dc7
|
fix: downgrade gpt4all (#503)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
Samuel Maynard
|
96794851b3
|
feat: add support for `Stream: true` to completionEndpoint (#465)
|
2 years ago |
|
Ettore Di Giacinto
|
78ad4813df
|
feat: Update gpt4all, support multiple implementations in runtime (#472)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
Aisuko
|
c8a4a4f4e9
|
feat: Add new test cases for LoadConfigs (#447)
Signed-off-by: Aisuko <urakiny@gmail.com>
|
2 years ago |
Pavel Zloi
|
3ba07a5928
|
feat: add LangChainGo Huggingface backend (#446)
Co-authored-by: Ettore Di Giacinto <mudler@users.noreply.github.com>
|
2 years ago |
|
Aisuko
|
49ce24984c
|
feat: Add more test-cases and remove dev container (#433)
Signed-off-by: Aisuko <urakiny@gmail.com>
Co-authored-by: Ettore Di Giacinto <mudler@users.noreply.github.com>
|
2 years ago |
|
Ettore Di Giacinto
|
f401181cb5
|
fix: switch back to upstream for rwkv bindings (#432)
|
2 years ago |
|
Ettore Di Giacinto
|
aacb96df7a
|
fix: correctly handle errors from App constructor (#430)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
217dbb448e
|
feat: allow to set a prompt cache path and enable saving state (#395)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
|
Ettore Di Giacinto
|
76c881043e
|
feat: allow to preload models before startup via env var or configs (#391)
|
2 years ago |
|
Ettore Di Giacinto
|
bf54b78270
|
feat: add /healthz and /readyz endpoints for kubernetes (#374)
|
2 years ago |
|
Ettore Di Giacinto
|
9decd0813c
|
feat: update go-gpt2 (#359)
Signed-off-by: mudler <mudler@mocaccino.org>
|
2 years ago |
Robert Hambrock
|
4aa78843c0
|
fix: spec compliant instantiation and termination of streams (#341)
|
2 years ago |
|
Ettore Di Giacinto
|
6f54cab3f0
|
feat: allow to set cors (#339)
|
2 years ago |
|
Ettore Di Giacinto
|
05a3d569b0
|
feat: allow to override model config (#323)
|
2 years ago |
