Lokalne AI szybko robi się bałaganem. Jedna aplikacja uruchamia model, druga obsługuje czat, terminal pilnuje serwera, notatki są gdzie indziej, a po chwili zaczynasz ręcznie przenosić kontekst między wszystkim.
LM Nexus wyrósł właśnie z tego problemu: połączyć te elementy, ale nie ukrywać runtime'u pod spodem.
Proste nie powinno znaczyć nieprzejrzyste
Gdy wystarczy Ci wybrać model i kliknąć Run, to powinno wystarczyć. Ale gdy coś się psuje albo dokładne ustawienia runtime'u mają znaczenie, powinieneś też móc zobaczyć logi, endpointy i opcje uruchomienia.
LM Nexus zostawia obie ścieżki otwarte: proste domyślne ustawienia, gdy ich chcesz, pełną kontrolę runtime'u, gdy jej potrzebujesz, oraz jeden workspace dla reszty pracy.
Bezpośredni dostęp do runtime'u/serwera ma znaczenie
LM Nexus może uruchomić runtime za Ciebie bez zmuszania całego inference do przechodzenia przez dodatkowe proxy Nexusa.
Jeśli połączysz się bezpośrednio z serwerem llama.cpp uruchomionym przez LM Nexus, rozmawiasz z samym llama.cpp. Nexus zarządza procesem, ale nie siedzi pośrodku requestu inference.
To przydaje się przy debugowaniu, kompatybilności i wszędzie tam, gdzie bezpośredni dostęp do endpointu ma znaczenie.
curl http://127.0.0.1:PORT/v1/chat/completionsLocal-first nie oznacza local-only
Local-first to domyślne podejście, a nie zasada lock-in. LM Nexus może korzystać z modeli lokalnych, self-hosted runtime'ów, własnych endpointów zgodnych z OpenAI oraz zewnętrznych providerów API.
Część pracy powinna zostać całkowicie lokalna. Niektóre setupy mają już self-hosted inference. Inne zadania potrzebują zewnętrznego providera. LM Nexus utrzymuje te wybory widoczne zamiast chować je za jedną warstwą abstrakcji.
Model to tylko połowa pracy
Uruchomienie modelu to tylko połowa problemu. Prawdziwa praca potrzebuje też plików, notatek, terminali, logów, agentów i wiedzy projektowej, do której można wracać.
LM Nexus trzyma te rzeczy obok modelu zamiast wciskać je do historii czatu. Agenci mogą pracować z plikami projektu, notatki mogą stać się wiedzą, a moduły mogą dodawać nowe narzędzia bez zamieniania aplikacji w jeden gigantyczny feature.
Bieżący status
LM Nexus nadal jest w prywatnej alfie, więc nie ma jeszcze publicznego downloadu.
Strona i dokumentacja są publiczne wcześniej, żeby można było zobaczyć, co powstaje przed pierwszym wydaniem. Publiczne buildy pojawią się, gdy prywatna alfa będzie wystarczająco stabilna, by je sensownie wspierać.