LiteLLM # Ollama API Backend

Tutoriale IT & Tech

În acest tutorial vei învăța cum să folosești LiteLLM ca backend API pentru Ollama, astfel încât să poți accesa modelele AI local printr-un endpoint compatibil OpenAI. Parcurgem pașii necesari pentru instalare, configurare și integrare într-un mediu self-hosted.  ~ Pentru informații mai complexe (link-uri și comenzi) vizitați pagina pe website. ~ ~ Acest tutorial nu a fost creeat să fie frumos ci să fie util. ~ _______________________________________________________ Website: https://go-website-1.myshort.ro/rFTjbc Youtube: https://youtu.be/EhhGCSAVFw0 Dacă vrei să ne ajuți click aici: https://go.myshort.ro/2hQL7w

Transcript

00:00Pai, am zis ca daca e bal, bal sa fie.

00:18Si pe acest principiu, m-am hotarat sa va prezint, daca tot v-am prezentat, cum se instaleaza o lama cu OpenWeb UI, si asa mai departe, sa va arat cum se poate trece, sa zicem asa, la nivelul urmator.

00:37Asa ca in acest tutorial, o sa va prezint Light LLM, este un backend pentru o lama.

00:49Acum nu este chiar pentru o lama, ci este pentru OpenWeb UI, dar pentru ca toata lumea s-a obisnuit sa-i zica o lama, hai sa-i zicem o lama.

01:03Asa ca, dupa cum am zis aici, continuam aventura noastra.

01:10O sa va arat cel mai simplu si usor mod cum se instaleaza pe un server Linux aplicatia Light LLM.

01:18O sa observati ca am ales varianta fara Docker.

01:22De ce am facut asta? Pentru ca pentru utilizatorul final este mult, mult, mult mai usor de gestionat.

01:30Poate este putin mai greu de instalat, dar dupa aceea nu aveti probleme.

01:36Nu aveti efectiv probleme sa treceti din clasa in IP in IP si din IP in IP si asa mai departe.

01:44Din punctul meu de vedere este mult mai usor de gestionat.

01:48Si cand zic de gestionat nu ma refer la ce prezint acum.

01:51Asta e partea usor.

01:53Da?

01:55Am specificat faptul ca instalarea este putin mai complicata, dar nu este ceva wow.

02:09Eu am instalat Light LLM pe acelasi server pe care ruleaza o lama si cu interfata.

02:18Va recomand sa faceti acest lucru si din nou va recomand sa nu dati acces din exterior catre Light LLM.

02:28Bun?

02:30Ce este Light LLM totusi?

02:35Pe scurt, nativ, aceasta interfata stie sa comunice cu toate LLM-urile pe care le descarci local.

02:45Cum va fi o lama mistral, deep seek mai nou si asa mai departe.

02:49Pentru asta foloseste puterea bruta serverului si cu asta proceseaza cererile.

02:56Dar in acelasi timp interfata stie sa comunice cu API-ul OpenAI adica ChatGPT.

03:03Da?

03:04Nimic altceva extern.

03:06Daca mergem aici, la Settings, la Connections, OpenAI API, API-ul de la OpenAI.

03:21Da?

03:23Si nu poti sa adaugi.

03:25Aici intervine Light LLM, care este in esenta un proxy intre interfata si aproape orice API de LLM.

03:34In esenta il pacaleste pe asta, ca e, cum s-ar zice, asta.

03:41Si de acolo...

03:44Da?

03:45Bun.

03:46Personal am testat doar cateva, pentru ca asta este.

03:52Exista si un downside la toata poezia asta.

03:55API-urile nu sunt gratuite.

03:57Dar...

03:59Cam asta ar fi si singurul dezavantaj, ca trebuie sa dai niste bani.

04:03In rest, avantaje peste avantaje.

04:06Da?

04:09Nimic...

04:12Cei API extern nu e gratis.

04:15Din pacate.

04:16Da?

04:18Eu am testat, dupa cum am zis aici, OpenAI-ul, Anthropic, Mistral-ul si Groku.

04:23Dezvoltatorii se lauda ca suporta si altele.

04:27E o lista destul de lunga, nu are sens.

04:30Instalarea Light LLM.

04:34Daca am inteles ce este si ce face, si la ce ne trebuie, daca ne trebuie, sa trecem la instalarea propriu-zisa.

04:41Da?

04:42Primul set de comanzi, nu trebuie sa schimbi nimic, doar le rulezi linistit.

04:46Asa cum am zis, in paralel cu...

04:53In paralel cu serverul nostru Linux, pe care avem instalat o lama.

05:00Luam, fain frumos, prima comanda.

05:05Nu stau acum sa vi le mai explic pe fiecare parte, ca nu cred ca pasa nimanui.

05:12Instalam Python-ul.

05:13Dupa cum am zis, nu-l facem in Docker, il facem in Python.

05:20Instalam cu tot ce are nevoie.

05:22Nu dureaza nici mult, dar nici putin.

05:39Bun, s-a terminat instalarea.

05:42Hai sa continuam.

05:52Si acuma,

06:05trebuie sa avem putina rabdare, ca doreaza.

06:23Bun.

06:24Intr-un final a terminat.

06:35Si verificam ca este totul in regula.

06:37Daca avem versiune, este totul in regula.

06:41Da?

06:43Daca ai ajuns pana aici,

06:45cum am zis, toate planetele s-au aliniat,

06:47atunci ar trebui sa ai LightRLM instalat pe server.

06:53Aplicația nu va porni automat la fiecare restart.

06:56Nici nu are rost sa imi pierd vremea sa va arat cum se pornește manual.

07:02Ai doua variante cu pornire manuala sau cu fișieri de serviciu.

07:08E clara recomandarea.

07:10Tot ce ai de făcut este sa rulezi comenzile de mai jos una câte una,

07:15pe serverul Linux unde ai instalat LightRLM-ul.

07:18Si dupa finalizarea procesului,

07:19poti accesa interfața din browser la adresa

07:24.

07:27Daca ai repornit serverul intre timp,

07:29asigure-te ca rulezi comenzile ca root.

07:31Da?

07:36Recomandul restalt al final al serverului ca sa te asiguri ca totul pornește corect.

07:40Si automat.

07:41Hai sa luam prima comanda.

07:44Sa facem si putina ordine pe aici.

07:52Sa luam a doua comanda.

07:55Va cum vedeti, folosim CAT.

07:57Sa fie simplu.

08:04Activam toata nebunia.

08:07Si ne asiguram ca totul este ok si este.

08:18Da?

08:22Si hai sa verificam.

08:25Asculta pe portul 4000.

08:28Da?

08:29In mod normal, tot ar trebui sa fie gata de utilizare.

08:33Si poti accesa LightRLM.

08:36Daca poti face chestia asta,

08:38inseamna ca totul este cum trebuie.

08:41Hai sa facem proba fizica.

08:45Dupa cum am zis, portul 4000.

08:52Dupa cum vedeti, LightRLM se incarca.

08:59Bun.

09:00Acuma ne-am asigurat ca este instalat.

09:03Pornesti automat la boot si asa mai departe.

09:08Urmatorul pas logic este sa-ti arat cum se conecteaza interfaata.

09:13O lama cu LightRLM-ul.

09:16Dupa cum am zis aici,

09:18in mod implicit aplicatia LightRLM folosesti un api chei foarte simplu.

09:22Este acesta SCA-1234.

09:25Dupa cum am specificat,

09:27aici nu este o cheie tocmai ideală din punct de vedere al securitatii,

09:30dar o sa-ti arat si cum poti sa rezolvi aceasta problema mai spre final.

09:35Ce ne trebuie pentru teste?

09:37Adresa API pentru LightRLM si cheia.

09:42Luam aceasta adresa.

09:47Mergem aici.

09:50Si adaugam o conexiune noua.

09:53URL-ul este acesta la care

09:57ii schimbam, bineinteles, IP-ul.

10:04Facem treaba cum trebuie.

10:10Am luat de doua ori HTTP-ul.

10:12Nu este o problema.

10:14Așa trebuie să arate corect, da?

10:21HTTP-IP-2.V1

10:25Si API-K-ul.

10:31Punem aici API-K-ul.

10:36Si salvam.

10:38Si ne apare aici.

10:40Putem verifica intr-un simplu click

10:43daca totul este ok.

10:46Si...

10:48Este.

10:49Bun...

10:51Deci...

10:52Acuma...

10:55Am vazut ca...

10:57Cele doua vorbesc...

10:59Intre ele.

11:00Da?

11:01Deci...

11:02Am rezolvat aceasta parte.

11:06Mi-am propus sa va arat o verificare fara sa va coste niciun leu.

11:11O sa folosim o verificare fara API extern.

11:20Dupa cum ati vazut, totul apare deja cu verde la rularea testului.

11:28O sa folosim...

11:30Pentru o verificare ca tot setup-ul functioneaza corect.

11:34O sa folosim un LLM local.

11:36Ii zice Tiny Lama.

11:38Dupa cum am zis aici, sincer, e mic si prost.

11:42Dar pe ce ne trebuie, nouul e foarte bun.

11:45Da?

11:46Ce trebuie sa faci?

11:48Pai trebuie sa rulez comenzile de mai jos una cate una.

11:51Si asteapta sa finalizeze complet fiecare pas.

11:55Vom face si noi acest lucru.

11:58Dar intai sa facem curatenie.

12:02Prima oara o sa descarcam Tiny Lama.

12:05Nu ar trebui sa dureze foarte mult.

12:07Pentru ca nu e foarte mare.

12:09Are undeva sub un giga.

12:11Nu stiu exact cat are.

12:12Ah, uite aici.

12:13637 de mega.

12:14Deci...

12:15O nimica toata.

12:16Cu tot ce mai descarca, undeva la 700 de mega.

12:19Deci nu e foarte mult.

12:20Bun.

12:21S-a terminat.

12:22Hai sa luam urmatoarea comanda.

12:35Si verific lama.

12:37Ne apare aici Tiny Lama Latest.

12:41Da?

12:42Perfect.

12:43Hai sa vedem.

12:45Acuma descarcam un fisier de configurare de pe GitHub-ul meu.

12:54Si am ajuns aici.

13:04Mai avem un ultim pas important.

13:06Ce trebuie sa facem este sa modificam scriptul de pornire al Light LLM.

13:11Ca sa includem fisierul de configurare descarcat de pe GitHub.

13:15Da?

13:16In care am introdus automat si modelul de teste.

13:19Acest fisier va fi folosit si pe viitor.

13:22Asa ca...

13:23Era...

13:25Dupa cum am zis aici.

13:26Acest pas trebuia facut la un moment dat.

13:29Indiferent daca vrem sa nu sa testam.

13:32Ce trebuie sa faci?

13:35Pai...

13:36Ruleaza prima comanda.

13:37Care va deschide fisierul scriptului de serviciu.

13:40Inlacuieste tot continutul cu cea de a doua comanda.

13:44Ruleaza a treia comanda sa restartezi serviciile.

13:49Hai sa facem pe bucatii.

13:52Spergem tot continutul.

13:57Punem noul continut.

14:03Salvam.

14:06Restartam serviciile.

14:13Si verificam daca totul este in regula.

14:21Dupa cum vedeti, avem Tiny Lama Test extern.

14:25Da?

14:26Acesta este numele si este corect.

14:30A cincea comanda.

14:33Eu nu o voi rula.

14:35Este un reboot.

14:37De ce v-am pus-o aici?

14:39In functie de sistem, la unele sisteme, nu iti da informatia asta, ci iti da ceva eroare.

14:44Nu mai tin permission, deny it.

14:46Nu mai tin minte.

14:47Iti da o eroare.

14:48Oricum nu iti apare chestia asta.

14:50In cazul ala, ruleaza ultima comanda de restart al sistemului.

14:54Asteapta sa se restarteze sistemul.

14:56Daca iti apare chestia asta, ultima comanda nu mai este necesara.

15:02Am reusit cu succes sa instalam si sa verificam functionarea in tandem cu OpenWeb UI.

15:14Hai sa testam ca functioneaza inainte de ne apuca de a face curatenie.

15:19Asta este si ideea.

15:23Pai, hai sa verificam.

15:27Dam un refresh.

15:29Si dupa cum il vedeti, ne si apare limbajul.

15:32Tiny Lama Test Extern.

15:36Ne si apare chestia external.

15:39Bineinteles ca este toata asta, doar ca prin API.

15:42Da?

15:43O sa va arat si ca nu e bulshit in tahan.

15:46Folosim Tiny Lama Test Extern si il intrebam ceva.

15:51Hai sa-i zicem.

15:53Salut!

15:59Cum esti astazi?

16:10Trebuie sa aveti si voi rabdare.

16:12Serverul de test nu are o putere de calcul foarte mare.

16:15Dar, dupa cum vedeti, raspunde balarii.

16:25Bineinteles ca asta e viata.

16:27Pe v-am zis, nu e foarte inteligent.

16:29Dar nu inteligenta ne interesa pe noi, ci faptul ca functioneaza.

16:36Bineinteles.

16:38Daca-i scriem in engleza, raspunde mai bine, sa zicem asa.

16:48Am testat faptul ca functioneaza.

16:52Dupa cum v-am zis, noi folosim Tiny Lama prin API-ul Light LLM.

16:58Dupa cum vedeti, raspunde.

17:02Bun!

17:04Ce voi face acum ca sa vedeti ca nu vorbim prostii?

17:10Hai sa oprimi conexiunea.

17:18Da?

17:20E disable.

17:22Save.

17:24Refresh.

17:26Dupa cum vedeti, Tiny Lama exista, dar test extern nu exista.

17:32Deci, prin asta am dovedit faptul ca functionea prin Light LLM.

17:40Ok.

17:42Daca vrei, poti sa faci putina curatene in sistem.

17:49Dupa cum am zis, sunt optionale, utile.

17:52Prima comanda, sterge Tiny Lama.

17:54A doua comanda, va suprascrie continutul legat de model.

17:58Si reseteaza continutul la minimul necesar sa putem sa repornim Light LLM-ul.

18:03Da?

18:04Si a treia comanda, restarteaza tot sistemul.

18:06Daca doriti, o resetare completa si curata a mediului.

18:11Dupa cum am zis, nu este obligatoriu.

18:17Am sters Tiny Lama.

18:22Si...

18:23Am adus fisierul Light LLM Config la minimul necesar sa ne asigure pornirea Light LLM-ului la un restart.

18:36Treia comanda, dupa cum am zis,

18:38Restarteaza sistemul.

18:42Nu-l voi restarta deocamdata.

18:44Daca am promis, am promis.

18:48In ultima parte din tutorial, asa cum v-am promis.

18:52O sa va arat cum poteti inlocui cheia API default alu Light LLM, care este SKA1234, cu una mai sigura si mai personalizata.

19:04Dupa cum am scris aici, ca sa fiu sincer, nu o schimb efectiv.

19:10Setezi o cheie personalizata, iar cea default nu va mai putea fi folosita, cat timp exista o cheie definita manual.

19:19Da?

19:20In momentul in care vei sterge aceasta cheie definita manual, cheia asta va functiona din nou.

19:25Ce trebuie sa faci?

19:27Pai, rulam comanzile de mai jos, una, cate una.

19:34Prima comanda deschide fișierul de configurare.

19:38Inlocuind tot continutul cu comanda a doua.

19:41Aici avem o nota.

19:43Inainte de a salva, modifica textul dintre ghilimele, care este cheie personalizata, securizata.

19:48Asta va fi noua cheie API.

19:52Daca o inlocuiti, va fi cu ce inlocuiti voi.

19:55Cu orice cheie API vrei.

19:57Salveaza si inchide fișierul.

20:00Ultima comanda, restarteaza serviciu LightLLM.

20:03Hai sa facem acest lucru.

20:06Dupa cum am zis, stergem continutul.

20:09Si punem noul continut.

20:15Dupa cum vedeti, master key este aceasta.

20:21Am salvat.

20:23Sper sa nu fi adaugat nimic.

20:26Si restartam serviciul.

20:33Perfect! Hai sa verificam acum.

20:35Mergem aici.

20:40In setari.

20:42Admin settings.

20:44Connections.

20:47Si

20:49Opa!

20:51Network problem.

20:55In esenta, nu functioneaza.

20:58Hai sa luam acesta cheie API.

21:01API.

21:04Sa o inlocuim.

21:06Aici.

21:09Si dupa cum vedeti.

21:12Noua cheie functioneaza.

21:14Vechea cheie nu mai functioneaza.

21:17Cheia default.

21:19Daca salvam.

21:20Am salvat noua cheie API.

21:22Si

21:24Putem sa testam de cate ori vrem.

21:25Este functional.

21:26Da?

21:28Da?

21:31Gat!

21:32Ai Light LLM full functional.

21:36Asa cum am zis aici, asta a fost totul pentru acest tutorial.

21:41V-am aratat cum se instaleaza, configureaza si testeaza Light LLM-ul.

21:45Dupa cum ați vazut, este complet functional si integrat cu Open Web UI-ul.

21:52Da?

21:54Dupa cum ați vazut, simplu, rapid.

21:56Am scris aici intr-un tutorial urmator si pun accent pe intr-un tutorial urmator si nu pe tutorialul urmator.

22:09Ca nu stiu cand il voi face.

22:12In perioada asta stau nu prost cu timpul, groaznic de prost cu timpul.

22:15Si sa zicem ca stau bine cu timpul, nu stau bine cu spatiu, m-am apucat de renovat, asa ca e complicat.

22:23Zac si-o intr-un coltisor cu calculatorul.

22:29Intr-un tutorial urmator, dupa cum am zis, o sa-ti arat cum se conecteaza diverse servicii externe la Light LLM.

22:35In principiu o sa testam nu stiu exact ce si cate si cum, dar o sa facem niste teste.

22:45Nu stiu sa va spun cand se va intampla, sper cat mai repede, dar nu stiu sa va spun.

22:51Cam asta ar fi.

22:53Pe final vreau sa va multumesc tuturor celor care v-ati abonat la canal, celor care va ganditi sa o faceti si asa mai departe.

22:59Inca o data vreau sa va spun faptul ca nu este necesar sa va faceti cont pe website.

23:05Pentru a va lua comenzile, solicitati acces temporar si il veti primi.

23:11Cam asta ar fi.

23:13Eu am fost Remus de la tutoriala IT&Tech, sa ne auzim sanatosi la tutorialul urmator.

Category

Transcript

Recommended