Mikä Ollama on ja kuinka sitä käytetään Windowsissa

Jos haluat käyttää suuria kielimalleja tai LLM:itä tietokoneellasi, yksi helpoimmista tavoista tehdä se on Ollaman kautta. Ollama on tehokas avoimen lähdekoodin alusta, joka tarjoaa muokattavan ja helposti saavutettavan tekoälykokemuksen. Sen avulla on helppo ladata, asentaa ja olla vuorovaikutuksessa erilaisten LLM:ien kanssa ilman, että sinun tarvitsee luottaa pilvipohjaisiin alustoihin tai vaatia teknistä asiantuntemusta.

Edellä mainittujen etujen lisäksi Ollama on melko kevyt ja sitä päivitetään säännöllisesti, mikä tekee siitä varsin sopivan LLM:ien rakentamiseen ja hallintaan paikallisilla koneilla. Näin ollen et tarvitse ulkoisia palvelimia tai monimutkaisia kokoonpanoja. Ollama tukee myös useita käyttöjärjestelmiä, mukaan lukien Windows, Linux ja macOS, sekä erilaisia Docker-ympäristöjä.

Ollaman lataaminen ja asentaminen

Vieraile ensin Ollaman lataussivulla ja valitse käyttöjärjestelmäsi ennen kuin napsautat Lataa-painiketta.

Kun lataus on valmis, avaa se ja asenna se koneellesi. Asennusohjelma sulkeutuu automaattisesti, kun asennus on valmis.

Windowsissa voit tarkistaa, onko Ollama käynnissä vai ei, napsauttamalla tehtäväpalkin ylivuotopainiketta nähdäksesi piilotetut kuvakkeet.

Ollaman räätälöinti ja käyttö

Kun Ollama on asennettu tietokoneellesi, sinun tulee ensin vaihtaa tietojen tallennuspaikkaa. Oletusarvoisesti tallennuspaikka on, C:\Users\%username%\.ollama\modelsmutta koska tekoälymallit voivat olla melko suuria, C-asemasi voi täyttyä nopeasti. tehdäksesi niin,

Napsauta ensin tehtäväpalkin Ollama-kuvaketta ja napsauta ”Lopeta Ollama”.

Kun Ollama on poistunut, avaa Käynnistä-valikko, kirjoita environment variablesja napsauta ’Muokkaa järjestelmäympäristömuuttujia’.

Kun System Variables -valintaikkuna avautuu, napsauta ”Ympäristömuuttujat” -painiketta ”Lisäasetukset”-välilehdellä.

Napsauta käyttäjätilisi ”Uusi”-painiketta ja luo OLLAMA_MODELS”Muuttujan nimi” -kenttään nimetty muuttuja.

Kirjoita sitten Muuttujan arvo -kenttään sen hakemiston sijainti, johon haluat Ollaman tallentavan mallinsa. Napsauta sitten ’OK’-painiketta ennen kuin käynnistät Ollaman Käynnistä-valikosta.

Nyt olet valmis aloittamaan Ollaman käytön, ja voit tehdä sen Metan Llama 3 8B:llä, yrityksen uusimmalla avoimen lähdekoodin tekoälymallilla. Suorita malli käynnistämällä komentokehote, Powershell- tai Windows Terminal -ikkuna Käynnistä-valikosta.
Kun komentokehoteikkuna avautuu, kirjoita ollama run llama3ja paina Enter. Malli on lähes 5 Gt, joten sen lataaminen vie aikaa.

Kun lataus on valmis, voit aloittaa Llama 3 8B:n käytön ja keskustella sen kanssa suoraan komentoriviikkunassa. Voit esimerkiksi kysyä mallilta Who are you?ja saada vastauksen painamalla Enter.

Nyt voit jatkaa keskustelua ja kysyä tekoälymalleilta kysymyksiä eri aiheista. Muista vain, että Llama 3 voi tehdä virheitä ja hallusinoida, joten sinun tulee olla varovainen käyttäessäsi sitä.
Voit myös kokeilla muita malleja vierailemalla Ollaman mallikirjastosivulla. Lisäksi on olemassa erilaisia komentoja, joita voit suorittaa ja kokeilla erilaisia Ollaman tarjoamia toimintoja.
Voit myös suorittaa erilaisia toimintoja ajaessasi mallia, kuten asettaa istuntomuuttujia, näyttää mallin tiedot, tallentaa istunnon ja paljon muuta.
Ollaman avulla voit myös hyödyntää multimodaalisia tekoälymalleja kuvien tunnistamiseen. Esimerkiksi LLava-malli pystyy tunnistamaan DALLE-3:n luomia kuvia. Se voi kuvata kuvia yksityiskohtaisesti.
Jos kohtaat virheitä Ollaman käytön aikana, voit tarkistaa lokit selvittääksesi, mikä ongelma on. Käytä Win + Rpikanäppäintä avataksesi Suorita-valintaikkunan ja kirjoita explorer %LOCALAPPDATA%\\Ollama # View logssen sisään ennen Enter-näppäintä.

Voit myös käyttää muita komentoja, kuten explorer %LOCALAPPDATA%\\Programs\\Ollamaja explorer %HOMEPATH%\\.ollamatarkistaaksesi binaarit, mallin ja kokoonpanon tallennuspaikan.

Asiat tietää

Ollama tunnistaa automaattisesti GPU:si toimiakseen tekoälymalleja, mutta koneissa, joissa on useita GPU:ita, se voi valita väärän. Voit välttää tämän avaamalla Nvidian ohjauspaneelin ja määrittämällä näytön asetukseksi ”Vain Nvidia GPU”.
Näyttötila ei välttämättä ole käytettävissä kaikissa laitteissa, ja se puuttuu myös, kun liität tietokoneen ulkoisiin näyttöihin.
Windowsissa voit tarkistaa, käyttääkö Ollama oikeaa GPU:ta Task Managerin avulla, joka näyttää grafiikkasuorittimen käytön ja ilmoittaa, mikä niistä on käytössä.
Vaikka Ollaman asentaminen macOS:ään ja Linuxiin eroaa hieman Windowsista, LLM:ien suorittaminen sen kautta on melko samanlainen.