Jak používat místní modely AI na vývojáře Opera One

Zatímco mnoho prohlížečů integruje funkce AI do svých prohlížečů, Opera se právě stala prvním prohlížečem, který integruje místní modely AI. Opera přidává do svého prohlížeče Opera One experimentální podporu pro více než 150 variant modelu LLM (Local Large Language Model) z přibližně 50 různých rodin modelů.

Vzhledem k tomu, že jazykové modely budou lokální, uživatelé se nebudou muset starat o to, aby jejich data byla odeslána na server LLM. Je to soukromý a bezpečný způsob používání AI.

Chcete-li používat místní modely LLM, budete potřebovat 2–10 GB místa v počítači v závislosti na variantě, kterou budete používat. Některé z podporovaných LLM zahrnují Llama od Meta, Phi-2 od Microsoftu, Gemma od Google, Vicuna, Mixtral od Mistral AI atd. Tyto jazykové modely můžete použít místo Aria AI z Opery a kdykoli přepnout zpět na Aria AI chtít.

Tato funkce je aktuálně dostupná pouze ve vývojářském streamu Opery One. Zde je návod, jak můžete aktivovat a používat místní modely umělé inteligence v Opera One Developer.

Stáhněte si Opera One Developer

Pokud již máte Opera One Developer, přeskočte tuto část a přejděte rovnou k používání místních modelů LLM.

Přejděte na tento odkaz a stáhněte si Opera One Developer. Přejděte dolů a klikněte na „Stáhnout nyní“ na dlaždici Opera One Developer.

Po stažení soubor otevřete a spusťte instalační program.
Klikněte na „Přijmout a nainstalovat“ a poté nainstalujte prohlížeč podle pokynů na obrazovce.

Nastavte místní model umělé inteligence

Jakmile je prohlížeč stažen, klikněte na ikonu ‚Aria AI‘ na levém postranním panelu.

Pokračujte kliknutím na ‚Pokračovat‘.

Pokud Aria používáte poprvé, budete si muset zaregistrovat bezplatný účet Opery, abyste ji mohli používat. K vytvoření účtu Opera můžete použít svůj e-mail nebo účet Apple, Facebook nebo Google.

Jakmile bude váš účet vytvořen, budete moci chatovat s Aria.
Nyní na panelu Aria uvidíte možnost „Vybrat místní model umělé inteligence“. Klikněte na to.

Z rozbalovací nabídky vyberte možnost Přejít na Nastavení.

Ujistěte se, že je zapnutý přepínač „Povolit místní umělou inteligenci v chatech“.

Dále vyberte model, který chcete stáhnout pro místní použití, kliknutím nebo vyhledáním. Jak již bylo zmíněno výše, Opera implementovala podporu pro přibližně 50 modelových rodin s různými variantami, čímž se celkový počet zvýšil na 150.

Takže u některých modelů, když kliknete na některý z modelů, jako je Gemma od Googlu, získáte 4 různé varianty. Stáhněte si model, který chcete použít. Pro tuto příručku stahujeme model 2B Text od Gemmy. Klikněte na tlačítko ‚Stáhnout‘ vpravo. Před stažením modelu si můžete na počítači zobrazit místo, které vyžaduje.

Stažení bude nějakou dobu trvat v závislosti na velikosti modelu a vašem internetovém připojení. Průběh stahování můžete vidět vedle.

Použití modelu místní umělé inteligence

Jakmile je model stažen, klikněte na ikonu ‚Nabídka‘ v levé horní části panelu.

Z nabídky, která se zobrazí, vyberte „Nový chat“.

Znovu klikněte na možnost „Vybrat místní model AI“ v horní části a z rozbalovací nabídky vyberte model, který jste právě stáhli, v našem případě Gemma.

Nyní budete přepnuti na místní model umělé inteligence podle vašeho výběru. Zadejte výzvu do řádku výzev a odešlete ji do AI, aby zahájila místní interakce.

Vaše chaty s modelem Local AI budou k dispozici v historii chatů, stejně jako vaše chaty s Aria. Pro lepší organizaci můžete chaty také přejmenovat.
Podobně si můžete stáhnout a používat několik místních modelů umělé inteligence, ale nezapomeňte, že každý vyžaduje někde mezi 2–10 GB místa na vašem počítači.
Chcete-li odstranit model z počítače, přejděte do stejného nastavení, odkud jsme model stáhli dříve, tj. Aria> Settings> Local AI Models> [Downloaded Model]. Poté klikněte na tlačítko ‚Smazat‘.

Přepněte zpět na Aria

Chcete-li přepnout zpět na Aria, jednoduše začněte nový chat s AI. Klikněte na ikonu ‚+‘ v pravém horním rohu.

Nový chat začne samotnou Arií.

Je velmi vzrušující mít možnost používat místní modely umělé inteligence v prohlížeči Opera One, a to nejen z hlediska bezpečnosti a ochrany soukromí. Zatímco v raných fázích je to všechno velmi jednoduché, potenciální budoucí případy jsou spíše vzrušující. Prohlížeč s místní umělou inteligencí může znamenat, že může použít váš historický vstup se všemi vašimi daty; jak vzrušující by to bylo! A tým Opery tuto možnost zkoumá.

Ale i bez budoucích možností jsou místní AI skvělým krokem pro uživatele, kteří se obávají o svá data a chatování s AI, která jsou uložena na jejích serverech. Existuje několik skvělých LLM, které můžete prozkoumat, jako je Llama pro kódování, Phi-2 pro vynikající schopnosti uvažování a Mixtral pro úkoly, jako je generování textu, odpovídání na otázky atd.