AI tērzēšanas robotu ainava virzās uz priekšu nepieredzētā ātrumā. Tiklīdz kāda organizācija atklāj savu jaunāko modeli, konkurenti ātri seko šim piemēram, cenšoties apsteigt viens otru. Neraugoties uz to, ka OpenAI ChatGPT šajā konkurences arēnā ieguva jau agrīnu vadību, tādi konkurenti kā Gemini ir strauji guvuši pievilcību un izsmalcinātību.
Starp pašreizējiem AI tērzēšanas robotu izstrādes līderiem ir ChatGPT un Gemini modeļi.Šajā salīdzinājumā mēs īpaši koncentrējamies uz ChatGPT 4o modeli un Gemini 1.5 Pro, kas abi ir augstākās kvalitātes piedāvājumi, kas pielāgoti dažādiem uzdevumiem.
Izvēle starp šiem vadošajiem modeļiem ir būtiska, lai efektīvi apmierinātu jūsu unikālās prasības. Tādējādi mēs veicām virkni stingru veiktspējas testu, lai noteiktu, kurš modelis ir izcils daudzos uzdevumos. Iedziļināsimies analīzē!
1. Matemātikas ieskaite
Mūsu pirmais izaicinājums ietver sarežģītas matemātiskas mīklas risināšanu, kas paredzēta, lai novērtētu katra modeļa spriešanas spējas:
Uzvedne: If 1=3, 2=3, 3=5, 4=4, and 5=4, what is 6?
Šīs mīklas atrisināšanas atslēga slēpjas burtu skaitīšanā ciparu nosaukumos: vienam ir trīs burti, trīs ir pieci, un attiecīgi sešiem ir trīs burti. Abiem modeļiem izdevās nonākt pie pareizā risinājuma, taču to skaidrojumi bija dažādi:
Lai gan abas atbildes bija precīzas, ChatGPT sniedza nedaudz niansētāku skaidrojumu, norādot, ka šis uzdevums ir balstīts uz lingvistisku, nevis skaitlisku izpratni. Tomēr šī nianse ir subjektīva un nemazina Dvīņu pareizību.
Uzvarētājs: Neizšķirts
2. Apkopošanas tests
Šajā segmentā tika novērtēta katra modeļa spēja apkopot garu 27 lappušu garu pētniecisko darbu īsā kopsavilkumā, kurā ir mazāk nekā 100 vārdu. Galvenā uzmanība tika pievērsta tam, kādu saturu katrs modelis iekļāva vai izlaida savos kopsavilkos.
Lūk, kā ChatGPT 4o un Gemini 1.5 Pro izvadi mainījās:
ChatGPT demonstrēja izcilas apkopošanas prasmes, izveidojot pilnīgu kopsavilkumu 100 vārdu robežās, aptverot visus būtiskos punktus. Tomēr tā sniedza informāciju kā vienu teksta bloku bez tiešiem citātiem no papīra.
Pretēji tam, Dvīņi arī uzstājās apbrīnojami, sagatavojot 83 vārdu kopsavilkumu, ko papildināja atsauces uz konkrētām teksta daļām. Kamēr ChatGPT izcēlās ar vispusīgumu, Gemini citātu iekļaušana nodrošināja tai svarīgu priekšrocību.
Uzvarētājs: Dvīņi
3. Pārbaude “Beigs ar vārdu”.
Šim vienkāršajam uzdevumam bija jāizveido 10 teikumi, kas beidzas ar vārdu “bumba”.Uzdevuma vienkāršības dēļ var atzīmēt, ka daudzi modeļi ar to cīnās.
Uzvedne: Provide 10 sentences ending with the word 'ball'.
ChatGPT pārsteidzoši radīja tikai 3 derīgus teikumus, savukārt Dvīņi to pārspēja ar 6 teikumiem, kas pareizi noslēdzās ar “bumba”.Lūk, ieskats viņu mēģinājumos:
Neskatoties uz to, ka abi modeļi nesasniedza 10 teikumu mērķi, Gemini rezultāti demonstrēja izcilu dotās instrukcijas izpratni.
Uzvarētājs: Dvīņi
4. Veselā saprāta pārbaude
Šie testi ir jautrs izaicinājums, jo AI šeit bieži kļūdās. Mēs uzdevām vienkāršu jautājumu:
Uzvedne: If a blue ball falls into the red sea, what color is it now?
Abi modeļi sniedza precīzas atbildes, nosakot, ka bumbiņas krāsa paliks zila. Tomēr nianses viņu skaidrojumos bija dažādas:
Gemini piedāvāja īsu atbildi, savukārt ChatGPT sniedza papildu kontekstu. Tas, vai šis dziļums ir nepieciešams, ir subjektīvs, taču abi modeļi bija izcili bumbiņas krāsas noteikšanā.
Uzvarētājs: Neizšķirts
5. Radošuma pārbaude
AI izmantošana radošam stāstījumam var būt ļoti noderīga. Katram mākslīgajam intelektam uzdevām sacerēt īsu stāstu ar Ziemassvētku vecīti, kas būtu veidots tā, it kā to būtu uzrakstījis 100 vārdos.
Uzvedne: Write a short story about Santa in the style of a drunken Chaucer in 100 words.
Šeit ir viņu radošie atveidojumi:
Radošuma subjektīvā būtība apgrūtina pārliecinošu uzvarētāja pasludināšanu. Jāatzīmē, ka Dvīņi bieži sāk radošus uzdevumus ar frāzi “Hark”, kas ir kļuvusi par viņu iecienītāko stilistisko izvēli. Neskatoties uz to, ChatGPT stāstījums šajā kārtā izcēlās.
Uzvarētājs: ChatGPT
6. Attēlu ģenerēšanas tests
Šajā testā tika novērtētas katra AI modeļa vizuālās ģenerēšanas iespējas. Mēs aicinājām viņus izveidot attēlu, pamatojoties uz šādu uzvedni:
Uzvedne: Create an image of a black cat gazing out at fields of barley bathed in evening yellow light, in the style of Vincent Van Gogh.
ChatGPT bija par sekundi vai divām ātrāks, taču Gemini pēdējais attēls ainu attēloja ar lielāku izsmalcinātību. Lai gan abi modeļi uztvēra Van Goga māksliniecisko stilu, attēlu subjektīvā kvalitāte bija atšķirīga:
Ir vērts atzīmēt, ka ChatGPT ļauj rediģēt attēlus pēc paaudzes — šīs priekšrocības pašlaik trūkst Gemini. Tā kā abi attēli efektīvi iemiesoja Van Goga raksturīgo stilu, izvēle ir atkarīga no skatītāju izvēles, lai gan mēs sliecamies uz Dvīņiem.
Uzvarētājs: Dvīņi
7. Multimodāls ģeneratīvais tests
AI prasme tiek pārbaudīta integrētajos režīmos, jo tie bieži vien ir izcili atsevišķu uzdevumu veikšanā, bet cīnās ar visaptverošiem uzdevumiem. Uzdevām abām modelēm uzrakstīt bērnu stāstu par sportisko meistarību, pa ceļam ievietojot trīs ilustrācijas.
Uzvedne: uzrakstiet īsu bērnu stāstu par sportisko meistarību un, ja nepieciešams, pievienojiet 3 attēlus.
ChatGPT izveidoja aizraujošu stāstu, kas slāņojas ar morālām pārdomām un nemanāmi iekļautiem attēliem. Turpretim, lai gan Dvīņiem izdevās izveidot stāstu, tam trūka skaidrības un saskaņotības, un tas nespēja ģenerēt stāstījuma attēlus.
Pamatojoties uz pārliecinošo un viegli izpildāmo piegādi, šis lēmums bija vienkāršs.
Uzvarētājs: ChatGPT.
8. Tulkošanas tests
Lai novērtētu šo modeļu tulkošanas iespējas, mēs lūdzām katram tulkot izlases no Premčanda hindi noveles “Grih Daah”.
ChatGPT radīja ārkārtīgi efektīvus tulkojumus, paliekot uzticīgi oriģinālajai nozīmei un saglabājot autora stilistisko integritāti:
Turpretim Dvīņi sākotnēji cīnījās ar tulkošanas pieprasījumu un parādīja ievērojamu reakcijas laika kavēšanos.Šī veiktspējas nekonsekvence ir Dvīņu problēma, par kuru bieži ziņots.
Uzvarētājs: ChatGPT
9. Kodēšanas pārbaude
Lai novērtētu viņu kodēšanas prasmes, mēs iepazīstinājām ar standarta optimizācijas problēmu:
Uzvedne: Provide the Python code for the Travelling Salesman Problem.
ChatGPT reaģēja efektīvi, kodēšanai izmantojot integrēto Canvas režīmu, kas ļāva nekavējoties izpildīt kodu un veikt atkļūdošanas iespējas:
No otras puses, Gemini izcēlās, nodrošinot uzticamu kodu, taču tam trūka interaktīva koda saskarnes, piemēram, ChatGPT’s Canvas:
Uzvarētājs: ChatGPT
10. Adata siena kaudzes testā
Šis tests izaicina AI modeļus atrast noteiktas informācijas daļas lielākā dokumentā. Mēs izmantojām Puškina noveles “Kapteiņa meita” pirmo segmentu un izvirzījām šādu uzvedni:
Uzvedne: Identify which bread Mr. Joe's son ate from the following excerpt.
ChatGPT nekavējoties atrada atbildi: brūnā maize.
Pretstatā tam, Dvīņi nespēja izgūt informāciju, cenšoties parsēt sniegto informāciju, parādot, ka sarežģītu datu apstrāde nav efektīva.
Uzvarētājs: ChatGPT
11. Uzmini filmas testu
Šajā izklaidējošajā kārtā mēs novērtējām modeļu attēlu atpazīšanas prasmes, identificējot populāru filmas kadru:
Abi modeļi precīzi nosauca filmu, tomēr ChatGPT izdevās precizēt attēlotos varoņus (Kolinu Farelu un viņa ēzeli), savukārt Dvīņi uzjautrinoši nepareizi identificēja ēzeli kā Kolmu Dohertiju.
Uzvarētājs: ChatGPT
Kopvērtējuma uzvarētājs
Pēc rezultātu saskaitīšanas ChatGPT 4o modelis uzvarēja ar 6 uzvarām un 2 neizšķirtiem, demonstrējot tā stabilo sniegumu dažādos testos un kompetencēs. Tikmēr Gemini 1.5 Pro sniedza slavējamu izaicinājumu, izceļoties apkopošanā, attēlu ģenerēšanā un uzdevumā “beigt ar vārdu”, kā arī panākot paritāti gan matemātikas, gan veselā saprāta novērtējumos.
Galu galā ChatGPT pārspēja Gemini tādās kritiskās jomās kā kodēšana, tulkošana, radošums, informācijas izguve un attēlu interpretācija. Ar ChatGPT konsekvento uzticamību tas izceļas kā vēlamais AI partneris, pat ja Gemini parāda uzlabojumu potenciālu, ja tiek optimizētas uzvednes. Mūsu vērtējumā rezultāti ir labvēlīgi ChatGPT tiem, kam prioritāte ir uzticamība un efektivitāte.
Bieži uzdotie jautājumi
1. Kādas ir galvenās atšķirības starp ChatGPT 4o un Gemini 1.5 Pro?
Lai gan abi modeļi ir augstākās kvalitātes AI tērzēšanas roboti, ChatGPT 4o ir demonstrējis izcilu veiktspēju kodēšanas, tulkošanas un radošu uzdevumu veikšanā. Tomēr Gemini 1.5 Pro izceļas ar apkopojumu un attēlu ģenerēšanu.
2. Kurš AI tērzēšanas robots ir labāks gadījuma lietotājiem?
Ikdienas lietotājiem, kuri meklē uzticamību dažādos uzdevumos, ChatGPT 4o parasti tiek uzskatīts par uzticamāku izvēli, pateicoties tā konsekventai veiktspējai un plašajām iespējām.
3. Vai es varu izmantot šos AI tērzēšanas robotus uzņēmējdarbības nolūkos?
Pilnīgi noteikti! Gan ChatGPT 4o, gan Gemini 1.5 Pro ir piemēroti biznesa lietojumprogrammām, tostarp klientu apkalpošanas automatizācijai, satura veidošanai un datu analīzei, padarot tos par vērtīgiem rīkiem profesionālā vidē.
Atbildēt