Osim treniranja, bitni su i podaci sa kojima se trenira. I to ne može da prikupi svako, nego samo bogati i oni koji su u poziciji da uzimaju podatke bez pitanja, vlasnici operativnih sistema, socijalnih mreža, medicinskih ustanova i tome slično (i država naravno može da nas natera da dajemo podatke koji će nekom da korisno posluže). S druge strane, ljudski mozak nije superkompjuter a ipak efikasno trenira svoje neurone. Dakle postoji prostor za dalji napredak tih algoritama i metoda prikupljanja podataka (da se podaci i treniranje decentralizuju ali da rezultati, "znanje" se integriše kao što to ljudi rade kroz knjige itd).
(@Veliki brat, 2. mart 2024 07:19)
Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 01. mart 2024 21:29)
…………………..
@Pećinko:
Pa, gde si, bre, Vonjo stari iBalegaru!? Opet si se pritajio u svom toilet-barbie-world? Moram priznati da najviše volim da čitam tvoje tourette-komentare. Iako uvek isti, nepogrešivo odišu tvojim staništem. Živ nam bio 100 godina, majstore! ;-)))
(Dart, 2. mart 2024 01:24)
"Južnokorejski tehnološki gigant Samsung Electronics objavio je da je razvio novi memorijski čip koji ima "najveći kapacitet do sada" za veštačku inteligenciju (AI)."
Ni blizu tačno, najjači čip sa najviše jezgara i najviše memorije i najveće brzine je Cerebras WSE-2, koji ima 850.000 jezgara, 2600 milijardi tranzistora, nekih 40GB keša sa brzinom protoka od 20 petabita u sekundi.
Samo jedan taj čip omogućava treniranje LLM do 120.000 milijardi parametara, a nude sisteme sa do maksimalno 192 ovakva čipa, s tim da je 16 dovoljno za većinu NLP modela.
Postoji mogućnost iznajmljivanja servisa kod Cirrascale Cloud Services, na kome za oko 2500$ možete da istrenirate ChatGPT-3 za samo 10 sati, dok je za model sa 70 milijardi parametara potrebno čak 85 dana i koštalo bi oko 2.5 miliona dolara.
Na žalost, treniranje velikih jezičkih modela za bilo kakvu realnu primenu sada je u rukama samo nekoliko kompanija i startapova, svi ostali su izbačeni iz igre i mogu samo da se igraju nekim manjim modelima tražeći malo brže algoritme ili kvalitetnije modele, koji će opet za realnu primenu moći da se treniraju samo kod ovih nekoliko kompanija i startapova.
(Veliki brat, 1. mart 2024 21:35)
Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 1. mart 2024 21:29)
"Južnokorejski tehnološki gigant Samsung Electronics objavio je da je razvio novi memorijski čip koji ima "najveći kapacitet do sada" za veštačku inteligenciju (AI)."
Ni blizu tačno, najjači čip sa najviše jezgara i najviše memorije i najveće brzine je Cerebras WSE-2, koji ima 850.000 jezgara, 2600 milijardi tranzistora, nekih 40GB keša sa brzinom protoka od 20 petabita u sekundi.
Samo jedan taj čip omogućava treniranje LLM do 120.000 milijardi parametara, a nude sisteme sa do maksimalno 192 ovakva čipa, s tim da je 16 dovoljno za većinu NLP modela.
Postoji mogućnost iznajmljivanja servisa kod Cirrascale Cloud Services, na kome za oko 2500$ možete da istrenirate ChatGPT-3 za samo 10 sati, dok je za model sa 70 milijardi parametara potrebno čak 85 dana i koštalo bi oko 2.5 miliona dolara.
Na žalost, treniranje velikih jezičkih modela za bilo kakvu realnu primenu sada je u rukama samo nekoliko kompanija i startapova, svi ostali su izbačeni iz igre i mogu samo da se igraju nekim manjim modelima tražeći malo brže algoritme ili kvalitetnije modele, koji će opet za realnu primenu moći da se treniraju samo kod ovih nekoliko kompanija i startapova.
(Veliki brat, 1. mart 2024 21:35)
Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 1. mart 2024 21:29)
Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 01. mart 2024 21:29)
…………………..
@Pećinko:
Pa, gde si, bre, Vonjo stari iBalegaru!? Opet si se pritajio u svom toilet-barbie-world? Moram priznati da najviše volim da čitam tvoje tourette-komentare. Iako uvek isti, nepogrešivo odišu tvojim staništem. Živ nam bio 100 godina, majstore! ;-)))
(Dart, 2. mart 2024 01:24)
Osim treniranja, bitni su i podaci sa kojima se trenira. I to ne može da prikupi svako, nego samo bogati i oni koji su u poziciji da uzimaju podatke bez pitanja, vlasnici operativnih sistema, socijalnih mreža, medicinskih ustanova i tome slično (i država naravno može da nas natera da dajemo podatke koji će nekom da korisno posluže). S druge strane, ljudski mozak nije superkompjuter a ipak efikasno trenira svoje neurone. Dakle postoji prostor za dalji napredak tih algoritama i metoda prikupljanja podataka (da se podaci i treniranje decentralizuju ali da rezultati, "znanje" se integriše kao što to ljudi rade kroz knjige itd).
(@Veliki brat, 2. mart 2024 07:19)
Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 1. mart 2024 21:29)
"Južnokorejski tehnološki gigant Samsung Electronics objavio je da je razvio novi memorijski čip koji ima "najveći kapacitet do sada" za veštačku inteligenciju (AI)."
Ni blizu tačno, najjači čip sa najviše jezgara i najviše memorije i najveće brzine je Cerebras WSE-2, koji ima 850.000 jezgara, 2600 milijardi tranzistora, nekih 40GB keša sa brzinom protoka od 20 petabita u sekundi.
Samo jedan taj čip omogućava treniranje LLM do 120.000 milijardi parametara, a nude sisteme sa do maksimalno 192 ovakva čipa, s tim da je 16 dovoljno za većinu NLP modela.
Postoji mogućnost iznajmljivanja servisa kod Cirrascale Cloud Services, na kome za oko 2500$ možete da istrenirate ChatGPT-3 za samo 10 sati, dok je za model sa 70 milijardi parametara potrebno čak 85 dana i koštalo bi oko 2.5 miliona dolara.
Na žalost, treniranje velikih jezičkih modela za bilo kakvu realnu primenu sada je u rukama samo nekoliko kompanija i startapova, svi ostali su izbačeni iz igre i mogu samo da se igraju nekim manjim modelima tražeći malo brže algoritme ili kvalitetnije modele, koji će opet za realnu primenu moći da se treniraju samo kod ovih nekoliko kompanija i startapova.
(Veliki brat, 1. mart 2024 21:35)
Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 01. mart 2024 21:29)
…………………..
@Pećinko:
Pa, gde si, bre, Vonjo stari iBalegaru!? Opet si se pritajio u svom toilet-barbie-world? Moram priznati da najviše volim da čitam tvoje tourette-komentare. Iako uvek isti, nepogrešivo odišu tvojim staništem. Živ nam bio 100 godina, majstore! ;-)))
(Dart, 2. mart 2024 01:24)
Osim treniranja, bitni su i podaci sa kojima se trenira. I to ne može da prikupi svako, nego samo bogati i oni koji su u poziciji da uzimaju podatke bez pitanja, vlasnici operativnih sistema, socijalnih mreža, medicinskih ustanova i tome slično (i država naravno može da nas natera da dajemo podatke koji će nekom da korisno posluže). S druge strane, ljudski mozak nije superkompjuter a ipak efikasno trenira svoje neurone. Dakle postoji prostor za dalji napredak tih algoritama i metoda prikupljanja podataka (da se podaci i treniranje decentralizuju ali da rezultati, "znanje" se integriše kao što to ljudi rade kroz knjige itd).
(@Veliki brat, 2. mart 2024 07:19)
