Salah satu teknik yang paling banyak digunakan untuk membuat model AI lebih efisien, yaitu kuantisasi, memiliki batasan – dan industri mungkin akan segera mendekatinya.
Dalam konteks AI, kuantisasi mengacu pada penurunan jumlah bit – unit terkecil yang dapat diproses komputer – yang diperlukan untuk mewakili informasi. Pertimbangkan analogi ini: Ketika seseorang menanyakan waktu, Anda mungkin akan menjawab “siang” — bukan “oh dua belas ratus, satu detik, dan empat milidetik.” Itu mengkuantisasi; kedua jawaban itu benar, tetapi ada satu jawaban yang sedikit lebih tepat. Seberapa presisi yang sebenarnya Anda perlukan bergantung pada konteksnya.
Model AI terdiri dari beberapa komponen yang dapat dikuantisasi — khususnya parameter, model variabel internal yang digunakan untuk membuat prediksi atau keputusan. Ini nyaman, mengingat model melakukan jutaan penghitungan saat dijalankan. Model terkuantisasi dengan bit lebih sedikit yang mewakili parameternya tidak terlalu menuntut secara matematis, dan oleh karena itu secara komputasi. (Untuk lebih jelasnya, ini adalah proses yang berbeda dari “penyulingan”, yang merupakan pemangkasan parameter yang lebih melibatkan dan selektif.)
Namun kuantisasi mungkin memiliki lebih banyak trade-off daripada yang diperkirakan sebelumnya.
Model yang terus menyusut
Menurut a belajar dari para peneliti di Harvard, Stanford, MIT, Databricks, dan Carnegie Mellon, kinerja model terkuantisasi akan lebih buruk jika versi model asli yang tidak terkuantisasi dilatih dalam jangka waktu lama pada banyak data. Dengan kata lain, pada titik tertentu, mungkin lebih baik melatih model yang lebih kecil daripada membuat model yang besar.
Hal ini bisa menjadi berita buruk bagi perusahaan AI yang melatih model yang sangat besar (dikenal dapat meningkatkan kualitas jawaban) dan kemudian mengkuantisasi model tersebut dalam upaya menjadikannya lebih murah untuk dilayani.
Dampaknya sudah terlihat. Beberapa bulan yang lalu, pengembang Dan akademisi melaporkan bahwa mengkuantisasi Meta Lama 3 Model ini cenderung “lebih berbahaya” dibandingkan model lainnya, hal ini mungkin disebabkan oleh cara model tersebut dilatih.
“Menurut pendapat saya, kerugian nomor satu bagi semua orang dalam AI adalah dan akan terus terjadi pada inferensi, dan penelitian kami menunjukkan bahwa satu cara penting untuk menguranginya tidak akan berhasil selamanya,” Tanishq Kumar, seorang mahasiswa matematika Harvard dan penulis pertama penelitian tersebut kertas, kata TechCrunch.
Bertentangan dengan kepercayaan umum, model AI menyimpulkan — menjalankan model, seperti kapan ObrolanGPT menjawab pertanyaan — seringkali lebih mahal secara keseluruhan dibandingkan pelatihan model. Misalnya, Google menghabiskan dana sebesar diperkirakan $191 juta untuk melatih salah satu andalannya Gemini model – tentu saja merupakan jumlah yang sangat besar. Namun jika perusahaan menggunakan model untuk menghasilkan jawaban 50 kata saja terhadap setengah dari seluruh kueri Google Penelusuran, perusahaan tersebut akan menghabiskan biaya sebesar dengan kasar $6 miliar per tahun.
Laboratorium AI besar telah menerapkan model pelatihan pada kumpulan data yang sangat besar dengan asumsi bahwa “peningkatan” – meningkatkan jumlah data dan komputasi yang digunakan dalam pelatihan – akan menghasilkan AI yang semakin mampu.
Misalnya, Meta melatih Llama 3 dengan 15 triliun token. (Token mewakili bit data mentah; 1 juta token sama dengan sekitar 750.000 kata.) Generasi sebelumnya, Llama 2, dilatih “hanya” 2 triliun token. Pada awal Desember, Meta merilis model baru, Llama 3.3 70Byang menurut perusahaan “meningkatkan kinerja inti dengan biaya yang jauh lebih rendah.”
Bukti menunjukkan bahwa peningkatan skala pada akhirnya memberikan hasil yang semakin berkurang; Antropik dan Google dilaporkan baru-baru ini melatih model-model besar yang tidak memenuhi ekspektasi benchmark internal. Namun tidak ada tanda-tanda bahwa industri ini siap untuk beralih dari pendekatan penskalaan yang sudah mengakar ini.
Seberapa tepatnya?
Jadi, jika laboratorium enggan melatih model pada kumpulan data yang lebih kecil, adakah cara agar model tidak terlalu rentan terhadap degradasi? Mungkin. Kumar mengatakan bahwa dia dan rekan penulisnya menemukan bahwa model pelatihan dengan “presisi rendah” dapat membuatnya lebih kuat. Bersabarlah bersama kami sejenak saat kami menyelaminya sedikit.
“Presisi” di sini mengacu pada jumlah digit yang dapat diwakili oleh tipe data numerik secara akurat. Tipe data adalah kumpulan nilai data, biasanya ditentukan oleh sekumpulan nilai yang mungkin dan operasi yang diperbolehkan; tipe data FP8, misalnya, hanya menggunakan 8 bit untuk mewakili a angka floating-point.
Sebagian besar model saat ini dilatih pada 16-bit atau “setengah presisi” dan “terkuantisasi pasca-pelatihan” hingga presisi 8-bit. Komponen model tertentu (misalnya parameternya) dikonversi ke format presisi lebih rendah dengan mengorbankan akurasi tertentu. Anggap saja seperti menghitung beberapa desimal tetapi kemudian membulatkannya ke 10 terdekat, sering kali memberikan Anda yang terbaik dari kedua dunia.
Vendor perangkat keras seperti Nvidia mendorong presisi yang lebih rendah untuk inferensi model terkuantisasi. Chip Blackwell baru dari perusahaan mendukung presisi 4-bit, khususnya tipe data yang disebut FP4; Nvidia menyatakan hal ini sebagai keuntungan bagi pusat data yang memorinya terbatas dan dayanya terbatas.
Namun presisi kuantisasi yang sangat rendah mungkin tidak diinginkan. Menurut Kumar, kecuali model aslinya sangat besar dalam hal jumlah parameternya, presisi yang lebih rendah dari 7 atau 8-bit mungkin akan mengalami penurunan kualitas yang nyata.
Jika semua ini tampak sedikit teknis, jangan khawatir — itu benar. Namun kesimpulannya adalah model AI belum sepenuhnya dipahami, dan pintasan yang diketahui dapat digunakan dalam berbagai jenis komputasi tidak berfungsi di sini. Anda tidak akan mengatakan “siang” jika seseorang bertanya kapan mereka memulai lari 100 meter, bukan? Tentu saja hal ini tidak begitu jelas, tetapi idenya tetap sama:
“Poin utama dari pekerjaan kami adalah bahwa ada batasan-batasan yang tidak dapat Anda atasi begitu saja,” Kumar menyimpulkan. “Kami berharap pekerjaan kami menambah nuansa pada diskusi yang sering kali mencari standar presisi yang semakin rendah untuk pelatihan dan inferensi.”
Kumar mengakui bahwa penelitiannya dan rekan-rekannya berada pada skala yang relatif kecil – mereka berencana untuk mengujinya dengan lebih banyak model di masa depan. Namun dia yakin bahwa setidaknya ada satu pemahaman yang bisa diterapkan: Tidak ada makan siang gratis dalam hal mengurangi biaya inferensi.
“Ketepatan sedikit itu penting, dan itu tidak gratis,” katanya. “Anda tidak dapat menguranginya selamanya tanpa model menderita. Model memiliki kapasitas yang terbatas, jadi daripada mencoba memasukkan kuadriliun token ke dalam model kecil, menurut pendapat saya, lebih banyak upaya akan dilakukan untuk kurasi dan pemfilteran data yang cermat, sehingga hanya data dengan kualitas terbaik yang dimasukkan ke dalam model yang lebih kecil. Saya optimis bahwa arsitektur baru yang bertujuan untuk membuat pelatihan presisi rendah menjadi stabil akan menjadi penting di masa depan.”
Cerita ini awalnya diterbitkan pada 17 November 2024, dan diperbarui pada 23 Desember dengan informasi baru.
ADVERTISEMENT:
Hello, para pencinta slots pernahkah denger semboyan “slot gaco”? Kalau tidak, bersiaplah jatuh cinta sama program ini. slot gacor merupakan mesin slot yang sering kasih kemenangan. Ya, slot-slot ini bisa disebut adalah andalannya buat bawa come back cuan. tapi, cemana sih caranya nemuin slot demo yang tepat? Tenang Bro, kita bahas santai aja di tempat ini
Permainan terpopuler saat ini hanya satu di Indonesia yaitu akan memberikan imbal hasil terbesar
Daftar dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
adipatislot88 permainan paling top dan garansi imbal balik hasil besar bersama adipatislot88.org
akartoto88 permainan paling top dan garansi imbal balik hasil besar bersama akartoto88.biz
allototo88 permainan paling top dan garansi imbal balik hasil besar bersama allototo88.com
alototo88 permainan paling top dan garansi imbal balik hasil besar bersama alototo88.com
an77 permainan paling top dan garansi imbal balik hasil besar bersama an77.biz
an88 permainan paling top dan garansi imbal balik hasil besar bersama an88.net
grandhyatt88 permainan paling top dan garansi imbal balik hasil besar bersama grandhyatt88.com
awan88 permainan paling top dan garansi imbal balik hasil besar bersama awan88.org
banteng88 permainan paling top dan garansi imbal balik hasil besar bersama banteng88.biz
banteng96 permainan paling top dan garansi imbal balik hasil besar bersama banteng96.com
bibir66 permainan paling top dan garansi imbal balik hasil besar bersama bibir66.com
bibir88 permainan paling top dan garansi imbal balik hasil besar bersama bibir88.biz
bocor888 permainan paling top dan garansi imbal balik hasil besar bersama bocor888.biz
boswin888 permainan paling top dan garansi imbal balik hasil besar bersama boswin888.asia
canda88 permainan paling top dan garansi imbal balik hasil besar bersama canda88.org
candatoto permainan paling top dan garansi imbal balik hasil besar bersama candatoto.net
cinta888 permainan paling top dan garansi imbal balik hasil besar bersama cinta888.biz
dalang88 permainan paling top dan garansi imbal balik hasil besar bersama dalang88.info
dalang96 permainan paling top dan garansi imbal balik hasil besar bersama dalang96.org
dinojp88 permainan paling top dan garansi imbal balik hasil besar bersama dinojp88.com
dragon22 permainan paling top dan garansi imbal balik hasil besar bersama dragon22.asia
eyangslot88 permainan paling top dan garansi imbal balik hasil besar bersama eyangslot88.biz
f77bet permainan paling top dan garansi imbal balik hasil besar bersama f77bet.net
f88bet permainan paling top dan garansi imbal balik hasil besar bersama f88bet.asia
haha88 permainan paling top dan garansi imbal balik hasil besar bersama haha88.asia
heroslot888 permainan paling top dan garansi imbal balik hasil besar bersama heroslot888.info
hiwin88 permainan paling top dan garansi imbal balik hasil besar bersama hiwin88.org
hoki222 permainan paling top dan garansi imbal balik hasil besar bersama hoki222.biz
hot99 permainan paling top dan garansi imbal balik hasil besar bersama hot99.info
hotliga88 permainan paling top dan garansi imbal balik hasil besar bersama hotliga88.com
hut88 permainan paling top dan garansi imbal balik hasil besar bersama hut88.info
inajp88 permainan paling top dan garansi imbal balik hasil besar bersama inajp88.net
istanaslot88 permainan paling top dan garansi imbal balik hasil besar bersama istanaslot88.biz
jawatogel88 permainan paling top dan garansi imbal balik hasil besar bersama jawatogel88.com
jayatogel88 permainan paling top dan garansi imbal balik hasil besar bersama jayatogel88.info
jengkol88 permainan paling top dan garansi imbal balik hasil besar bersama jengkol88.info
jeniustoto88 permainan paling top dan garansi imbal balik hasil besar bersama jeniustoto88.org
kakakslot888 permainan paling top dan garansi imbal balik hasil besar bersama kakakslot888.net
kakaslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakaslot88.biz
keltoto88 permainan paling top dan garansi imbal balik hasil besar bersama keltoto88.com
kera33 permainan paling top dan garansi imbal balik hasil besar bersama kera33.com
kera88 permainan paling top dan garansi imbal balik hasil besar bersama kera88.biz
keraktelor permainan paling top dan garansi imbal balik hasil besar bersama keraktelor.org
kuliner88 permainan paling top dan garansi imbal balik hasil besar bersama kuliner88.org
lengkatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lengkatoto88.com
lexitoto88 permainan paling top dan garansi imbal balik hasil besar bersama lexitoto88.net
mahkotajitu88 permainan paling top dan garansi imbal balik hasil besar bersama mahkotajitu88.com
maincuan88 permainan paling top dan garansi imbal balik hasil besar bersama maincuan88.com
menangbet88 permainan paling top dan garansi imbal balik hasil besar bersama menangbet88.asia
menutogel88 permainan paling top dan garansi imbal balik hasil besar bersama menutogel88.com
merdeka88 permainan paling top dan garansi imbal balik hasil besar bersama merdeka88.biz
merdekatoto88 permainan paling top dan garansi imbal balik hasil besar bersama merdekatoto88.info
metrototo permainan paling top dan garansi imbal balik hasil besar bersama metrototo.biz
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.biz
ml88 permainan paling top dan garansi imbal balik hasil besar bersama ml88.net
monas777 permainan paling top dan garansi imbal balik hasil besar bersama monas777.info
monas88 permainan paling top dan garansi imbal balik hasil besar bersama monas88.biz
moris88 permainan paling top dan garansi imbal balik hasil besar bersama moris88.org
nastartoto88 permainan paling top dan garansi imbal balik hasil besar bersama nastartoto88.com
newslot888 permainan paling top dan garansi imbal balik hasil besar bersama newslot888.biz
ngopibet88 permainan paling top dan garansi imbal balik hasil besar bersama ngopibet88.org
omset88 permainan paling top dan garansi imbal balik hasil besar bersama omset88.com
pajaktoto88 permainan paling top dan garansi imbal balik hasil besar bersama pajaktoto88.biz
pc77 permainan paling top dan garansi imbal balik hasil besar bersama pc77.net
pc88 permainan paling top dan garansi imbal balik hasil besar bersama pc88.biz
pin88 permainan paling top dan garansi imbal balik hasil besar bersama pin88.asia
pintoto permainan paling top dan garansi imbal balik hasil besar bersama pintoto.info
pmg888 permainan paling top dan garansi imbal balik hasil besar bersama pmg888.biz
pohon88 permainan paling top dan garansi imbal balik hasil besar bersama pohon88.biz
pulsa77 permainan paling top dan garansi imbal balik hasil besar bersama pulsa77.biz
pulsa88 permainan paling top dan garansi imbal balik hasil besar bersama pulsa88.biz
puma888 permainan paling top dan garansi imbal balik hasil besar bersama puma888.info
pusakajitu88 permainan paling top dan garansi imbal balik hasil besar bersama pusakajitu88.com
qqhok88 permainan paling top dan garansi imbal balik hasil besar bersama qqhok88.org
rapi88 permainan paling top dan garansi imbal balik hasil besar bersama rapi88.info
rt88 permainan paling top dan garansi imbal balik hasil besar bersama rt88.info
rupiahtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rupiahtoto88.asia
s88bet permainan paling top dan garansi imbal balik hasil besar bersama s88bet.org
serba88 permainan paling top dan garansi imbal balik hasil besar bersama serba88.biz
sibukslot88 permainan paling top dan garansi imbal balik hasil besar bersama sibukslot88.com
sinardunia888 permainan paling top dan garansi imbal balik hasil besar bersama sinardunia888.com
sinartogel88 permainan paling top dan garansi imbal balik hasil besar bersama sinartogel88.biz
sloki888 permainan paling top dan garansi imbal balik hasil besar bersama sloki888.info
slotplay88 permainan paling top dan garansi imbal balik hasil besar bersama slotplay88.biz
sp77 permainan paling top dan garansi imbal balik hasil besar bersama sp77.biz
sp88 permainan paling top dan garansi imbal balik hasil besar bersama sp88.org
sparta888 permainan paling top dan garansi imbal balik hasil besar bersama sparta888.co
sukaslot888 permainan paling top dan garansi imbal balik hasil besar bersama sukaslot888.info
sule999 permainan paling top dan garansi imbal balik hasil besar bersama sule999.net
sultanjp88 permainan paling top dan garansi imbal balik hasil besar bersama sultanjp88.com
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama teluk88.biz
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama teluk88.info
tikitoto88 permainan paling top dan garansi imbal balik hasil besar bersama tikitoto88.org
togelsumo88 permainan paling top dan garansi imbal balik hasil besar bersama togelsumo88.com
ultra77 permainan paling top dan garansi imbal balik hasil besar bersama ultra77.biz
userslot88 permainan paling top dan garansi imbal balik hasil besar bersama userslot88.biz
uya88 permainan paling top dan garansi imbal balik hasil besar bersama uya88.biz
uyatoto permainan paling top dan garansi imbal balik hasil besar bersama uyatoto.com
vegasslot777 permainan paling top dan garansi imbal balik hasil besar bersama vegasslot777.asia
vegasslot88 permainan paling top dan garansi imbal balik hasil besar bersama vegasslot88.asia
wajik88 permainan paling top dan garansi imbal balik hasil besar bersama wajik88.asia