GPT-4: AI ngolah basa alami OpenAI tiasa sumping engké semester ieu

Dina Méi 2020, OpenAI, perusahaan AI anu diadegkeun ku Elon Musk sareng Sam Altman, nyebarkeun GPT-3, teras ditunjukkeun salaku jaringan saraf anu hébat ayeuna. Modél basa anu canggih, GPT-3 ngawengku 175 milyar parameter dibandingkeun jeung 1,5 milyar parameter tina miheulaan na GPT-2.

GPT-3 ngéléhkeun modél NLG Turing (Turing Natural Language Generation) ti Microsoft kalayan 17 milyar parameter anu saacanna nyepeng catetan pikeun jaringan saraf panggedéna. model basa geus marveled di, dikritik malah subjected ka scrutiny; eta oge geus kapanggih aplikasi anyar jeung metot.

Sareng ayeuna rumor geus dileupaskeun yén sékrési GPT-4, versi salajengna model basa OpenAI, bisa datang pas.

sanajan teu acan aya tanggal rilis, OpenAI parantos masihan sababaraha indikasi ngeunaan karakteristik panerusna GPT-3, anu ku seueur anu nyangka, yén GPT-4 henteu kedah langkung ageung tibatan GPT-3, tapi kedah nganggo sumber komputasi anu langkung seueur, anu bakal ngabatesan dampak lingkunganana.

Salila sési, Altman hinted yén, bertentangan jeung kapercayaan popular, GPT-4 moal model basa pangbadagna. Modelna pasti bakal langkung ageung tibatan jaringan neural generasi sateuacana, tapi ukuranana moal janten ciri khasna.

Kahiji, pausahaan geus sadar yén ngagunakeun ukuran modél salaku indikator pikeun ngaronjatkeun kinerja teu hijina atawa cara pangalusna pikeun ngalakukeunana. Dina 2020, Jared Kaplan sareng rekan-rekan di OpenAI dilaporkeun nyimpulkeun yén kinerja paling ningkat nalika paningkatan anggaran komputasi utamina dialokasikeun pikeun ningkatkeun jumlah parameter, saatos hubungan kakuatan-hukum. Google, Nvidia, Microsoft, OpenAI, DeepMind, sareng perusahaan-perusahaan sanés anu ngembangkeun modél basa parantos nyandak pedoman ieu dina nilai nominal.

Tapi MT-NLG (Megatron-Turing NLG, jaringan neural diwangun ku Nvidia jeung Microsoft taun ka tukang kalawan 530 milyar parameter), hébat sakumaha anu kasebut, teu pangalusna lamun datang ka kinerja. Nyatana, éta henteu dipeunteun pangsaéna dina kategori patokan mana waé. Model anu langkung alit sapertos Gopher atanapi Chinchilla (70 milyar parameter), ngan ukur sakedik ukuranana, bakal langkung saé tibatan MT-NLG dina sadaya tugas. Ku kituna, janten jelas yén ukuran model teu hijina faktor nu ngakibatkeun pamahaman hadé ngeunaan basa.

Numutkeun Altman, modél basa ngalaman watesan kritis. lamun datang ka optimasi. Pelatihan bakal mahal pisan sahingga perusahaan kedah kompromi antara akurasi sareng biaya. Ieu sering ngakibatkeun model anu kirang dioptimalkeun.

CEO dilaporkeun yén GPT-3 ieu dilatih ngan sakali, sanajan sababaraha kasalahan anu dina kasus séjén bakal ngakibatkeun palatihan balik. Kusabab ieu, OpenAI dilaporkeun mutuskeun ngalawan éta kusabab biaya anu teu kaétang, anu nyegah panaliti milarian set hiperparameter pangsaéna pikeun modél éta.

Konsékuansi séjén tina biaya latihan anu luhur nyaéta nganalisa paripolah modél bakal diwatesan. Numutkeun hiji laporan, nalika peneliti AI menyimpulkan yén ukuran modél éta variabel paling relevan pikeun ngaronjatkeun kinerja, aranjeunna henteu nganggap jumlah tokens latihan, nyaeta, jumlah data disadiakeun pikeun model. Ieu bakal merlukeun jumlah luar biasa sumberdaya komputasi. Perusahaan téknologi dilaporkeun nuturkeun panemuan panaliti sabab éta anu pangsaéna.

Altman ceuk nu GPT-4 bakal ngagunakeun leuwih loba itungan ti miheulaan na. OpenAI diharepkeun bakal nerapkeun gagasan nu patali jeung optimasi di GPT-4, sanajan sabaraha extent teu bisa diprediksi sakumaha anggaran na teu kanyahoan.

Sanajan kitu, pernyataan ti Altman nunjukkeun yén OpenAI kedah difokuskeun ngaoptimalkeun variabel sanés ukuran modél.. Milarian set hyperparameter pangsaéna, ukuran modél anu optimal, sareng jumlah parameter tiasa nyababkeun paningkatan anu luar biasa dina sadaya tolok ukur.

Numutkeun analis, sadaya prediksi pikeun modél basa bakal runtuh upami pendekatan ieu digabungkeun kana modél tunggal. Altman ogé nyebatkeun yén jalma-jalma moal percanten kumaha modél anu langkung saé tanpa kedah langkung ageung. Éta tiasa nunjukkeun yén usaha skala parantos réngsé pikeun ayeuna.

OpenAI dilaporkeun nempatkeun seueur usaha pikeun ngarengsekeun masalah alignment AI: kumaha carana ngadamel modél basa nuturkeun niat manusa sareng taat kana nilai-nilai manusa?

Analis nyebatkeun yén ieu sanés ngan ukur masalah matematika anu sesah (kumaha urang ngajantenkeun AI ngartos naon anu dipikahoyong?), tapi ogé filosofis (teu aya cara universal pikeun align AI sareng manusa, sabab variabilitas nilai manusa ti grup ka grup badag sarta mindeng conflicting).

tungtungna upami anjeun resep terang langkung seueur perkawis étaAnjeun tiasa ngarujuk kana tulisan aslina Dina tautan ieu.


Eusi tulisan taat kana prinsip urang tina étika éditorial. Pikeun ngalaporkeun kasalahan klik di dieu.

Janten kahiji komen

Ninggalkeun koméntar anjeun

email alamat anjeun moal diterbitkeun.

*

*

  1. Jawab data: Miguel Ángel Gatón
  2. Tujuan tina data: Kontrol SPAM, manajemén koméntar.
  3. Legitimasi: idin anjeun
  4. Komunikasi data: Data moal dikomunikasikan ka pihak katilu kacuali ku kawajiban hukum.
  5. Panyimpenan data: Basis data anu diayakeun ku Occentus Networks (EU)
  6. Hak: Iraha waé anjeun tiasa ngawatesan, cageur sareng mupus inpormasi anjeun.