I tukuna e ratou te waehere puna o Whisper, he punaha mohio korero aunoa

fanafana

Ko Whisper he punaha whakamohio korero aunoa

Ko te kaupapa i tata nei OpenAI, e whakawhanake kaupapa tūmatanui i roto i te mara o te mohio horihori, kua whakaputa korero e pā ana ki te pūnaha āhukahuka reo muhumuhu, ko te a pūnaha āhukahuka reo aunoa (ASR) i whakangungua i runga i te 680.000 haora o nga raraunga maha, maha nga mahi maataki i kohia mai i te ipurangi.

E kiia ana mo te whaikorero Ingarihi, ka whakawhiwhia e te punaha nga taumata o te pono me te tika o te mohiotanga aunoa tata ki te mohiotanga tangata.

E whakaatu ana matou ko te whakamahi i taua huingararaunga nui me te kanorau ka nui ake te pakari ki nga nako, haruru papamuri, me te reo hangarau. I tua atu, ka taea te tuhi ki nga reo rereke, me te whakamaoritanga o aua reo ki te reo Ingarihi. He tauira puna tuwhera matou me te waehere whakatau ka noho hei turanga mo te hanga tono whaihua me te rangahau a meake nei mo te tukatuka korero pakari.

Mo te tauira (penei kua korerohia) i whakangungua ma te whakamahi 680 haora o nga raraunga reo i kohia mai i nga kohinga maha e kapi ana i nga reo rereke me nga waahanga kaupapa. Tata ki te 1/3 o nga raraunga reo e uru ana ki te whakangungu kei roto i nga reo ke atu i te reo Ingarihi.

Te punaha kua whakaarohia te whakahaere tika i nga ahuatanga penei i te whakahua whakahua, te aroaro o te haruru papamuri me te whakamahi i nga kupu hangarau. I tua atu i te tuhi korero ki roto i te tuhinga, ka taea hoki e te punaha te whakamaori i te whaikorero mai i te reo kore noa ki te reo Ingarihi me te kite i te ahua o te whaikorero i te awa ororongo.

Ka whakangunguhia nga tauira i roto i nga whakaaturanga e rua: he tauira mo te reo Ingarihi me te tauira reo maha e tautoko ana i te reo Spanish, Russian, Italian, German, Japanese, Ukrainian, Belarusian, Chinese, me etahi atu reo. Ka huri, ka wehewehea ia tirohanga ki nga whiringa 5, he rereke te rahi me te maha o nga tawhā kua hipokina ki te tauira.

Ko te hoahoanga Whisper he huarahi mutunga-ki-mutunga ngawari, i whakatinanahia hei kaihurihuri-whakawaehere. Ka wehea te ororongo whakauru ki nga wahanga 30-hekona, ka huri ki te tohutoro-log-Mel, ka tukuna ki te encoder. Kua whakangungua te kaiwhakawaehere ki te matapae i te kupu hauraro e pa ana, ka uru ki nga tohu motuhake e arahi ana i te tauira ahurei ki te mahi i nga mahi penei i te tautuhi reo, nga tohu tohu rerenga rerenga korero, te whakamaoritanga korero reo maha, me te whakamaoritanga korero ki te reo Ingarihi.

Ko te nui ake o te rahi, ko te teitei ake o te mohio me te kounga, engari ko nga whakaritenga mo te rahi o te mahara ataata GPU me te iti ake o te mahi. Hei tauira, kei roto i te waahanga iti rawa te 39 miriona tawhā me te 1 GB o te mahara ataata, i te mea ko te whiringa teitei kei roto i te 1550 piriona nga taapiri me te 10 GB o te mahara ataata. Ko te momo rereke iti he 32 nga wa tere atu i te morahi.

Ka whakamahia e te punaha te hoahoanga whatunga neural "Transformer", kei roto he encoder me te wetewaehere e pahekoheko ana tetahi ki tetahi. Ka wehea te oro ki nga wahanga 30-hekona, ka huri ki te tohutoro-log-Mel ka tukuna ki te encoder.

Ko te hua o te mahi a te kaiwhakawaehere ka tukuna ki te kaiwhakawaehere, e matapae ana i te ahua o te tuhinga i konatunatua ki nga tohu motuhake e taea ai te whakaoti i nga mahi penei i te rapunga reo, te whakahuatanga o nga rerenga korero o te waa kaute, te tuhi korero i roto i nga reo rereke me te whakamaoritanga Ingarihi i roto i te tauira whanui.

He mea tika kia whakahuahia he rerekee te mahi a Whisper i runga i te reo, no reira ko te mea e whakaatu ana i te maaramatanga pai ake ko te reo Ingarihi, e wha noa nga putanga i te reo Ingarihi, he rite ki era atu tauira o etahi atu reo, he pai me nga ngoikoretanga o te reo. tere me te tika.

Finalmente Mena kei te hiahia koe ki te mohio atu mo tenei, ka taea e koe te tirotiro i te whakaputanga taketake i roto i tenei hononga, ahakoa kei te pirangi koe ki te waehere puna me nga tauira kua whakangungua ka taea e koe te korero ki a raatau tenei hono

Ko te waehere whakatinana tohutoro i runga i te anga PyTorch me te huinga tauira kua oti te whakangungu kua tuwhera, kua rite ki te whakamahi. Ko te waehere he puna tuwhera i raro i te raihana MIT a he mea tika kia whakahuahia ko te whakamahinga o te whare pukapuka ffmpeg e hiahiatia ana.


Ko nga korero o te tuhinga e piri ana ki o maatau kaupapa o matatika whakatika. Ki te ripoata i tetahi paatene paato Here.

Hei tuatahi ki te korero

Waiho to korero

Ka kore e whakaputaina tō wāhitau īmēra.

*

*

  1. He kawenga mo nga raraunga: Miguel Ángel Gatón
  2. Te kaupapa o te raraunga: Whakahaerehia te SPAM, te whakahaere korero.
  3. Ture: To whakaae
  4. Whakawhitinga korero: Kaore nga korero e tukuna ki nga taha tuatoru engari ma te ture herenga.
  5. Rokiroki raraunga: Paetukutuku e whakahaerehia ana e Occentus Networks (EU)
  6. Tika: I nga wa katoa ka taea e koe te whakaiti, te whakaora me te muku i o korero.