spaCy, he wharepukapuka tukatuka reo maori

I hurahia e te pahūtanga AI te whakarewatanga o te putanga hou o te wharepukapuka koreutu «SpaCyTuhinga ka whai mai hātepe tukatuka reo tūturu (NLP). I roto i te mahi, ka taea te whakamahi i te kaupapa ki te hanga i nga kaikawe whakautu korero, potae, whakariterite tuhinga, me ng momo momo momo krero e whakatau ana i te tikanga o ng krero.

Whare Pukapuka kua hoahoahia kia whakarato i tetahi API pumau Kaore i te hono atu ki nga algorithms e whakamahia ana, kua rite hoki ki te whakamahi i nga hua tuuturu. Whare Pukapuka whakamahi i nga ahunga whakamua hou o te NLP me nga algorithms tino whaihua e waatea ana ki te tukatuka korero.

Mena he pai ake te mahi algorithm ka puta, ka tukuna te wharepukapuka ki a ia, engari kaore tenei awangawanga e pa ki te API me nga tono ranei.

He ahuatanga o te spaCy he hoahoanga hoki kua hangaia hei tukatuka tuhinga katoa, me te kore e whai waahi ki nga kaitautoko o mua ka wehe i te tuhinga ki nga rerenga korero. E rua nga putanga e whakaatuhia ana nga tauira: mo te hua nui me te tino tika.

Nga ahuatanga nui o te spaCy:

  • Tautoko mo te 60 o nga reo.
  • Kua oti nga tauira kua whakangunguhia kia waatea mo nga momo reo me nga tono.
  • Akoranga maha mahi ma te whakamahi i nga kaiwhakawhiti kua whakangunguhia i mua atu penei i te BERT (Tono Whakahoahoa Whakahoahoa o nga Huringa).
  • Te tautoko mo nga kaitauraro whakangungu-a-tuhi me nga whakaurunga kupu.
  • Mahi nui.
  • Rite-ki-te whakamahi tauira tauira whakangungu-mahi-mahi.
  • Te whakatairanga i te reo.
  • Kei te waatea nga waahanga kua rite mo te hono i nga hinonga ingoa, te tohu i nga waahanga o te whaikorero, te whakariterite i te tuhinga, te wetewete i te whakawhirinaki a-tohu, te wehe i nga rerenga, te tohu i nga waahanga korero, te wetewete i nga taatai, te whakatakoto, etc.
  • Tautoko mo te whakawhānui ake i nga mahi me nga waahanga ritenga me nga huanga.
  • Tautoko ki te hanga i o ake tauira i runga i te PyTorch, TensorFlow me etahi atu anga.
  • Nga taputapu kua hangaia hei hanga i te Whakauru Hinonga me te Tirohanga Ataata (NER, Whakaaetanga Hinonga).
  • Tukanga maamaa mo te takai me te tohatoha tauira me te whakahaere rerengamahi.
  • Tika teitei.

Whare Pukapuka kua tuhia ki te Python me nga timatanga o te Cython, he toronga Python e ahei ai te karanga totika i te reo C.

Te waehere kaupapa ka tohaina i raro i te raihana MIT. Kua rite nga tauira reo mo nga reo 58.

Mo te waahanga hou o spaCy 3.0

Ko te putanga spaCy 3.0 e tu ana mo te whakatinanatanga o tauira whanau whakangunguhia mo 18 nga reo me 59 nga paipa i whakangunguhia i te katoa, tae atu ki nga paipa hou e 5 e hangai ana ki te huringa

E toru nga putanga e whakaatuhia ana te tauira (16 MB, 41 MB - 20 mano tohu me 491 MB - 500 mano tohu) me te papaitia kia pai te mahi i raro i te kawenga PTM me te tok2vec, morphologizer, parser, senter, ner, atribut_ruler, me nga waahanga lemmatizer.

Kua neke atu i te kotahi tau ta maatau mahi i te spaCy v3.0, tata ki te rua tau mena ka tatau koe i nga mahi katoa i mahia i runga i te Thinc. Ko ta maatau whainga nui me te whakarewatanga kia maama ake te kawe mai i o tauira ki SPACY, ina koa ko nga tauira o te ao penei i nga panoni. Ka taea e koe te tuhi i nga tauira hei whangai i nga waahanga spaCy ki nga anga penei i te PyTorch me te TensorFlow, ma te whakamahi i ta maatau punaha whakarite hou hei whakaahua i o tautuhinga katoa. Ana na te mea he maha nga taahiraa o nga rerengamahi NLP hou, he punaha reremahi hou hei awhina i a koe ki te whakariterite i o mahi.

Ko etahi atu whakahoutanga nui tu ke mai i te putanga hou:

  • He rerengamahi hou mo nga tauira whakangungu.
  • Punaha whakarite hou.
  • He tautoko mo nga tauira paipa hangai-whakarereke, e tika ana hei ako i te maha.
  • Te kaha ki te hono i o ake tauira ma te whakamahi i nga anga ako miihini, penei i te PyTorch, TensorFlow, me te MXNet.
  • Tautoko Kaupapa ki te whakahaere i nga waahanga rerengamahi katoa, mai i te tukatuka-o-mua ki te tauira tauira.
  • He tautoko mo te whakaurunga ki te Mana Putanga Rawa (DVC), Streamlit, Taumaha & Taihara me te kohinga Ray.
  • Nga waahanga hou-a-roto: RaupaputangaRecognizer, Morphologizer, Lemmatizer,
  • Kaiwhakahaere Huanga me te Panoni.
  • API Hou hei hanga i o waahanga.

Hei whakamutunga, mena kei te hiahia koe ki te mohio atu mo tenei mea o tenei waahanga hou mo te spaCy ranei, ka taea e koe te tirotiro i nga korero taipitopito I roto i te hono e whai ake nei.


Ko nga korero o te tuhinga e piri ana ki o maatau kaupapa o matatika whakatika. Ki te ripoata i tetahi paatene paato Here.

Hei tuatahi ki te korero

Waiho to korero

Ka kore e whakaputaina tō wāhitau īmēra. Kua tohua ngā āpure e hiahiatia ana ki *

*

*

  1. He kawenga mo nga raraunga: Miguel Ángel Gatón
  2. Te kaupapa o te raraunga: Whakahaerehia te SPAM, te whakahaere korero.
  3. Ture: To whakaae
  4. Whakawhitinga korero: Kaore nga korero e tukuna ki nga taha tuatoru engari ma te ture herenga.
  5. Rokiroki raraunga: Paetukutuku e whakahaerehia ana e Occentus Networks (EU)
  6. Tika: I nga wa katoa ka taea e koe te whakaiti, te whakaora me te muku i o korero.