BlazingSQL маалыматтарды иштеп чыгууну тездетүү үчүн GPUS колдонуу үчүн баштапкы кодун чыгарды

Жаңы ачык булактуу долбоор аналитиканы кийинки баскычка көтөрүүнү каалайт жана бул артта турган адамдар BlazingSQL жакында SQL кыймылдаткычынын баштапкы кодун чыгаргандыгын жарыялады, маалыматтарды иштетүүнү тездетүү үчүн GPUларда колдонулат. BlazingSQL толук МББ эмес, бирок ал чоң маалымат топтомдорун талдоо жана иштеп чыгуу үчүн кыймылдаткыч катары жайгаштырылган, аны Apache Spark менен салыштырууга болот.

BlazingSQLди билбегендер муну билиши керек бул RAPIDS экосистемасында курулган GPU тездетилген SQL кыймылдаткычы бул ачык булактуу программалык китепканалардын жыйындысы, бул GPU'ларда аналитика жана маалымат илим түтүктөрүн иштетүү.

Команданын айтымында, BlazingSQL колдонуучулар ири жыйындарда иштөөдө туш болгон чыгымдарды, татаалдыкты жана жай темпти чечүү үчүн түзүлгөн маалыматтардын. BlazingSQL таблицалык форматта сакталган чоң маалымат топтомдору (ондогон гигабайт) боюнча жеке аналитикалык сурамдарды аткарууга ылайыктуу (мисалы, журналдар, NetFlow статистикасы ж.б.).

GPU менен иштөө үчүн RAPIDS китепканалар топтому ab колдонулатАйрымдары NVIDIAнын катышуусу менен иштелип чыккан, бул GPU тарабында иштеген маалыматтарды иштеп чыгуу жана анализдөө тиркемелерин түзүүгө мүмкүндүк берет (Python интерфейси төмөнкү деңгээлдеги CUDA примитивдерин жана параллель эсептөөлөрдү колдонуу үчүн берилген).

BlazingSQL APIдин ордуна SQLди колдонууну камсыз кылат RAPIDS колдонгон cuUDF маалыматты иштетүү (Apache Arrowдун негизинде). BlazingSQL - бул cuDF үстүндө иштөөчү жана дисктен маалыматтарды окуу үчүн cuIO китепканасын колдонгон кошумча катмар.

SQL сурамдары маалыматтарды GPUга жүктөөгө мүмкүнчүлүк берген cuUDF функциялык чалууларга которуу жана алар боюнча бириктирүү, бириктирүү жана чыпкалоо операцияларын жүргүзүү. Миңдеген GPU таркатылган таркатылган конфигурацияларды түзүүнү колдойт.

колдонуу SQL RAPIDSти иштеп жаткан аналитикалык тутумдар менен интеграциялоого мүмкүндүк берет, жазуу процессорлору жок кошумча DBMSке маалыматтарды орточо жүктөөгө жол бербестен, RAPIDSтин бардык бөлүктөрү менен толук шайкештигин сактоо менен, иштелип жаткан функцияны SQLге которуп, cuDF деңгээлиндеги аткарууну камсыз кылат. XGBoost жана cuML китепканалары менен анализдөө жана машинаны үйрөнүү маселелерин чечүү үчүн интеграцияны колдоону камтыйт.

BlazingSQL CSV жана Apache Parquet форматындагы жалпак файлдардан суроолорду иштете алат натыйжаны түздөн-түз GPU эс тутумуна өткөрүп берүүчү HDSF жана AWS S3 сыяктуу тармактык жана булуттук системаларда жайгашкан.

GPUдагы параллелдештирүү операциялары жана тезирээк видео эс тутумун колдонуунун аркасында, BlazingSQLде суроо-талаптын аткарылышы Apache Sparkка караганда 20 эсе ылдамыраак.

BlazingSQL маалыматтар менен иштөөнү кыйла жөнөкөйлөтөт - жүздөгөн cuDF функцияларынын ордуна, бир эле SQL суроосу менен жасай аласыз.

"BlazingSQL бул кардарлардын көйгөйлөрүн укмуштай ылдам, жайылтылган SQL GPU кыймылдаткычы менен гана эмес, жөнөкөйлүккө да ынтызарлык менен көңүл бурат" деп BlazingSQLдин башкы директору Родриго Арамбуру кийинки блогунда жазган. "Бир нече сап код менен, BlazingSQL кайда болсоңуз дагы, сиздин чийки маалыматтарыңызды сурап, жана иштеп жаткан RAPIDS жана аналитика стегиңиз менен иштеше алат."

BlazingSQL колдонуучуларга GPU эс тутумунда түздөн-түз GPU DataFrame (GDF) катары корпоративдик маалымат көлүнүн маалымат топтомун сурап алууга мүмкүнчүлүк берет. GDF - GPU тиркемелеринин ортосундагы өз ара иштешүүнү колдогон долбоор. Ошондой эле жалпы GPU эс тутумунун маалымат катмарын аныктайт.

"Графикалык процессорлордогу Apache жебесин колдонуп, Dask менен интеграциялоо менен, BlazingSQL ачык булактуу иштешин кеңейтет жана маалымат ылдамдыгы экосистемасында өз ара иштешүүнүн кийинки толкунун жүргүзөт."

Кызыккандар ошону билиши керек код колдонуучулар үчүн python интерфейси менен C ++ тилинде жазылган жана ачык булагы Apache 2.0 лицензиясынын астында.

Шилтеме бул.


Макаланын мазмуну биздин принциптерге карманат редакциялык этика. Ката жөнүндө кабарлоо үчүн чыкылдатыңыз бул жерде.

Комментарий биринчи болуп

Комментарий калтырыңыз

Сиздин электрондук почта дареги жарыяланбайт.

*

*

  1. Маалыматтар үчүн жооптуу: Мигель Анхель Гатан
  2. Маалыматтын максаты: СПАМды көзөмөлдөө, комментарийлерди башкаруу.
  3. Мыйзамдуулук: Сиздин макулдугуңуз
  4. Маалыматтарды берүү: Маалыматтар үчүнчү жактарга юридикалык милдеттенмелерден тышкары билдирилбейт.
  5. Маалыматтарды сактоо: Occentus Networks (ЕС) тарабынан уюштурулган маалыматтар базасы
  6. Укуктар: Каалаган убакта маалыматыңызды чектеп, калыбына келтирип жана жок кыла аласыз.