БлазингСКЛ је објавио свој изворни код за употребу ГПУС-а за убрзање обраде података

Нови пројекат отвореног кода жели да аналитику подигне на виши ниво и то су људи који стоје иза ње БлазингСКЛ је недавно објавио да је објавио изворни код за свој СКЛ мотор, која се користи у графичким процесорима за убрзавање обраде података. БлазингСКЛ није потпун ДБМС, али је позициониран као покретач за анализу и обраду великих скупова података, који је по својим задацима упоредив са Апацхе Спарк.

Они који нису упознати са БлазингСКЛ-ом то би требали знати ово је ГПУ убрзани СКЛ механизам изграђен на РАПИДС екосистему што је скуп софтверских библиотека отвореног кода за покретање целовитих аналитичких и научних података на ГПУ-има.

Према тиму, БлазингСКЛ је створен да одговори на трошкове, сложеност и спор темпо са којима се корисници суочавају када раде у великим склоповима података. БлазингСКЛ је погодан за извршавање појединачних аналитичких упита на великим скуповима података (десетине гигабајта) који се чувају у табеларним форматима (нпр. Евиденције, НетФлов статистика итд.).

За рад са ГПУ користи се скуп РАПИДС библиотека абНеки су се развили уз укључивање НВИДИА-е, омогућавајући вам да креирате апликације за обраду и анализу података које се у потпуности изводе на страни ГПУ-а (обезбеђен је Питхон интерфејс за употребу ЦУДА примитива на ниском нивоу и паралелних прорачуна).

БлазингСКЛ пружа могућност употребе СКЛ-а уместо АПИ-ја цуУДФ обрада података (заснована на Апацхе Арров) коју користи РАПИДС. БлазингСКЛ је додатни слој који се изводи на врху цуДФ-а и користи цуИО библиотеку за читање података са диска.

СКЛ упити су превести у цуУДФ позиве функције, који омогућавају учитавање података на ГПУ и изводите операције спајања, обједињавања и филтрирања над њима. Подржава стварање дистрибуираних конфигурација које обухватају хиљаде графичких процесора.

Употреба СКЛ омогућава интеграцију РАПИДС-а са постојећим аналитичким системима без процесора писања без прибегавања посредном учитавању података у додатни ДБМС, задржавајући притом потпуну компатибилност са свим деловима РАПИДС-а, преводећи постојећу функционалност у СКЛ и осигуравајући перформансе на нивоу цуДФ. Укључује подршку за интеграцију са КСГБоост и цуМЛ библиотекама за решавање задатака анализе и машинског учења.

БлазингСКЛ може да покреће упите из равних датотека у форматима ЦСВ и Апацхе Паркует смештен у мрежним системима и системима у облаку као што су ХДСФ и АВС С3, директно преносећи резултат у ГПУ меморију.

Захваљујући операцијама паралелизације на ГПУ-у и употреби брже видео меморије, извршавање упита у БлазингСКЛ је и до 20 пута брже него у Апацхе Спарк-у.

БлазингСКЛ увелико поједностављује рад са подацима - уместо стотинама позива функције цуДФ, то можете учинити једним СКЛ упитом.

„БлазингСКЛ се овим забринутостима купаца обраћа не само невероватно брзим, дистрибуираним СКЛ ГПУ мотором, већ и ревним фокусом на једноставност“, написао је Родриго Арамбуру, извршни директор БлазингСКЛ-а, у следећем блогу. „Са неколико редова кода, БлазингСКЛ може да тражи ваше необрађене податке, где год да се налазе, и интероперабилан је са вашим постојећим РАПИДС-ом и аналитичким стеком.“

БлазингСКЛ омогућава корисницима да питају скупове података језера података предузећа директно у ГПУ меморији као ГПУ ДатаФраме (ГДФ). ГДФ је пројекат који нуди подршку за интероперабилност између ГПУ апликација. Такође дефинише заједнички слој података ГПУ меморије.

„Коришћењем Апацхе Арров на графичким процесорима и интеграцијом са Даск-ом, БлазингСКЛ ће проширити функционалност отвореног кода и покренути следећи талас интероперабилности у брзом екосистему науке о подацима.“

Они који су заинтересовани то би требали знати код је написан на језику Ц ++ са питхон интерфејсом за кориснике а отворени извор је под лиценцом Апацхе 2.0.

Веза је ово.


Садржај чланка се придржава наших принципа уређивачка етика. Да бисте пријавили грешку, кликните овде.

Будите први који ће коментарисати

Оставите свој коментар

Ваша емаил адреса неће бити објављена.

*

*

  1. За податке одговоран: Мигуел Ангел Гатон
  2. Сврха података: Контрола нежељене поште, управљање коментарима.
  3. Легитимација: Ваш пристанак
  4. Комуникација података: Подаци се неће преносити трећим лицима, осим по законској обавези.
  5. Похрана података: База података коју хостује Оццентус Нетворкс (ЕУ)
  6. Права: У било ком тренутку можете ограничити, опоравити и избрисати своје податке.