БлазингСКЛ је објавио свој изворни код за употребу ГПУС-а за убрзање обраде података

Нови пројекат отвореног кода жели да аналитику подигне на виши ниво и то су људи који стоје иза ње БлазингСКЛ је недавно објавио да је објавио изворни код за свој СКЛ мотор, која се користи у графичким процесорима за убрзавање обраде података. БлазингСКЛ није потпун ДБМС, али је позициониран као покретач за анализу и обраду великих скупова података, који је по својим задацима упоредив са Апацхе Спарк.

Они који нису упознати са БлазингСКЛ-ом то би требали знати ово је ГПУ убрзани СКЛ механизам изграђен на РАПИДС екосистему што је скуп софтверских библиотека отвореног кода за покретање целовитих аналитичких и научних података на ГПУ-има.

Према тиму, БлазингСКЛ је створен да одговори на трошкове, сложеност и спор темпо са којима се корисници суочавају када раде у великим склоповима података. БлазингСКЛ је погодан за извршавање појединачних аналитичких упита на великим скуповима података (десетине гигабајта) који се чувају у табеларним форматима (нпр. Евиденције, НетФлов статистика итд.).

За рад са ГПУ користи се скуп РАПИДС библиотека абНеки су се развили уз укључивање НВИДИА-е, омогућавајући вам да креирате апликације за обраду и анализу података које се у потпуности изводе на страни ГПУ-а (обезбеђен је Питхон интерфејс за употребу ЦУДА примитива на ниском нивоу и паралелних прорачуна).

БлазингСКЛ пружа могућност употребе СКЛ-а уместо АПИ-ја цуУДФ обрада података (заснована на Апацхе Арров) коју користи РАПИДС. БлазингСКЛ је додатни слој који се изводи на врху цуДФ-а и користи цуИО библиотеку за читање података са диска.

СКЛ упити су превести у цуУДФ позиве функције, који омогућавају учитавање података на ГПУ и изводите операције спајања, обједињавања и филтрирања над њима. Подржава стварање дистрибуираних конфигурација које обухватају хиљаде графичких процесора.

Употреба СКЛ омогућава интеграцију РАПИДС-а са постојећим аналитичким системима без процесора писања без прибегавања посредном учитавању података у додатни ДБМС, задржавајући притом потпуну компатибилност са свим деловима РАПИДС-а, преводећи постојећу функционалност у СКЛ и осигуравајући перформансе на нивоу цуДФ. Укључује подршку за интеграцију са КСГБоост и цуМЛ библиотекама за решавање задатака анализе и машинског учења.

БлазингСКЛ може да покреће упите из равних датотека у форматима ЦСВ и Апацхе Паркует смештен у мрежним системима и системима у облаку као што су ХДСФ и АВС С3, директно преносећи резултат у ГПУ меморију.

Захваљујући операцијама паралелизације на ГПУ-у и употреби брже видео меморије, извршавање упита у БлазингСКЛ је и до 20 пута брже него у Апацхе Спарк-у.

БлазингСКЛ увелико поједностављује рад са подацима - уместо стотинама позива функције цуДФ, то можете учинити једним СКЛ упитом.

„БлазингСКЛ се овим забринутостима купаца обраћа не само невероватно брзим, дистрибуираним СКЛ ГПУ мотором, већ и ревним фокусом на једноставност“, написао је Родриго Арамбуру, извршни директор БлазингСКЛ-а, у следећем блогу. „Са неколико редова кода, БлазингСКЛ може да тражи ваше необрађене податке, где год да се налазе, и интероперабилан је са вашим постојећим РАПИДС-ом и аналитичким стеком.“

БлазингСКЛ омогућава корисницима да питају скупове података језера података предузећа директно у ГПУ меморији као ГПУ ДатаФраме (ГДФ). ГДФ је пројекат који нуди подршку за интероперабилност између ГПУ апликација. Такође дефинише заједнички слој података ГПУ меморије.

„Коришћењем Апацхе Арров на графичким процесорима и интеграцијом са Даск-ом, БлазингСКЛ ће проширити функционалност отвореног кода и покренути следећи талас интероперабилности у брзом екосистему науке о подацима.“

Они који су заинтересовани то би требали знати код је написан на језику Ц ++ са питхон интерфејсом за кориснике а отворени извор је под лиценцом Апацхе 2.0.

Веза је ово.


Оставите свој коментар

Ваша емаил адреса неће бити објављена. Обавезна поља су означена са *

*

*

  1. За податке одговоран: Мигуел Ангел Гатон
  2. Сврха података: Контрола нежељене поште, управљање коментарима.
  3. Легитимација: Ваш пристанак
  4. Комуникација података: Подаци се неће преносити трећим лицима, осим по законској обавези.
  5. Похрана података: База података коју хостује Оццентус Нетворкс (ЕУ)
  6. Права: У било ком тренутку можете ограничити, опоравити и избрисати своје податке.