MapD: База дадзеных, якая працуе на графічных працэсарах

Сёння мы перажываем феномен Вялікі дадзеных, мы можам атрымаць велізарную колькасць дадзеных з бясконцай колькасці крыніц. Гэты велізарны аб'ём дадзеных прыносіць мноства пераваг, аднак прыносіць шмат праблем. Самыя распаўсюджаныя з іх: час водгуку ў масавым наборы дадзеных.

MapD нарадзіўся, каб прапанаваць высокія хуткасці ў галіне аналітычных баз дадзеных. Прызначаны для апрацоўкі трыльёны запісаў за лічаныя мілісекунды скарыстаўшыся вылічальнай магутнасцю, прапанаванай графічныя працэсары. Створаны менавіта для таго, каб у поўнай меры скарыстацца усімі апаратнымі і праграмнымі магчымасцямі графічных карт, ён прапануе аналітыкам і спецыялістам па дадзеных дадзеных час на водгук прыблізна на 3 парадкі (x1000) вышэй тэхналогій, якія раней выкарыстоўваліся для гэтых мэтаў. Карыстаючыся перавагамі паралельнасці графічных працэсараў (каля 80000 8 ядраў у сучасных графічных працэсарах) і вялікай прапускной здольнасці памяці (каля 5 Гбіт / с) для выканання лінейнай алгебры і пошуку ў базе дадзеных, выкарыстоўваючы LLVM для кампіляцыі кожнага запыту ў рэжыме рэальнага часу, акрамя таго, каб захоўваць найбольш кансультаваныя дадзеныя ў кэш графічных працэсараў (высакахуткасныя памяці DDRXNUMX).

Мы павінны памятаць, што ў свеце вялікіх дадзеных традыцыйныя базы дадзеных не выкарыстоўваюцца, заснаваныя на запісе і захаванні файлаў, паколькі гэта можа выклікаць вялікую колькасць задач уводу-вываду на цвёрдым дыску. З мэтай аналізу мільярдаў запісаў, базы дадзеных у памяці, як Apache Spark. Аднак для атрымання неабходнага аб'ёму памяці і жаданай прадукцыйнасці неабходны кластар сервераў, і мы ведаем, што гэта прадугледжвае выдаткі на абсталяванне, сеткавыя кабелі і вялікую колькасць тэхнічных спецыялістаў. Такім чынам, MapD прапануе магчымасць дасягнуць высокай прадукцыйнасці з меншымі выдаткамі і складанасцю, дазваляючы большай колькасці людзей атрымаць доступ да высокапрадукцыйных тэхналогій для аналізу дадзеных.

Дзякуючы падтрымцы графічных працэсараў, MapD таксама прапануе сераду для візуалізацыі дадзеных, выкарыстоўваючы графічныя магчымасці графічных працэсараў. Гэта палягчае стварэнне інтэрактыўных графікаў з вялікім аб'ёмам дадзеных, што дазваляе ўзаемадзейнічаць з інфармацыяй практычна ў рэжыме рэальнага часу (вільготная мара кожнага аналітыка дадзеных). Апроч уключэння некаторых алгарытмаў машыннага навучання (Machine Learning), для выканання пашыранага аналізу ў тым самым асяроддзі з выкарыстаннем графічных працэсараў.

Мы запрашаем вас прагуляцца па Афіцыйная старонка MapD разгледзець кожную яго асаблівасць больш падрабязна. Яны таксама прапануюць дакумент, які вы можаце спампаваць бясплатна, з падрабязным апісаннем тэхналогій і падыходаў, якія зрабілі магчымым MapD. Вы нават можаце атрымліваць асалоду ад дэмас дзіўна!
MapD у цяперашні час знаходзіцца ў бэта-версіі і даступна для Linux, вы можаце напісаць ім (разам з тлумачальнай заявай) прыняць удзел у ім.