Иандек је објавио изворни код ИТсаурус-а

Пре неки дан Јандекс је представљен преко једног објављеног отварање изворног кода ИТсауру платформе, који се користи за дистрибуирано складиштење и обраду великих количина података, који подржава манипулацију подацима коришћењем парадигме МапРедуце, ​​СКЛ механизма упита, дистрибуираног система датотека и НоСКЛ складиштења у формату кључ/вредност.

ИТсаурус користи на Иандек инфраструктури да ефикасно користи рачунарску снагу суперкомпјутера од компаније Платформа се може проширити на кластере од више од 10 чворова, покривајући до милион процесора и хиљаде ГПУ-а (за задатке машинског учења).

Изоловани контејнери који раде на физичким серверима могу се користити као јединице кластера. Складиште може да садржи ексабајте података који се налазе на различитим медијима као што су чврсти дискови, ССД, НВМЕ и РАМ.

Кластер подржава динамичко додавање и уклањање чворова, редундантност (без једне тачке квара), аутоматску репликацију, активне надоградње софтвера кластера и аутоматски опоравак редундансе у случају квара чвора.

Подржана су три типа кластера: израчунавају кластери (за масовну паралелну обраду великих података користећи МапРедуце операције), кластере за изведене табеле и складиште кључ/вредност, и географски дистрибуиране кластере.

Услуга заснована на платформи може да обезбеди средства за складиштење и обраду података за десетине хиљада корисника. Типичне ИТсаурус апликације у Иандек-у укључују складиштење информација о корисницима огласне мреже, обуку модела машинског учења, формирање индекса претраге и изградњу складишта података за услуге као што су Иандек Таки. , Фоод, Лавка и испоруке

Од основних случајева употребе помиње се:

• Групна обрада: МапРедуце и СПИТ (Апацхе Спарк као рачунарски механизам за податке у ИТсаурус-у) за обраду структурираних и полуструктурираних података: записа или финансијских трансакција.
• Ад хоц анализа: Брзи упити преко ЦХИТ-а (група ЦлицкХоусе сервера на ИТсаурус рачунарским чворовима) без копирања података у посебан систем за анализу. ОДБЦ и ЈДБЦ са могућношћу повезивања БИ за визуелизацију.
• ОЛТП задаци: Трансакциони рад у реалном времену са складиштем кључ/вредност: на пример, складиштење корисничког профила, приказ огласа или обрада стрима.
• Машинско учење: Управљајте ГПУ кластерима да бисте обучили моделе са милијардама параметара.
• Складиштење мета информација: Трансакционо складиштење метаинформација и поуздан сервис дистрибуираних брава.
• Креирање складишта података и ЕТЛ-а за вишеслојну обраду података користећи типичне алате: Апацхе Спарк, СКЛ, МапРедуце.

Што се тиче главних елемената архитектуре, помињу се:

• Дистрибуирани систем датотека и складиште метаинформација на бази дрвета отпорног на грешке Ципресс.
• Планер за дистрибуирано рачунарство са подршком за МапРедуце модел, као и напредне основне операције.
• Хоризонтална скалабилност ИТ операција.
• Изолација рачунарских ресурса и могућност алоцирања одређених рачунарских ресурса (ЦПУ, ГПУ, РАМ) у различитим пропорцијама.
• Заокретне табеле за креирање ОЛТП складишта, подршка за складиштење засновано на МВЦЦ-у, трансакције, могућност брисања података након истека и редови порука за стриминг обраду података преко изведених табела.
• АПИ и библиотеке за програмске језике Ц++, Питхон, Јава, Го.
• Веб интерфејс за кориснике и администраторе који подржава навигацију кроз складиште у облику дрвета.

Коначно ако сте заинтересовани да сазнате више о томе, требало би да знате да је код пројекта написан у Ц/Ц++ и да је отворен под лиценцом Апацхе 2.0. Детаље можете проверити у следећи линк.

El ГитХуб спремиште садржи серверски код за ИТсаурус, оквир за примену који користи к8с, веб интерфејс за систем и клијентске СДК-ове за популарне програмске језике као што су Ц++, Јава, Го и Питхон.