
YTsaurus என்பது MapReduce மாதிரிக்கான ஆதரவுடன் பெரிய தரவுகளுக்கான விநியோகிக்கப்பட்ட சேமிப்பு மற்றும் செயலாக்க தளமாகும்.
சில நாட்களுக்கு முன்பு யாண்டெக்ஸ் வெளியிட்டது அறிவிக்கப்பட்ட ஒன்றின் மூலம் YTsauru தளத்தின் மூலக் குறியீட்டின் திறப்பு, இது விநியோகிக்கப்பட்ட சேமிப்பு மற்றும் பெரிய அளவிலான தரவை செயலாக்க பயன்படுகிறது, இது MapReduce முன்னுதாரணம், SQL வினவல் இயந்திரம், விநியோகிக்கப்பட்ட கோப்பு முறைமை மற்றும் முக்கிய மதிப்பு வடிவத்தில் NoSQL சேமிப்பு ஆகியவற்றைப் பயன்படுத்தி தரவு கையாளுதலை ஆதரிக்கிறது.
YTsaurus பயன்படுத்தப்பட்டது யாண்டெக்ஸ் உள்கட்டமைப்பில் சூப்பர் கம்ப்யூட்டர்களின் கணினி சக்தியை திறமையாக பயன்படுத்த நிறுவனத்தின் இயங்குதளமானது 10 க்கும் மேற்பட்ட முனைகளின் தொகுப்பாக அளவிட முடியும், இது ஒரு மில்லியன் செயலிகள் மற்றும் ஆயிரக்கணக்கான GPUகளை (இயந்திர கற்றல் பணிகளுக்காக) உள்ளடக்கியது.
இயற்பியல் சேவையகங்களில் இயங்கும் தனிமைப்படுத்தப்பட்ட கொள்கலன்களை கிளஸ்டர் அலகுகளாகப் பயன்படுத்தலாம். ஹார்ட் டிரைவ்கள், எஸ்எஸ்டிகள், என்விஎம்இ மற்றும் ரேம் போன்ற பல்வேறு மீடியாக்களில் உள்ள எக்ஸாபைட் தரவுகளை சேமிப்பகத்தில் கொண்டிருக்கலாம்.
க்ளஸ்டர் டைனமிக் கூட்டல் மற்றும் முனைகளை அகற்றுதல், பணிநீக்கம் (தோல்வி எதுவும் இல்லை), தானியங்கி நகலெடுப்பு, செயலில் உள்ள கிளஸ்டர் மென்பொருள் மேம்படுத்தல்கள் மற்றும் கணு செயலிழந்தால் தானியங்கி பணிநீக்கம் மீட்பு ஆகியவற்றை ஆதரிக்கிறது.
மூன்று வகையான கிளஸ்டர்கள் ஆதரிக்கப்படுகின்றன: கம்ப்யூட் க்ளஸ்டர்கள் (MapReduce செயல்பாடுகளைப் பயன்படுத்தி பெரிய தரவுகளின் பாரிய இணையான செயலாக்கத்திற்காக), பிவோட் அட்டவணைகள் மற்றும் முக்கிய மதிப்பு சேமிப்பகத்திற்கான கிளஸ்டர்கள் மற்றும் புவியியல் ரீதியாக விநியோகிக்கப்பட்ட கிளஸ்டர்கள்.
இயங்குதள அடிப்படையிலான சேவையானது பல்லாயிரக்கணக்கான பயனர்களுக்கு தரவைச் சேமித்து செயலாக்குவதற்கான வழிமுறைகளை வழங்க முடியும். Yandex இல் உள்ள வழக்கமான YTsaurus பயன்பாடுகளில் விளம்பர நெட்வொர்க் பயனர்கள் பற்றிய தகவல்களைச் சேமிப்பது, இயந்திர கற்றல் மாதிரிகளைப் பயிற்றுவித்தல், தேடல் குறியீட்டை உருவாக்குதல் மற்றும் Yandex Taxi போன்ற சேவைகளுக்கான தரவுக் கிடங்கை உருவாக்குதல். , உணவு, Lavka மற்றும் விநியோகங்கள் ஆகியவை அடங்கும்.
அடிப்படை பயன்பாட்டு நிகழ்வுகளில் இது குறிப்பிடப்பட்டுள்ளது:
- தொகுதி செயலாக்கம்: MapReduce மற்றும் SPYT (YTsaurus இல் உள்ள தரவுகளில் ஒரு கணினி இயந்திரமாக Apache Spark) கட்டமைக்கப்பட்ட மற்றும் அரை-கட்டமைக்கப்பட்ட தரவை செயலாக்குவதற்கு: பதிவுகள் அல்லது நிதி பரிவர்த்தனைகள்.
- தற்காலிக பகுப்பாய்வு: CHYT (YTsaurus கம்ப்யூட் நோட்களில் உள்ள ClickHouse சேவையகங்களின் குழு) வழியாக ஒரு தனி பகுப்பாய்வு அமைப்புக்கு தரவை நகலெடுக்காமல் விரைவான வினவல்கள். காட்சிப்படுத்தலுக்காக BI ஐ இணைக்கும் திறன் கொண்ட ODBC மற்றும் JDBC.
- OLTP பணிகள்: முக்கிய மதிப்பு சேமிப்பகத்துடன் நிகழ்நேர பரிவர்த்தனை வேலை: எடுத்துக்காட்டாக, பயனர் சுயவிவர சேமிப்பு, விளம்பர காட்சி அல்லது ஸ்ட்ரீம் செயலாக்கம்.
- இயந்திர வழி கற்றல்: பில்லியன் கணக்கான அளவுருக்கள் கொண்ட மாடல்களைப் பயிற்றுவிக்க GPU கிளஸ்டர்களை நிர்வகிக்கவும்.
- மெட்டா தகவல் சேமிப்பு: Metainformation இன் பரிவர்த்தனை சேமிப்பு மற்றும் விநியோகிக்கப்பட்ட பூட்டுகளின் நம்பகமான சேவை.
- வழக்கமான கருவிகளைப் பயன்படுத்தி பல அடுக்கு தரவு செயலாக்கத்திற்கான தரவுக் கிடங்குகள் மற்றும் ETL உருவாக்கம்: Apache Spark, SQL, MapReduce.
கட்டிடக்கலையின் முக்கிய கூறுகளின் ஒரு பகுதியாக, பின்வருபவை குறிப்பிடப்பட்டுள்ளன:
- விநியோகிக்கப்பட்ட கோப்பு முறைமை மற்றும் சைப்ரஸ் தவறு-சகிப்புத்தன்மை கொண்ட மர அடிப்படையிலான மெட்டெய்ன்ஃபர்மேஷன் சேமிப்பு.
- MapReduce மாதிரி மற்றும் மேம்பட்ட அடிப்படை செயல்பாடுகளுக்கான ஆதரவுடன் விநியோகிக்கப்பட்ட கம்ப்யூட்டிங்கிற்கான திட்டமிடுபவர்.
- தகவல் தொழில்நுட்ப செயல்பாடுகளின் கிடைமட்ட அளவிடுதல்.
- கணினி வளங்களை தனிமைப்படுத்துதல் மற்றும் சில கணினி வளங்களை (CPU, GPU, RAM) வெவ்வேறு விகிதங்களில் ஒதுக்குவதற்கான சாத்தியம்.
- OLTP சேமிப்பகத்தை உருவாக்குவதற்கான PivotTables, MVCC அடிப்படையிலான சேமிப்பகத்திற்கான ஆதரவு, பரிவர்த்தனைகள், காலாவதியான பிறகு தரவை நீக்கும் திறன் மற்றும் PivotTables மூலம் தரவு செயலாக்கத்தை ஸ்ட்ரீமிங் செய்வதற்கான செய்தி வரிசைகள்.
- C++, Python, Java, Go நிரலாக்க மொழிகளுக்கான API மற்றும் நூலகங்கள்.
- மரம் போன்ற சேமிப்பகத்தின் மூலம் வழிசெலுத்தலை ஆதரிக்கும் பயனர்கள் மற்றும் நிர்வாகிகளுக்கான இணைய இடைமுகம்.
இறுதியாக நீங்கள் அதைப் பற்றி மேலும் அறிய ஆர்வமாக இருந்தால், திட்டத்தின் குறியீடு C/C++ இல் எழுதப்பட்டுள்ளது மற்றும் Apache 2.0 உரிமத்தின் கீழ் திறக்கப்பட்டுள்ளது என்பதை நீங்கள் அறிந்திருக்க வேண்டும். நீங்கள் விவரங்களை சரிபார்க்கலாம் பின்வரும் இணைப்பு.
El கிட்ஹப் களஞ்சியம் YTsaurus க்கான சேவையகக் குறியீடு, k8s பயன்படுத்தும் வரிசைப்படுத்தல் கட்டமைப்பு, கணினிக்கான இணைய இடைமுகம் மற்றும் C++, Java, Go மற்றும் Python போன்ற பிரபலமான நிரலாக்க மொழிகளுக்கான கிளையன்ட் SDKகள் உள்ளன.