ಹೊಸ ಓಪನ್ ಸೋರ್ಸ್ ಪ್ರಾಜೆಕ್ಟ್ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಮುಂದಿನ ಹಂತಕ್ಕೆ ಕೊಂಡೊಯ್ಯಲು ಬಯಸುತ್ತದೆ ಮತ್ತು ಅದರ ಹಿಂದಿರುವ ಜನರು ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಇತ್ತೀಚೆಗೆ ತನ್ನ ಎಸ್‌ಕ್ಯುಎಲ್ ಎಂಜಿನ್‌ಗಾಗಿ ಮೂಲ ಕೋಡ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದೆ ಎಂದು ಘೋಷಿಸಿತು, ಡೇಟಾ ಸಂಸ್ಕರಣೆಯನ್ನು ವೇಗಗೊಳಿಸಲು ಜಿಪಿಯುಗಳಲ್ಲಿ ಇದನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಸಂಪೂರ್ಣ ಡಿಬಿಎಂಎಸ್ ಅಲ್ಲ, ಆದರೆ ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಎಂಜಿನ್‌ನಂತೆ ಇದನ್ನು ಇರಿಸಲಾಗಿದೆ, ಅದರ ಕಾರ್ಯಗಳಲ್ಲಿ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್‌ಗೆ ಹೋಲಿಸಬಹುದು.
ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಪರಿಚಯವಿಲ್ಲದವರಿಗೆ ಅದು ತಿಳಿದಿರಬೇಕು ಇದು ಜಿಪಿಯು ವೇಗವರ್ಧಿತ SQL ಎಂಜಿನ್ ಆಗಿದ್ದು, ರಾಪಿಡ್ಸ್ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗಿದೆ ಇದು ಜಿಪಿಯುಗಳಲ್ಲಿ ಎಂಡ್-ಟು-ಎಂಡ್ ಅನಾಲಿಟಿಕ್ಸ್ ಮತ್ತು ಡಾಟಾ ಸೈನ್ಸ್ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಚಲಾಯಿಸಲು ಓಪನ್ ಸೋರ್ಸ್ ಸಾಫ್ಟ್‌ವೇರ್ ಲೈಬ್ರರಿಗಳ ಒಂದು ಗುಂಪಾಗಿದೆ.
ತಂಡದ ಪ್ರಕಾರ, ದೊಡ್ಡ ಅಸೆಂಬ್ಲಿಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವಾಗ ಬಳಕೆದಾರರು ಎದುರಿಸುವ ವೆಚ್ಚ, ಸಂಕೀರ್ಣತೆ ಮತ್ತು ನಿಧಾನಗತಿಯನ್ನು ಪರಿಹರಿಸಲು ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಅನ್ನು ರಚಿಸಲಾಗಿದೆ ಡೇಟಾದ. ಕೋಷ್ಟಕ ಸ್ವರೂಪಗಳಲ್ಲಿ ಸಂಗ್ರಹವಾಗಿರುವ ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳಲ್ಲಿ (ಹತ್ತಾರು ಗಿಗಾಬೈಟ್‌ಗಳು) ವೈಯಕ್ತಿಕ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಸೂಕ್ತವಾಗಿದೆ (ಉದಾ. ಲಾಗ್‌ಗಳು, ನೆಟ್‌ಫ್ಲೋ ಅಂಕಿಅಂಶಗಳು, ಇತ್ಯಾದಿ).
ಜಿಪಿಯುನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು, ರಾಪಿಡ್ಸ್ ಗ್ರಂಥಾಲಯಗಳ ಗುಂಪನ್ನು ಬಳಸಲಾಗುತ್ತದೆಕೆಲವು ಎನ್‌ವಿಡಿಯಾದ ಒಳಗೊಳ್ಳುವಿಕೆಯೊಂದಿಗೆ ಅಭಿವೃದ್ಧಿ ಹೊಂದಿದ್ದು, ಜಿಪಿಯು ಬದಿಯಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಚಲಿಸುವ ಡೇಟಾ ಸಂಸ್ಕರಣೆ ಮತ್ತು ವಿಶ್ಲೇಷಣಾ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ರಚಿಸಲು ನಿಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ (ಕಡಿಮೆ ಮಟ್ಟದ CUDA ಆದಿಮ ಮತ್ತು ಸಮಾನಾಂತರ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬಳಸಲು ಪೈಥಾನ್ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಒದಗಿಸಲಾಗಿದೆ).
ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಎಪಿಐ ಬದಲಿಗೆ ಎಸ್‌ಕ್ಯುಎಲ್ ಬಳಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಒದಗಿಸುತ್ತದೆ ರಾಪಿಡ್ಸ್ ಬಳಸುವ cuUDF ಡೇಟಾ ಸಂಸ್ಕರಣೆ (ಅಪಾಚೆ ಬಾಣದ ಆಧಾರದ ಮೇಲೆ). ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಎನ್ನುವುದು ಹೆಚ್ಚುವರಿ ಪದರವಾಗಿದ್ದು ಅದು ಕ್ಯೂಡಿಎಫ್‌ನ ಮೇಲೆ ಚಲಿಸುತ್ತದೆ ಮತ್ತು ಡಿಸ್ಕ್ನಿಂದ ಡೇಟಾವನ್ನು ಓದಲು ಕ್ಯೂಐಒ ಲೈಬ್ರರಿಯನ್ನು ಬಳಸುತ್ತದೆ.
SQL ಪ್ರಶ್ನೆಗಳು cuUDF ಫಂಕ್ಷನ್ ಕರೆಗಳಿಗೆ ಭಾಷಾಂತರಿಸಿ, ಇದು ಡೇಟಾವನ್ನು GPU ಗೆ ಲೋಡ್ ಮಾಡಲು ಅನುಮತಿಸುತ್ತದೆ ಮತ್ತು ಅವುಗಳ ಮೇಲೆ ವಿಲೀನ, ಒಟ್ಟು ಮತ್ತು ಫಿಲ್ಟರ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಿ. ಸಾವಿರಾರು ಜಿಪಿಯುಗಳನ್ನು ವ್ಯಾಪಿಸಿರುವ ವಿತರಣೆ ಸಂರಚನೆಗಳ ರಚನೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.
ಬಳಕೆ ಪ್ರೊಸೆಸರ್ಗಳನ್ನು ಬರೆಯದೆ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ RAPIDS ಅನ್ನು ಸಂಯೋಜಿಸಲು SQL ಅನುಮತಿಸುತ್ತದೆ ಹೆಚ್ಚುವರಿ ಡಿಬಿಎಂಎಸ್ನಲ್ಲಿ ಮಧ್ಯಂತರ ಡೇಟಾ ಲೋಡಿಂಗ್ ಅನ್ನು ಆಶ್ರಯಿಸದೆ, ರಾಪಿಡ್ಸ್ನ ಎಲ್ಲಾ ಭಾಗಗಳೊಂದಿಗೆ ಸಂಪೂರ್ಣ ಹೊಂದಾಣಿಕೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವಾಗ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕಾರ್ಯವನ್ನು SQL ಗೆ ಅನುವಾದಿಸಿ ಮತ್ತು cuDF- ಮಟ್ಟದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಖಾತ್ರಿಪಡಿಸುತ್ತದೆ. ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ ಕಾರ್ಯಗಳನ್ನು ಪರಿಹರಿಸಲು XGBoost ಮತ್ತು cuML ಗ್ರಂಥಾಲಯಗಳೊಂದಿಗೆ ಏಕೀಕರಣಕ್ಕೆ ಬೆಂಬಲವನ್ನು ಒಳಗೊಂಡಿದೆ.
ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ CSV ಮತ್ತು ಅಪಾಚೆ ಪಾರ್ಕ್ವೆಟ್ ಸ್ವರೂಪಗಳಲ್ಲಿ ಫ್ಲಾಟ್ ಫೈಲ್‌ಗಳಿಂದ ಪ್ರಶ್ನೆಗಳನ್ನು ಚಲಾಯಿಸಬಹುದು ನೆಟ್‌ವರ್ಕ್ ಮತ್ತು ಕ್ಲೌಡ್ ಸಿಸ್ಟಮ್‌ಗಳಾದ ಎಚ್‌ಡಿಎಸ್ಎಫ್ ಮತ್ತು ಎಡಬ್ಲ್ಯೂಎಸ್ ಎಸ್ 3 ನಲ್ಲಿದೆ, ಫಲಿತಾಂಶವನ್ನು ನೇರವಾಗಿ ಜಿಪಿಯು ಮೆಮೊರಿಗೆ ವರ್ಗಾಯಿಸುತ್ತದೆ.
ಜಿಪಿಯುನಲ್ಲಿನ ಸಮಾನಾಂತರೀಕರಣ ಕಾರ್ಯಾಚರಣೆಗಳು ಮತ್ತು ವೇಗವಾದ ವೀಡಿಯೊ ಮೆಮೊರಿಯ ಬಳಕೆಗೆ ಧನ್ಯವಾದಗಳು, ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್‌ನಲ್ಲಿ ಪ್ರಶ್ನೆ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಯು ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್‌ಗಿಂತ 20 ಪಟ್ಟು ವೇಗವಾಗಿರುತ್ತದೆ.
ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದನ್ನು ಹೆಚ್ಚು ಸರಳಗೊಳಿಸುತ್ತದೆ - ನೂರಾರು ಕ್ಯೂಡಿಎಫ್ ಫಂಕ್ಷನ್ ಕರೆಗಳಿಗೆ ಬದಲಾಗಿ, ನೀವು ಅದನ್ನು ಒಂದೇ ಎಸ್‌ಕ್ಯುಎಲ್ ಪ್ರಶ್ನೆಯೊಂದಿಗೆ ಮಾಡಬಹುದು.
"ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಈ ಗ್ರಾಹಕರ ಕಾಳಜಿಯನ್ನು ನಂಬಲಾಗದಷ್ಟು ವೇಗವಾಗಿ, ವಿತರಿಸಿದ ಎಸ್‌ಕ್ಯುಎಲ್ ಜಿಪಿಯು ಎಂಜಿನ್‌ನೊಂದಿಗೆ ಮಾತ್ರವಲ್ಲ, ಸರಳತೆಯ ಬಗ್ಗೆ ಉತ್ಸಾಹದಿಂದ ಕೂಡಿದೆ" ಎಂದು ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಸಿಇಒ ರೊಡ್ರಿಗೋ ಅರಂಬುರು ನಂತರದ ಬ್ಲಾಗ್‌ನಲ್ಲಿ ಬರೆದಿದ್ದಾರೆ. "ಕೆಲವೇ ಸಾಲುಗಳ ಕೋಡ್‌ನೊಂದಿಗೆ, ಬ್ಲೇಜಿಂಗ್‌ಸ್ಕ್ಯೂಲ್ ನಿಮ್ಮ ಕಚ್ಚಾ ಡೇಟಾವನ್ನು ಎಲ್ಲಿ ವಾಸಿಸುತ್ತದೆಯೋ ಅದನ್ನು ಪ್ರಶ್ನಿಸಬಹುದು ಮತ್ತು ನಿಮ್ಮ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ರಾಪಿಡ್ಸ್ ಮತ್ತು ಅನಾಲಿಟಿಕ್ಸ್ ಸ್ಟ್ಯಾಕ್‌ನೊಂದಿಗೆ ಪರಸ್ಪರ ಕಾರ್ಯನಿರ್ವಹಿಸಬಹುದು."
ಎಂಟರ್‌ಪ್ರೈಸ್ ಡೇಟಾ ಲೇಕ್ ಡೇಟಾ ಸೆಟ್‌ಗಳನ್ನು ಜಿಪಿಯು ಮೆಮೊರಿಯಲ್ಲಿ ನೇರವಾಗಿ ಜಿಪಿಯು ಡಾಟಾಫ್ರೇಮ್ (ಜಿಡಿಎಫ್) ಎಂದು ಪ್ರಶ್ನಿಸಲು ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಬಳಕೆದಾರರನ್ನು ಶಕ್ತಗೊಳಿಸುತ್ತದೆ. ಜಿಡಿಎಫ್ ಎನ್ನುವುದು ಜಿಪಿಯು ಅಪ್ಲಿಕೇಶನ್‌ಗಳ ನಡುವಿನ ಪರಸ್ಪರ ಕಾರ್ಯಸಾಧ್ಯತೆಗೆ ಬೆಂಬಲವನ್ನು ನೀಡುವ ಯೋಜನೆಯಾಗಿದೆ. ಇದು ಸಾಮಾನ್ಯ ಜಿಪಿಯು ಮೆಮೊರಿ ಡೇಟಾ ಲೇಯರ್ ಅನ್ನು ಸಹ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ.
"ಜಿಪಿಯುಗಳಲ್ಲಿ ಅಪಾಚೆ ಬಾಣವನ್ನು ನಿಯಂತ್ರಿಸುವ ಮೂಲಕ ಮತ್ತು ಕಾರ್ಯದೊಂದಿಗೆ ಸಂಯೋಜಿಸುವ ಮೂಲಕ, ಬ್ಲೇಜಿಂಗ್ ಎಸ್‌ಕ್ಯೂಎಲ್ ಓಪನ್ ಸೋರ್ಸ್ ಕಾರ್ಯವನ್ನು ವಿಸ್ತರಿಸುತ್ತದೆ ಮತ್ತು ವೇಗದ ಗತಿಯ ದತ್ತಾಂಶ ವಿಜ್ಞಾನ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಪರಸ್ಪರ ಕಾರ್ಯಸಾಧ್ಯತೆಯ ಮುಂದಿನ ತರಂಗವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ."
ಆಸಕ್ತರು ಅದನ್ನು ತಿಳಿದುಕೊಳ್ಳಬೇಕು ಕೋಡ್ ಅನ್ನು ಬಳಕೆದಾರರಿಗೆ ಪೈಥಾನ್ ಇಂಟರ್ಫೇಸ್ನೊಂದಿಗೆ ಸಿ ++ ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು ತೆರೆದ ಮೂಲವು ಅಪಾಚೆ 2.0 ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿದೆ.