ಫ್ಲೆಕ್ಸ್‌ಜೆನ್ ಎಂಬುದು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳ ಅನುಮಿತಿ ಸಂಪನ್ಮೂಲ ಅಗತ್ಯಗಳನ್ನು ಒಂದೇ ಜಿಪಿಯುಗೆ ಕಡಿಮೆ ಮಾಡುವ ಉದ್ದೇಶದಿಂದ ನಿರ್ಮಿಸಲಾದ ಎಂಜಿನ್ ಆಗಿದೆ.
ಎಂದು ಇತ್ತೀಚೆಗೆ ಸುದ್ದಿ ಬಿಡುಗಡೆಯಾಯಿತು ಸಂಶೋಧಕರ ಗುಂಪು ಸ್ಟ್ಯಾನ್‌ಫೋರ್ಡ್ ವಿಶ್ವವಿದ್ಯಾನಿಲಯದಿಂದ, ಬರ್ಕ್ಲಿಯಲ್ಲಿರುವ ಕ್ಯಾಲಿಫೋರ್ನಿಯಾ ವಿಶ್ವವಿದ್ಯಾನಿಲಯ, ETH ಜ್ಯೂರಿಚ್, ಗ್ರಾಜುಯೇಟ್ ಸ್ಕೂಲ್ ಆಫ್ ಎಕನಾಮಿಕ್ಸ್, ಕಾರ್ನೆಗೀ ಮೆಲಾನ್ ವಿಶ್ವವಿದ್ಯಾಲಯ, ಹಾಗೂ Yandex ಮತ್ತು Meta, ಮೂಲ ಕೋಡ್ ಅನ್ನು ಪ್ರಕಟಿಸಿದೆ un ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಚಲಾಯಿಸಲು ಎಂಜಿನ್ ಸೀಮಿತ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೊಂದಿರುವ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ.
ಕೋಡ್ ಹೆಸರಿನೊಂದಿಗೆ «FlexGen», ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಮಾಡುವ ಗುರಿಯನ್ನು ಹೊಂದಿರುವ ಯೋಜನೆಯಾಗಿದೆ ಅವಶ್ಯಕತೆಗಳು LLM ನಿರ್ಣಯ ಕಾರ್ಯಾಚರಣೆಗಳಿಗೆ ಸಂಪನ್ಮೂಲಗಳು. GitHub ನಲ್ಲಿ ಪೋಸ್ಟ್ ಮಾಡಲಾಗಿದ್ದು, FlexGen ಗೆ ಕೇವಲ ಪೈಥಾನ್ ಮತ್ತು PyTorch ಅಗತ್ಯವಿರುತ್ತದೆ ಆದರೆ ಹೆಚ್ಚಾಗಿ NVIDIA Tesla T4 ಅಥವಾ GeForce RTX 3090 ನಂತಹ ಒಂದೇ GPU ನೊಂದಿಗೆ ಬಳಸಬಹುದು.
ಉದಾಹರಣೆಗೆ, ಚಾಟ್‌ಜಿಪಿಟಿ ಮತ್ತು ಕಾಪಿಲೋಟ್‌ಗಳನ್ನು ನೆನಪಿಸುವ ಕಾರ್ಯವನ್ನು ರಚಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಎಂಜಿನ್ ಒದಗಿಸುತ್ತದೆ 175 GB ವೀಡಿಯೊ ಮೆಮೊರಿಯನ್ನು ಹೊಂದಿರುವ NVIDIA RTX175 ಗೇಮಿಂಗ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್‌ನೊಂದಿಗೆ ಸಾಮಾನ್ಯ ಕಂಪ್ಯೂಟರ್‌ನಲ್ಲಿ 3090 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಒಳಗೊಂಡ ಪೂರ್ವ ತರಬೇತಿ ಪಡೆದ OPT-24B ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡುತ್ತಿದೆ.
(LLM) ಮಾದರಿಗಳು ChatGPT ಮತ್ತು Copilot ನಂತಹ ಉಪಕರಣಗಳ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ ಎಂದು ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ. ಇವುಗಳು ಶತಕೋಟಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಬಳಸುವ ದೊಡ್ಡ ಮಾದರಿಗಳಾಗಿವೆ ಮತ್ತು ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಡೇಟಾದಲ್ಲಿ ತರಬೇತಿ ಪಡೆದಿವೆ.
LLM ನಿರ್ಣಯ ಕಾರ್ಯಗಳಿಗೆ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟೇಶನಲ್ ಮತ್ತು ಮೆಮೊರಿ ಅಗತ್ಯತೆಗಳಿಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಉನ್ನತ-ಮಟ್ಟದ ವೇಗವರ್ಧಕಗಳ ಬಳಕೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ.
FlexGen ಬಗ್ಗೆ ಸಾರ್ವಜನಿಕರು ನಿಜವಾಗಿಯೂ ಉತ್ಸುಕರಾಗಿದ್ದಾರೆಂದು ನಮಗೆ ಸಂತೋಷವಾಗಿದೆ. ಆದಾಗ್ಯೂ, ನಮ್ಮ ಕೆಲಸವು ಇನ್ನೂ ತಯಾರಿಯಲ್ಲಿದೆ ಮತ್ತು ಸಾರ್ವಜನಿಕ ಬಿಡುಗಡೆ/ಘೋಷಣೆಗೆ ಇನ್ನೂ ಸಿದ್ಧವಾಗಿಲ್ಲ. ಈ ಪ್ರಾಜೆಕ್ಟ್‌ನ ಆರಂಭಿಕ ಪ್ರತಿಕ್ರಿಯೆಯಿಂದ, ಈ README ನ ಆರಂಭಿಕ ಆವೃತ್ತಿಗಳು ಮತ್ತು ನಮ್ಮ ಡಾಕ್ಯುಮೆಂಟ್ FlexGen ನ ಉದ್ದೇಶದ ಮೇಲೆ ಅಸ್ಪಷ್ಟವಾಗಿದೆ ಎಂದು ನಾವು ಅರಿತುಕೊಂಡಿದ್ದೇವೆ. ಇದು LLM ಗಳ ಸಂಪನ್ಮೂಲ ಅವಶ್ಯಕತೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಒಂದು ಪ್ರಾಥಮಿಕ ಪ್ರಯತ್ನವಾಗಿದೆ, ಆದರೆ ಇದು ಹಲವು ಮಿತಿಗಳನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಸಾಕಷ್ಟು ಸಂಪನ್ಮೂಲಗಳು ಲಭ್ಯವಿದ್ದಾಗ ಬಳಕೆಯ ಸಂದರ್ಭಗಳನ್ನು ಬದಲಿಸುವ ಉದ್ದೇಶವನ್ನು ಹೊಂದಿಲ್ಲ.
LLM ನಿರ್ಣಯವು ಇನ್‌ಪುಟ್ ಪಠ್ಯದ ಕುರಿತು ಮುನ್ನೋಟಗಳನ್ನು ರಚಿಸಲು ಭಾಷಾ ಮಾದರಿಯನ್ನು ಬಳಸುವ ಒಂದು ಪ್ರಕ್ರಿಯೆಯಾಗಿದೆ: ಇದು ಭಾಷೆಯ ಮಾದರಿಯನ್ನು ಬಳಸುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಉದಾಹರಣೆಗೆ GPT (ಜನರೇಟಿವ್ ಪ್ರಿಟ್ರೇನ್ಡ್ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್) ನಂತಹ ಉತ್ಪಾದಕ ಮಾದರಿ, ಹೆಚ್ಚು ಸಾಧ್ಯತೆಗಳ ಬಗ್ಗೆ ಭವಿಷ್ಯ ನುಡಿಯಲು. ಸಂಭವಿಸಲು. ನಿರ್ದಿಷ್ಟ ಇನ್‌ಪುಟ್ ಸೆರೆಹಿಡಿದ ಪಠ್ಯದ ನಂತರ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿ ಒದಗಿಸಲಾಗುತ್ತದೆ.
FlexGen ಬಗ್ಗೆ
ಪ್ಯಾಕೇಜ್ ಬಾಟ್‌ಗಳನ್ನು ರಚಿಸಲು ಮಾದರಿ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ. ಇದು ಬಳಕೆದಾರರಿಗೆ ಅನುಮತಿಸುತ್ತದೆ ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಿರುವ ಭಾಷಾ ಮಾದರಿಗಳಲ್ಲಿ ಒಂದನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ಈಗಿನಿಂದಲೇ ಚಾಟ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸಿ.
ಆಧಾರವಾಗಿ, ಬುಕ್‌ಕಾರ್ಪಸ್ ಸಂಗ್ರಹಗಳು (10 ಸಾವಿರ ಪುಸ್ತಕಗಳು), CC-ಕಥೆಗಳು, ಪೈಲ್ (ಓಪನ್‌ಸಬ್‌ಟೈಟಲ್‌ಗಳು, ವಿಕಿಪೀಡಿಯಾ, DM ಗಣಿತ, ಹ್ಯಾಕರ್‌ನ್ಯೂಸ್, ಇತ್ಯಾದಿ), Pushshift.io ಕುರಿತು ತರಬೇತಿ ಪಡೆದ Facebook ಪ್ರಕಟಿಸಿದ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯನ್ನು ಬಳಸಲು ಪ್ರಸ್ತಾಪಿಸಲಾಗಿದೆ. (ರೆಡ್ಡಿಟ್ ಡೇಟಾ ಆಧರಿಸಿ) ಮತ್ತು CCNewsV2 (ಸುದ್ದಿ ಆರ್ಕೈವ್).
ಮಾದರಿಯು ಸುಮಾರು 180 ಬಿಲಿಯನ್ ಟೋಕನ್‌ಗಳನ್ನು (800 GB ಡೇಟಾ) ಒಳಗೊಂಡಿದೆ. ಮಾದರಿಗೆ ತರಬೇತಿ ನೀಡಲು 33 NVIDIA A992 100 GB GPUಗಳೊಂದಿಗೆ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಚಾಲನೆ ಮಾಡಲು 80 ದಿನಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು.
ಒಂದೇ NVIDIA T175 GPU (4 GB) ಹೊಂದಿರುವ ಸಿಸ್ಟಂನಲ್ಲಿ OPT-16B ಚಾಲನೆಯಲ್ಲಿದೆ, FlexGen ಎಂಜಿನ್ ಈ ಹಿಂದೆ ನೀಡಲಾದ ಪರಿಹಾರಗಳಿಗಿಂತ 100x ವೇಗದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪ್ರದರ್ಶಿಸಿತು, ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯ ಬಳಕೆಯನ್ನು ಹೆಚ್ಚು ಕೈಗೆಟುಕುವಂತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ವಿಶೇಷ ವೇಗವರ್ಧಕಗಳಿಲ್ಲದ ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
ಅದೇ ಸಮಯದಲ್ಲಿ, FlexGen ಬಹು GPU ಗಳ ಉಪಸ್ಥಿತಿಯಲ್ಲಿ ಗಣನೆಗಳನ್ನು ಸಮಾನಾಂತರಗೊಳಿಸಲು ಅಳೆಯಬಹುದು. ಮಾದರಿಯ ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಲು, ಹೆಚ್ಚುವರಿ ಪ್ಯಾರಾಮೀಟರ್ ಕಂಪ್ರೆಷನ್ ಸ್ಕೀಮ್ ಮತ್ತು ಮಾದರಿ ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುವ ಕಾರ್ಯವಿಧಾನವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ.
ಪ್ರಸ್ತುತ, FlexGen OPT ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮಾತ್ರ ಬೆಂಬಲಿಸುತ್ತದೆ, ಆದರೆ ಭವಿಷ್ಯದಲ್ಲಿ, ಡೆವಲಪರ್‌ಗಳು ಬ್ಲೂಮ್ (176 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು, 46 ಭಾಷೆಗಳು ಮತ್ತು 13 ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ), ಕೋಡ್‌ಜೆನ್ (22 ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳಲ್ಲಿ ಕೋಡ್ ಅನ್ನು ರಚಿಸಬಹುದು) ಮತ್ತು GLM ಗೆ ಬೆಂಬಲವನ್ನು ಸೇರಿಸುವುದಾಗಿ ಭರವಸೆ ನೀಡುತ್ತಾರೆ.
ಅಂತಿಮವಾಗಿ, ಕೋಡ್ ಅನ್ನು ಪೈಥಾನ್‌ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ, ಪೈಟಾರ್ಚ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಅಪಾಚೆ 2.0 ಪರವಾನಗಿ ಅಡಿಯಲ್ಲಿ ವಿತರಿಸಲಾಗಿದೆ ಎಂದು ನಮೂದಿಸುವುದು ಯೋಗ್ಯವಾಗಿದೆ.
ಫಾರ್ ಅದರ ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ತಿಳಿದುಕೊಳ್ಳಲು ಆಸಕ್ತಿ, ನೀವು ವಿವರಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದು ಕೆಳಗಿನ ಲಿಂಕ್‌ನಲ್ಲಿ.