ಮೇ 2020 ರಲ್ಲಿ, OpenAI, ಎಲೋನ್ ಮಸ್ಕ್ ಮತ್ತು ಸ್ಯಾಮ್ ಆಲ್ಟ್‌ಮ್ಯಾನ್‌ರಿಂದ ಸಹ-ಸ್ಥಾಪಿತವಾದ AI ಕಂಪನಿಯು GPT-3 ಅನ್ನು ಪ್ರಕಟಿಸಿತು, ನಂತರ ಈ ಕ್ಷಣದ ಅತ್ಯುತ್ತಮ ನರಮಂಡಲವಾಗಿ ಪ್ರಸ್ತುತಪಡಿಸಲಾಯಿತು. ಅತ್ಯಾಧುನಿಕ ಭಾಷಾ ಮಾದರಿ, GPT-3 175 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳನ್ನು ಒಳಗೊಂಡಿದೆ ಅದರ ಹಿಂದಿನ GPT-1,5 ನ 2 ಶತಕೋಟಿ ನಿಯತಾಂಕಗಳಿಗೆ ಹೋಲಿಸಿದರೆ.
GPT-3 NLG ಟ್ಯೂರಿಂಗ್ ಮಾದರಿಯನ್ನು ಸೋಲಿಸಿ (ಟ್ಯೂರಿಂಗ್ ನ್ಯಾಚುರಲ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಜನರೇಷನ್) ಮೈಕ್ರೋಸಾಫ್ಟ್‌ನಿಂದ 17 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳೊಂದಿಗೆ ಈ ಹಿಂದೆ ಅತಿದೊಡ್ಡ ನರಮಂಡಲದ ದಾಖಲೆಯನ್ನು ಹೊಂದಿತ್ತು. ಭಾಷಾ ಮಾದರಿಯನ್ನು ಆಶ್ಚರ್ಯಗೊಳಿಸಲಾಗಿದೆ, ಟೀಕಿಸಲಾಗಿದೆ ಮತ್ತು ಪರಿಶೀಲನೆಗೆ ಒಳಪಡಿಸಲಾಗಿದೆ; ಇದು ಹೊಸ ಮತ್ತು ಆಸಕ್ತಿದಾಯಕ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ಸಹ ಕಂಡುಹಿಡಿದಿದೆ.
ಮತ್ತು ಈಗ GPT-4 ಬಿಡುಗಡೆಯಾಗಿದೆ ಎಂದು ವದಂತಿಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡಲಾಗಿದೆ, OpenAI ಭಾಷಾ ಮಾದರಿಯ ಮುಂದಿನ ಆವೃತ್ತಿಯು ಶೀಘ್ರದಲ್ಲೇ ಬರಬಹುದು.
ಆದರೂ ಯಾವುದೇ ಬಿಡುಗಡೆ ದಿನಾಂಕವನ್ನು ಇನ್ನೂ ಘೋಷಿಸಲಾಗಿಲ್ಲ, GPT-3 ನ ಉತ್ತರಾಧಿಕಾರಿಯ ಗುಣಲಕ್ಷಣಗಳ ಬಗ್ಗೆ OpenAI ಕೆಲವು ಸೂಚನೆಗಳನ್ನು ನೀಡಿದೆ, ಅದರೊಂದಿಗೆ GPT-4 GPT-3 ಗಿಂತ ದೊಡ್ಡದಾಗಿರಬಾರದು, ಆದರೆ ಹೆಚ್ಚು ಕಂಪ್ಯೂಟೇಶನಲ್ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಬಳಸಬೇಕು, ಇದು ಅದರ ಪರಿಸರ ಪರಿಣಾಮವನ್ನು ಮಿತಿಗೊಳಿಸುತ್ತದೆ.
ಅಧಿವೇಶನದ ಸಂದರ್ಭದಲ್ಲಿ, ಎಂದು ಆಲ್ಟ್‌ಮನ್ ಸುಳಿವು ನೀಡಿದರುಜನಪ್ರಿಯ ನಂಬಿಕೆಗೆ ವಿರುದ್ಧವಾಗಿ, GPT-4 ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಯಾಗಿರುವುದಿಲ್ಲ. ಮಾದರಿಯು ನಿಸ್ಸಂದೇಹವಾಗಿ ಹಿಂದಿನ ತಲೆಮಾರಿನ ನರಮಂಡಲಗಳಿಗಿಂತ ದೊಡ್ಡದಾಗಿರುತ್ತದೆ, ಆದರೆ ಗಾತ್ರವು ಅದರ ವಿಶಿಷ್ಟ ಲಕ್ಷಣವಾಗಿರುವುದಿಲ್ಲ.
ಮೊದಲನೆಯದಾಗಿ, ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಲು ಸೂಚಕವಾಗಿ ಮಾದರಿಯ ಗಾತ್ರವನ್ನು ಬಳಸುವುದು ಅದನ್ನು ಮಾಡಲು ಏಕೈಕ ಅಥವಾ ಉತ್ತಮ ಮಾರ್ಗವಲ್ಲ ಎಂದು ಕಂಪನಿಗಳು ಅರಿತುಕೊಂಡಿವೆ. 2020 ರಲ್ಲಿ, ಜೇರೆಡ್ ಕಪ್ಲಾನ್ ಮತ್ತು ಅವರ OpenAI ಸಹೋದ್ಯೋಗಿಗಳು ಕಂಪ್ಯೂಟ್ ಬಜೆಟ್‌ನಲ್ಲಿನ ಹೆಚ್ಚಳವನ್ನು ಪ್ರಾಥಮಿಕವಾಗಿ ಪವರ್-ಕಾನೂನು ಸಂಬಂಧವನ್ನು ಅನುಸರಿಸಿ ನಿಯತಾಂಕಗಳ ಸಂಖ್ಯೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ನಿಯೋಜಿಸಿದಾಗ ಕಾರ್ಯಕ್ಷಮತೆಯು ಹೆಚ್ಚು ಸುಧಾರಿಸುತ್ತದೆ ಎಂದು ವರದಿ ಮಾಡಿದೆ. Google, Nvidia, Microsoft, OpenAI, DeepMind ಮತ್ತು ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವ ಇತರ ಕಂಪನಿಗಳು ಈ ಮಾರ್ಗಸೂಚಿಗಳನ್ನು ಮುಖಬೆಲೆಯಲ್ಲಿ ತೆಗೆದುಕೊಂಡಿವೆ.
ಆದರೆ MT-NLG (Megatron-Turing NLG, Nvidia ಮತ್ತು Microsoft ಕಳೆದ ವರ್ಷ 530 ಶತಕೋಟಿ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳೊಂದಿಗೆ ನಿರ್ಮಿಸಿದ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್), ಕಾರ್ಯಕ್ಷಮತೆಗೆ ಬಂದಾಗ ಅದು ಉತ್ತಮವಾಗಿಲ್ಲ. ವಾಸ್ತವವಾಗಿ, ಇದು ಯಾವುದೇ ಮಾನದಂಡದ ವರ್ಗದಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಎಂದು ರೇಟ್ ಮಾಡಲಾಗಿಲ್ಲ. ಗೋಫರ್ ಅಥವಾ ಚಿಂಚಿಲ್ಲಾದಂತಹ ಚಿಕ್ಕ ಮಾದರಿಗಳು (70 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳು), ಅವುಗಳ ಗಾತ್ರದ ಒಂದು ಭಾಗ ಮಾತ್ರ, ಎಲ್ಲಾ ಕಾರ್ಯಗಳಲ್ಲಿ MT-NLG ಗಿಂತ ಉತ್ತಮವಾಗಿರುತ್ತದೆ. ಹೀಗಾಗಿ, ಮಾದರಿಯ ಗಾತ್ರವು ಭಾಷೆಯ ಉತ್ತಮ ತಿಳುವಳಿಕೆಗೆ ಕಾರಣವಾಗುವ ಏಕೈಕ ಅಂಶವಲ್ಲ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಯಿತು.
ಆಲ್ಟ್‌ಮ್ಯಾನ್ ಪ್ರಕಾರ, ಭಾಷಾ ಮಾದರಿಗಳು ನಿರ್ಣಾಯಕ ಮಿತಿಯಿಂದ ಬಳಲುತ್ತವೆ. ಆಪ್ಟಿಮೈಸೇಶನ್ ವಿಷಯಕ್ಕೆ ಬಂದಾಗ. ತರಬೇತಿಯು ತುಂಬಾ ದುಬಾರಿಯಾಗಿದ್ದು, ಕಂಪನಿಗಳು ನಿಖರತೆ ಮತ್ತು ವೆಚ್ಚದ ನಡುವೆ ರಾಜಿ ಮಾಡಿಕೊಳ್ಳಬೇಕಾಗುತ್ತದೆ. ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಮಾದರಿಗಳನ್ನು ಕಳಪೆಯಾಗಿ ಹೊಂದುವಂತೆ ಮಾಡುತ್ತದೆ.
ಕೆಲವು ದೋಷಗಳ ಹೊರತಾಗಿಯೂ GPT-3 ಅನ್ನು ಒಮ್ಮೆ ಮಾತ್ರ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ ಎಂದು CEO ವರದಿ ಮಾಡಿದೆ, ಅದು ಇತರ ಸಂದರ್ಭಗಳಲ್ಲಿ ಮರುತರಬೇತಿಗೆ ಕಾರಣವಾಗುತ್ತದೆ. ಈ ಕಾರಣದಿಂದಾಗಿ, OpenAI ವರದಿಯ ಪ್ರಕಾರ ಕೈಗೆಟುಕಲಾಗದ ವೆಚ್ಚದ ಕಾರಣದಿಂದಾಗಿ ಅದರ ವಿರುದ್ಧ ನಿರ್ಧರಿಸಿತು, ಇದು ಮಾದರಿಗೆ ಉತ್ತಮವಾದ ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಕಂಡುಹಿಡಿಯದಂತೆ ಸಂಶೋಧಕರನ್ನು ತಡೆಯಿತು.
ಹೆಚ್ಚಿನ ತರಬೇತಿ ವೆಚ್ಚಗಳ ಮತ್ತೊಂದು ಪರಿಣಾಮವೆಂದರೆ ಮಾದರಿ ನಡವಳಿಕೆಯ ವಿಶ್ಲೇಷಣೆಗಳನ್ನು ನಿರ್ಬಂಧಿಸಲಾಗುತ್ತದೆ. ಒಂದು ವರದಿಯ ಪ್ರಕಾರ, ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸಲು ಮಾದರಿ ಗಾತ್ರವು ಅತ್ಯಂತ ಸೂಕ್ತವಾದ ವೇರಿಯಬಲ್ ಎಂದು AI ಸಂಶೋಧಕರು ತೀರ್ಮಾನಿಸಿದಾಗ, ಅವರು ತರಬೇತಿ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಪರಿಗಣಿಸಲಿಲ್ಲ, ಅಂದರೆ ಮಾದರಿಗಳಿಗೆ ಒದಗಿಸಿದ ಡೇಟಾದ ಮೊತ್ತ. ಇದಕ್ಕೆ ಅಸಾಧಾರಣ ಪ್ರಮಾಣದ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಂಪನ್ಮೂಲಗಳ ಅಗತ್ಯವಿತ್ತು. ಟೆಕ್ ಕಂಪನಿಗಳು ಸಂಶೋಧಕರ ಸಂಶೋಧನೆಗಳನ್ನು ಅನುಸರಿಸಿವೆ ಎಂದು ವರದಿಯಾಗಿದೆ ಏಕೆಂದರೆ ಅದು ಅವರಲ್ಲಿರುವ ಅತ್ಯುತ್ತಮವಾಗಿದೆ.
ಆಲ್ಟ್‌ಮ್ಯಾನ್ GPT-4 ಅದರ ಪೂರ್ವವರ್ತಿಗಿಂತ ಹೆಚ್ಚಿನ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬಳಸುತ್ತದೆ ಎಂದು ಹೇಳಿದರು. OpenAI GPT-4 ನಲ್ಲಿ ಆಪ್ಟಿಮೈಸೇಶನ್-ಸಂಬಂಧಿತ ವಿಚಾರಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ನಿರೀಕ್ಷೆಯಿದೆ, ಆದರೂ ಅದರ ಬಜೆಟ್ ತಿಳಿದಿಲ್ಲವಾದ್ದರಿಂದ ಎಷ್ಟು ಮಟ್ಟಿಗೆ ಊಹಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಆದಾಗ್ಯೂ, ಹೇಳಿಕೆಗಳು ಓಪನ್‌ಎಐ ಮಾದರಿಯ ಗಾತ್ರವನ್ನು ಹೊರತುಪಡಿಸಿ ವೇರಿಯೇಬಲ್‌ಗಳನ್ನು ಉತ್ತಮಗೊಳಿಸುವತ್ತ ಗಮನಹರಿಸಬೇಕು ಎಂದು ಆಲ್ಟ್‌ಮ್ಯಾನ್ ತೋರಿಸುತ್ತದೆ.. ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ ಅತ್ಯುತ್ತಮ ಸೆಟ್, ಸೂಕ್ತ ಮಾದರಿ ಗಾತ್ರ ಮತ್ತು ನಿಯತಾಂಕಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಎಲ್ಲಾ ಮಾನದಂಡಗಳಲ್ಲಿ ನಂಬಲಾಗದ ಸುಧಾರಣೆಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು.
ವಿಶ್ಲೇಷಕರ ಪ್ರಕಾರ, ಈ ವಿಧಾನಗಳನ್ನು ಒಂದೇ ಮಾದರಿಯಲ್ಲಿ ಸಂಯೋಜಿಸಿದರೆ ಭಾಷಾ ಮಾದರಿಗಳ ಎಲ್ಲಾ ಮುನ್ಸೂಚನೆಗಳು ಕುಸಿಯುತ್ತವೆ. ಆಲ್ಟ್‌ಮ್ಯಾನ್ ಅವರು ಅಗತ್ಯವಾಗಿ ದೊಡ್ಡದಾಗಿರದೆ ಎಷ್ಟು ಉತ್ತಮ ಮಾದರಿಗಳು ಇರಬಹುದೆಂದು ಜನರು ನಂಬುವುದಿಲ್ಲ ಎಂದು ಹೇಳಿದರು. ಸದ್ಯಕ್ಕೆ ಸ್ಕೇಲಿಂಗ್ ಪ್ರಯತ್ನಗಳು ಮುಗಿದಿವೆ ಎಂದು ಸೂಚಿಸುತ್ತಿರಬಹುದು.
AI ಜೋಡಣೆ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು OpenAI ಸಾಕಷ್ಟು ಪ್ರಯತ್ನಗಳನ್ನು ಮಾಡಿದೆ ಎಂದು ವರದಿಯಾಗಿದೆ: ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಮಾನವ ಉದ್ದೇಶಗಳನ್ನು ಅನುಸರಿಸುವಂತೆ ಮತ್ತು ಮಾನವ ಮೌಲ್ಯಗಳಿಗೆ ಬದ್ಧವಾಗಿರುವಂತೆ ಮಾಡುವುದು ಹೇಗೆ?
ವಿಶ್ಲೇಷಕರು ಇದು ಕಷ್ಟಕರವಾದ ಗಣಿತದ ಸಮಸ್ಯೆ ಮಾತ್ರವಲ್ಲ (ನಮಗೆ ಬೇಕಾದುದನ್ನು AI ಅನ್ನು ಹೇಗೆ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು?), ಆದರೆ ತಾತ್ವಿಕವೂ ಆಗಿದೆ (ಮಾನವ ಮೌಲ್ಯಗಳ ವ್ಯತ್ಯಾಸದಿಂದಾಗಿ AI ಅನ್ನು ಮಾನವರೊಂದಿಗೆ ಜೋಡಿಸಲು ಯಾವುದೇ ಸಾರ್ವತ್ರಿಕ ಮಾರ್ಗವಿಲ್ಲ. ಗುಂಪಿನಿಂದ ಗುಂಪಿಗೆ ದೊಡ್ಡದಾಗಿದೆ ಮತ್ತು ಆಗಾಗ್ಗೆ ಸಂಘರ್ಷವಾಗುತ್ತದೆ).
ಅಂತಿಮವಾಗಿ ನೀವು ಅದರ ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ತಿಳಿದುಕೊಳ್ಳಲು ಆಸಕ್ತಿ ಹೊಂದಿದ್ದರೆನೀವು ಮೂಲ ಪೋಸ್ಟ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದು ಕೆಳಗಿನ ಲಿಂಕ್‌ನಲ್ಲಿ.