ਜੀਬੀ10 ਸੁਪਰਚਿਪ ਸਿਸਟਮ
ਸਿਸਟਮ ਜੋ NVIDIA GB10 ਗ੍ਰੇਸ ਬਲੈਕਵੈਲ ਸੁਪਰਚਿਪ 'ਤੇ ਅਧਾਰਿਤ ਹਨ।
| ਫੋਟੋ | ਉਤਪਾਦ | ਕੀਮਤ | ਸਮਰੱਥਾ |
|---|
ਮਾਡਲ ਸਮਰੱਥਾ ਨੂੰ ਸਮਝਣਾ
ਮਾਡਲ ਸਮਰੱਥਾ AI ਮਾਡਲ ਵਿੱਚ ਮੌਜੂਦ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ (ਜਿਵੇਂ 70B = 70 ਅਰਬ ਪੈਰਾਮੀਟਰ)। ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਵਧੇਰੇ ਮੈਮੋਰੀ ਅਤੇ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਪਰ ਇਹ ਬਿਹਤਰ ਤਰਕ ਅਤੇ ਆਉਟਪੁੱਟ ਕੁਆਲਟੀ ਦੇਣ ਦੇ ਸਮਰੱਥ ਹੁੰਦੇ ਹਨ।
ਸ਼ੁੱਧਤਾ (FP16 / FP8 / FP4) ਮਾਡਲ ਸਮਰੱਥਾ ਲਈ ਲੋੜੀਂਦੀ ਮੈਮੋਰੀ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀ ਹੈ: ਘੱਟ-ਸ਼ੁੱਧਤਾ ਫਾਰਮੈਟ ਹਰ ਕਦਮ ਹੇਠਾਂ (FP16 → FP8 → FP4) ਮੈਮੋਰੀ ਲੋੜਾਂ ਨੂੰ ਲਗਭਗ ਅੱਧਾ ਕਰ ਦਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਆਉਟਪੁੱਟ ਸ਼ੁੱਧਤਾ 'ਤੇ ਕੁਝ ਅਸਰ ਪੈਂਦਾ ਹੈ।
| ਮਾਡਲ ਆਕਾਰ | ਆਮ ਮੈਮੋਰੀ (FP16) | ਆਮ ਮੈਮੋਰੀ (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |