GB300 ਅਲਟਰਾ ਸੁਪਰਚਿਪ ਵਰਕਸਟੇਸ਼ਨਾਂ
ਐਨਵੀਡੀਆ GB300 ਗ੍ਰੇਸ ਬਲੈਕਵੈਲ ਅਲਟਰਾ ਸੁਪਰਚਿਪ 'ਤੇ ਆਧਾਰਿਤ ਵਰਕਸਟੇਸ਼ਨਾਂ।
| ਫੋਟੋ | ਉਤਪਾਦ | ਕੀਮਤ | ਸਮਰੱਥਾ |
|---|
ਮਾਡਲ ਸਮਰੱਥਾ ਨੂੰ ਸਮਝਣਾ
ਮਾਡਲ ਸਮਰੱਥਾ AI ਮਾਡਲ ਵਿੱਚ ਮੌਜੂਦ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ (ਜਿਵੇਂ 70B = 70 ਅਰਬ ਪੈਰਾਮੀਟਰ)। ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਵਧੇਰੇ ਮੈਮੋਰੀ ਅਤੇ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਪਰ ਇਹ ਬਿਹਤਰ ਤਰਕ ਅਤੇ ਆਉਟਪੁੱਟ ਕੁਆਲਟੀ ਦੇਣ ਦੇ ਸਮਰੱਥ ਹੁੰਦੇ ਹਨ।
ਸ਼ੁੱਧਤਾ (FP16 / FP8 / FP4) ਮਾਡਲ ਸਮਰੱਥਾ ਲਈ ਲੋੜੀਂਦੀ ਮੈਮੋਰੀ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀ ਹੈ: ਘੱਟ-ਸ਼ੁੱਧਤਾ ਫਾਰਮੈਟ ਹਰ ਕਦਮ ਹੇਠਾਂ (FP16 → FP8 → FP4) ਮੈਮੋਰੀ ਲੋੜਾਂ ਨੂੰ ਲਗਭਗ ਅੱਧਾ ਕਰ ਦਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਆਉਟਪੁੱਟ ਸ਼ੁੱਧਤਾ 'ਤੇ ਕੁਝ ਅਸਰ ਪੈਂਦਾ ਹੈ।
| ਮਾਡਲ ਆਕਾਰ | ਆਮ ਮੈਮੋਰੀ (FP16) | ਆਮ ਮੈਮੋਰੀ (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |