ਅਨੁਬੰਧ ਏ. HPC ਟਰੇਡਕਰਾਫਟ ਰੋਡ ਮੈਪ

“HPC ਟਰੇਡਕਰਾਫਟ” ਕੀ ਹੈ, ਜਿਵੇਂ ਮੈਂ ਇਸਨੂੰ ਜਾਣਦਾ ਹਾਂ? ਇਹ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਕੰਪਿਊਟਿੰਗ (HPC) ਹੈ ਜੋ ਸਿਗਨਲਸ ਇੰਟੈਲੀਜੈਂਸ (ਕੋਡ ਤੋੜਨਾ) ਦੀਆਂ ਲੋੜਾਂ ਵਿੱਚੋਂ ਪੈਦਾ ਹੋਈ। ਮੇਰੀ ਖਾਸ ਵਿਰਾਸਤ ਦੂਜੇ ਵਿਸ਼ਵ ਯੁੱਧ ਦੌਰਾਨ ਬਲੈਚਲੀ ਪਾਰਕ ਵਿੱਚ “ਟੰਨੀ” ਕੋਡ ਤੋੜਨ ਪ੍ਰੋਜੈਕਟ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ। ਇਸ ਨੇ ਇੱਕ ਅਜਿਹੀ ਅਜੀਬ ਦਿੱਖ ਵਾਲੀ ਮਸ਼ੀਨ ਬਣਾਈ ਕਿ ਇਸਨੂੰ ਚਲਾਉਣ ਵਾਲੀਆਂ “ਵ੍ਰੈਨਸ” ਨੇ ਇਸਦਾ ਨਾਂ ਹੀਥ ਰੌਬਿਨਸਨ ਰੱਖਿਆ। ਡਬਲਯੂ. ਹੀਥ ਰੌਬਿਨਸਨ ਇੱਕ ਕਾਰਟੂਨਿਸਟ ਸੀ ਜੋ ਸਧਾਰਨ ਕੰਮ ਕਰਨ ਲਈ ਬੇਹੱਦ ਗੁੰਝਲਦਾਰ ਮਸ਼ੀਨਾਂ ਦਿਖਾਉਣ ਲਈ ਜਾਣਿਆ ਜਾਂਦਾ ਸੀ।

ਜਦੋਂ ਅਮਰੀਕੀ ਜਲ ਸੈਨਾ ਦੇ ਸਾਬਕਾ ਸੈਨਿਕਾਂ ਨੇ ਇਸੇ ਮੰਤਵ ਲਈ ਇਹੋ ਜਿਹੀ ਚੀਜ਼ ਬਣਾਈ, ਤਾਂ ਉਨ੍ਹਾਂ ਨੇ ਇਸਦਾ ਨਾਂ ਕਾਰਟੂਨਿਸਟ ਰੂਬ ਗੋਲਡਬਰਗ ਦੀਆਂ ਬੇਹੱਦ ਗੁੰਝਲਦਾਰ ਮਸ਼ੀਨਾਂ ਦੇ ਸਨਮਾਨ ਵਿੱਚ ਗੋਲਡਬਰਗ ਰੱਖਿਆ, ਜਿਸ ਨਾਲ ਹੀਥ ਰੌਬਿਨਸਨ ਟਰੇਡਕਰਾਫਟ ਮੂਲ ਨੂੰ ਸਪੱਸ਼ਟ ਤੌਰ ’ਤੇ ਮੰਨਿਆ ਗਿਆ। ਇੰਜੀਨੀਅਰਿੰਗ ਰਿਸਰਚ ਐਸੋਸੀਏਟਸ (ERA) ਦੇ ਸੰਸਥਾਪਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਬਿਲ ਨੌਰਿਸ ਸੀ। ERA ਨੇ ਗੋਲਡਬਰਗ ਬਣਾਇਆ, ਅਤੇ ਸੀਮੌਰ ਕਰੇ ਨੂੰ ਵੀ ਨੌਕਰੀ ’ਤੇ ਰੱਖਿਆ। ਨੌਰਿਸ ਨੇ ਬਾਅਦ ਵਿੱਚ ਕੰਟਰੋਲ ਡਾਟਾ ਕਾਰਪੋਰੇਸ਼ਨ (CDC) ਦੀ ਸਥਾਪਨਾ ਕੀਤੀ ਅਤੇ ਕਰੇ ਛੇਤੀ ਹੀ ਉਨ੍ਹਾਂ ਦੇ ਸਭ ਤੋਂ ਛੋਟੇ ਕਰਮਚਾਰੀ ਵਜੋਂ ਸ਼ਾਮਲ ਹੋ ਗਿਆ। ਕਰੇ ਨੇ ਬਾਅਦ ਵਿੱਚ ਕਰੇ ਰਿਸਰਚ ਦੀ ਸਥਾਪਨਾ ਕੀਤੀ, ਜਿਸ ਵਿੱਚ ਮੈਂ 1980 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਇਆ।

ਇਸ ਤਰ੍ਹਾਂ ਕਰੇ ਰਿਸਰਚ ਵਿੱਚ ਮੈਂ ਜੋ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਟਰੇਡਕਰਾਫਟ ਸਿੱਖੀ, ਉਸਦਾ ਪਹਿਲਾਂ ਹੀ 40 ਸਾਲਾਂ ਦਾ ਇਤਿਹਾਸ ਸੀ। ਸ਼ਾਇਦ ਇਸ ਲਈ ਕਿ ਬਹੁਤ ਕੁਝ ਟਾਪ ਸੀਕ੍ਰੇਟ ਵਰਗੀਕ੍ਰਿਤ ਸੀ, ਅਸੀਂ ਕਦੇ ਨਹੀਂ ਲਿਖਿਆ ਕਿ ਅਸੀਂ ਚੀਜ਼ਾਂ ਕਿਵੇਂ ਕਰਦੇ ਸੀ। ਸੰਸਥਾਗਤ ਗਿਆਨ ਇੱਕ ਵਿਅਕਤੀ ਤੋਂ ਦੂਜੇ ਵਿਅਕਤੀ ਤੱਕ ਸਲਾਹਕਾਰੀ, ਸਹਿਯੋਗ, ਅਤੇ ਗੈਰ-ਰਸਮੀ ਸਿਖਲਾਈ ਵਜੋਂ ਪਾਸ ਕੀਤਾ ਗਿਆ ਸੀ।

1995 ਦੀ ਰੁਕਾਵਟ

ਲਗਭਗ 1995 ਵਿੱਚ, ਕੁਝ ਬਦਲ ਗਿਆ। ਅਸੀਂ ਗੁੰਝਲਦਾਰ ਵੇਰਵਿਆਂ ਨੂੰ ਐਬਸਟ੍ਰੈਕਸ਼ਨਾਂ ਦੇ ਪਿੱਛੇ ਲੁਕਾ ਦਿੱਤਾ, ਜਿਸ ਨਾਲ ਕਿਤੇ ਵੱਧ ਗੁੰਝਲਦਾਰ ਸਾਫਟਵੇਅਰ ਵਿਕਾਸ ਸੰਭਵ ਹੋਇਆ। ਸਾਨੂੰ ਹੁਣ ਸਿਸਟਮਾਂ ਨੂੰ ਸੰਪੂਰਨ ਰੂਪ ਵਿੱਚ ਸੋਚਣ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ, ਅਤੇ ਇਹ ਵੀ ਨਹੀਂ ਕਿ ਸਿੱਧੇ ਹਾਰਡਵੇਅਰ (ਬੇਅਰ ਮੈਟਲ) ’ਤੇ ਚੀਜ਼ਾਂ ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੀਆਂ ਸਨ।

ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਕੰਪਿਊਟਿੰਗ ਲਈ, ਇਹ ਇੱਕ ਸਮੱਸਿਆ ਪੇਸ਼ ਕਰਦਾ ਹੈ। HPC ਟਰੇਡਕਰਾਫਟ ਸੀਮਾ-ਆਧਾਰਿਤ ਡਿਜ਼ਾਈਨ ਹੀ ਰਹਿੰਦੀ ਹੈ, ਪਰ ਅਸੀਂ ਹੁਣ ਉਨ੍ਹਾਂ ਸੀਮਾਵਾਂ ਨੂੰ ਨਹੀਂ ਦੇਖ ਸਕਦੇ ਜੋ ਡਿਜ਼ਾਈਨ ਨੂੰ ਸੂਚਿਤ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਇੱਕ ਸੀਮਿਤ-ਦਾਇਰੇ ਦਾ ਵਿਸ਼ਾ ਬਣ ਗਿਆ ਜਿਸ ਨੂੰ ਸਕੂਲ (ਜਾਂ ਕੰਮ ਵਾਲੀ ਥਾਂ) ਵਿੱਚ ਬਹੁਤ ਘੱਟ ਕਵਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਇਸ ਦੌਰਾਨ, 1995 ਤੋਂ ਪਹਿਲਾਂ ਦਾ ਅਪ੍ਰਗਟ ਗਿਆਨ ਕਰਮਚਾਰੀ ਵਰਗ ਵਿੱਚੋਂ ਸੇਵਾਮੁਕਤ ਹੋ ਰਿਹਾ ਹੈ। ਸੰਭਾਲਕਾਰ (Custodian; ਰੂਸੀ ਸ਼ਬਦ ਵਧੇਰੇ ਖਾਸ ਹੈ, хранитель) ਵਜੋਂ ਮੇਰੀ ਭੂਮਿਕਾ ਇਸ ਗਿਆਨ ਨੂੰ ਤੁਹਾਡੇ ਨਾਲ ਇੱਕ ਜੀਵਤ ਅਭਿਆਸ ਵਜੋਂ ਸਾਂਝਾ ਕਰਨਾ ਹੈ।

ਦੋ ਸੀਰੀਜ਼

ਮੈਂ HPC ਟਰੇਡਕਰਾਫਟ ਸਿਖਾਉਣ ਲਈ ਦੋ ਕਿਤਾਬ ਸੀਰੀਜ਼ ਬਣਾਈਆਂ।

  • “HPC ਟਰੇਡਕਰਾਫਟ ਅਪ੍ਰੈਂਟਿਸਸ਼ਿਪ”, ਤਿੰਨ ਕਿਤਾਬਾਂ, ਉਹ ਸੰਸਥਾਗਤ ਟਰੇਡਕਰਾਫਟ ਹੈ ਜਿਵੇਂ ਮੈਂ ਇਸਨੂੰ ਸਿੱਖਿਆ ਅਤੇ ਅਭਿਆਸ ਕੀਤਾ, ਅਤੇ ਅਜੇ ਵੀ ਅਭਿਆਸ ਕਰਦਾ ਹਾਂ। ਟਰੇਡਕਰਾਫਟ ਬੇਕਾਰ ਹੈ ਜੇ ਇਹ ਦੁਹਰਾਈ ਨਾ ਜਾ ਸਕੇ।
    • ਦ AI ਕਵਰਅਪ: ਕੀ ਅਸੀਂ ਸੱਚਮੁੱਚ ਭੁਲੇਖੇ ਵਿੱਚ ਹਾਂ? ਮੇਰੀ ਦੁਹਰਾਈ ਵਿਧੀ ਸਿਖਾਉਂਦੀ ਹੈ।
    • ਨੋਬਡੀ ਬਟ ਅਸ: ਕਰੇ ਰਿਸਰਚ ਦੇ ਸਾਫਟਵੇਅਰ ਦਾ ਇਤਿਹਾਸ ਅਤੇ ਦੁਨੀਆ ਦੇ ਸਭ ਤੋਂ ਤੇਜ਼ ਸੁਪਰਕੰਪਿਊਟਰ ਦਾ ਨਿਰਮਾਣ ਸਿਖਾਉਂਦੀ ਹੈ ਕਿ ਅਸੀਂ ਜੋ ਕੁਝ ਕੀਤਾ, ਉਹ ਕਿਵੇਂ ਪੂਰਾ ਕੀਤਾ।
    • ਦ ਵਿਜ਼ਰਡਸ ਲੈਂਸ: ਲਰਨ ਟੂ ਥਿੰਕ ਲਾਈਕ AI ਸਿਸਟਮ ਸੋਚ ਸਿਖਾਉਂਦੀ ਹੈ, ਲੋਡ ਅਧੀਨ HPC ਸਿਸਟਮਾਂ ਦੇ ਨਜ਼ਦੀਕੀ ਨਿਰੀਖਣ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਦੇ ਨਾਲ, ਆਧੁਨਿਕ AI ਨੂੰ ਉਦਾਹਰਣ ਵਜੋਂ ਵਰਤਦੇ ਹੋਏ।
    • ਉੱਪਰ ਦੀਆਂ ਤਿੰਨ ਕਿਤਾਬਾਂ ਹਨ: ਪ੍ਰਸਾਰਣ ਪ੍ਰੋਟੋਕਾਲ; HPC ਡਿਜ਼ਾਈਨ; HPC ਸੰਚਾਲਨ।
  • “ਦ HPC ਟਰੇਡਕਰਾਫਟ ਮਾਸਟਰ ਪ੍ਰੈਕਟੀਸ਼ਨਰ”, ਤਿੰਨ ਕਿਤਾਬਾਂ, ਲੇਖਕ ਨੂੰ ਖੁੱਲ੍ਹ ਕੇ ਅਤੇ ਮਜ਼ੇ ਲੈਂਦੇ ਹੋਏ, HPC ਟਰੇਡਕਰਾਫਟ ਵਿੱਚ ਆਪਣੀ ਮਾਹਰਤਾ ਪ੍ਰਗਟ ਕਰਦੇ ਹੋਏ ਦਿਖਾਉਂਦੀਆਂ ਹਨ।
    • ਉੱਚ-ਜੋਖਮ ਵਾਲੇ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਨੈਤਿਕਤਾ: ਸ਼ਕਤੀ ਅਸੰਤੁਲਨ ਦੇ ਅੰਦਰ ਨਿੱਜੀ ਬਚਾਅ ਇੱਕ ਨਵੇਂ ਗ੍ਰੈਜੂਏਟ ਨੂੰ ਅਨੈਤਿਕ ਕਾਰਪੋਰੇਟ ਵਾਤਾਵਰਣ ਵਿੱਚ ਦੂਰ ਨਾ ਹੋਣ ਵਾਲੇ ਸ਼ਕਤੀ ਅਸੰਤੁਲਨ ਦਾ ਸਾਹਮਣਾ ਕਰਨ ਲਈ ਨਿੱਜੀ ਬਚਾਅ ਵਾਸਤੇ ਤਿਆਰ ਕਰਦੀ ਹੈ।
    • ਅਣਕਿਆਸੇ ਇਤਿਹਾਸ: ਪੈਟਰਨ ਲੱਭਣੇ ਅਤੇ ਉਹ ਸਬੰਧ ਬਣਾਉਣੇ ਜੋ ਹੋਰ ਲੋਕ ਗੁਆ ਦਿੰਦੇ ਹਨ ਕੰਪਿਊਟਰ ਸਾਇੰਸ ਤੋਂ ਬਾਹਰ ਲਾਗੂ ਕੀਤੇ ਗਏ ਡੀਬੱਗਿੰਗ ਹੁਨਰਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੀ ਹੈ, ਉਨ੍ਹਾਂ ਦੀ ਮਹੱਤਤਾ ਅਤੇ ਸਦੀਵੀ ਸੁਭਾਅ ਦਿਖਾਉਂਦੇ ਹੋਏ।
    • ਸੀਮਾ-ਆਧਾਰਿਤ ਡਿਜ਼ਾਈਨ: ਆਧੁਨਿਕ LLM ਆਰਕੀਟੈਕਚਰ ਸਮਝਣ ਵੱਲ ਇੱਕ ਅਣਕਿਆਸਾ ਦਰਵਾਜ਼ਾ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ 1986 ਦੀ ਟਰੇਡਕਰਾਫਟ ਸਿੱਧੇ ਤੌਰ ’ਤੇ ਆਧੁਨਿਕ AI ਟ੍ਰਾਂਸਫਾਰਮਰ ਡਿਜ਼ਾਈਨ ਅਤੇ ਵਰਤੋਂ ’ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ।

ਕਿਤਾਬ 1. ਦ AI ਕਵਰਅਪ: ਕੀ ਅਸੀਂ ਸੱਚਮੁੱਚ ਭੁਲੇਖੇ ਵਿੱਚ ਹਾਂ?

ਮੈਂ ਕਿਤਾਬ 1 ਨੂੰ ਵਾਰ-ਵਾਰ ਸੁਧਾਰ ਕਰਕੇ ਬਣਾਈ, ਜਦੋਂ ਮੈਂ ਇਸ ਗੱਲ ਦੇ ਦੁਆਲੇ ਘੁੰਮਦਾ ਰਿਹਾ ਕਿ ਮੇਰੇ ਕੋਲ ਅਸਲ ਵਿੱਚ ਸਾਂਝਾ ਕਰਨ ਲਈ ਕੀ ਹੈ, ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਸਹੀ ਵਿਅਕਤੀਆਂ ਲਈ ਕਿਵੇਂ ਪਹੁੰਚਯੋਗ ਬਣਾਇਆ ਜਾਵੇ।

  • ਮੇਰੀ ਸਿਖਾਉਣ ਦੀ ਵਿਧੀ ਦਿਖਾਉਣੀ — ਇੱਕ ਅਜਿਹਾ ਪਾਠ ਜੋ ਖੁਦ ਉਹੀ ਕਰਦਾ ਹੈ ਜੋ ਇਹ ਸਿਖਾਉਂਦਾ ਹੈ, ਜਿਸਨੂੰ ਮੈਂ ਦੁਹਰਾਈ ਦੇ ਢੰਗ ਵਜੋਂ ਬਿਆਨ ਕਰਦਾ ਹਾਂ।
  • ਫਿਲਟਰ ਅਤੇ ਯੋਗਤਾ ਵਜੋਂ ਕੰਮ ਕਰਨਾ, ਤਾਂ ਜੋ ਪਾਠਕਾਂ ਕੋਲ ਦੋ ਵੱਡੀਆਂ ਮੁੱਖ ਕਿਤਾਬਾਂ ਖਰੀਦਣ/ਵਾਸਤੇ ਵਚਨਬੱਧ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਲੋੜੀਂਦੀ ਜਾਣਕਾਰੀ ਹੋਵੇ।
  • ਨੋਬਡੀ ਬਟ ਅਸ ਨੂੰ ਵਿਜ਼ਰਡਸ ਲੈਂਸ ਦੀ ਪੂਰਵ-ਸ਼ਰਤ ਵਜੋਂ ਬਿਆਨ ਕਰਨਾ, ਜਿਸਨੂੰ ਪਾਠਕ ਸਮੱਸਿਆਜਨਕ ਸਮਝ ਸਕਦੇ ਹਨ ਜੇ ਉਹ AI ਲਈ ਆਏ ਹੋਣ। ਨੋਬਡੀ ਬਟ ਅਸ ਤੋਂ ਬਿਨਾਂ, ਪਾਠਕਾਂ ਕੋਲ ਉਸ ਸਿਸਟਮ ਪਹੁੰਚ ਦੀ ਘਾਟ ਹੈ ਜਿਸਨੂੰ ਸਿਖਾਉਣਾ ਅਸੀਂ 1995 ਦੇ ਆਸਪਾਸ ਬੰਦ ਕਰ ਦਿੱਤਾ ਸੀ।

ਕ੍ਰਮ ਖੁਦ ਹੀ ਘੜਤ ਹੈ। ਇਹ Cray Research ਦੇ ਅੰਦਰ ਦਾ ਸਿਖਲਾਈ ਕ੍ਰਮ ਸੀ।

ਕਿਤਾਬ 2. Nobody but Us: A History of Cray Research’s Software and the Building of the World’s Fastest Supercomputer

ਇਹ ਕਿਤਾਬ ਹੁਣ ਤੱਕ ਸਭ ਤੋਂ ਵੱਡੀ ਅਤੇ ਸਭ ਤੋਂ ਗਹਿਰੀ ਹੈ। ਹਾਲਾਂਕਿ, ਵਿਅਕਤੀ-ਆਧਾਰਿਤ ਸਮੀਖਿਆਵਾਂ ਲਗਾਤਾਰ ਇਸ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ “ਅਸਮਾਨ” ਦੱਸਦੀਆਂ ਹਨ। ਇਹ ਧਾਰਨਾ ਇਸ ਲਈ ਬਣਦੀ ਹੈ ਕਿਉਂਕਿ ਕਿਤਾਬ Edwin Abbott ਦੇ Flatland ਵਿਰੋਧਾਭਾਸ ਨੂੰ ਪਾਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੀ ਹੈ। ਘੜਤ ਵਾਲੇ ਟੈਕਸਟ ਦੇ ਵਿਚਕਾਰ “ਇੱਥੇ ਦੇਖੋ” ਗੁਣਵੱਤਾ ਵਿੱਚ ਅਸਮਾਨਤਾ ਲੱਗਦੀ ਹੈ ਜਿਸ ਨੂੰ ਸੰਪਾਦਕ ਦੀ ਲੋੜ ਲੱਗ ਸਕਦੀ ਹੈ, ਅਤੇ ਕੋਈ ਇਨਸਾਨ ਵੀ ਇਸੇ ਤਰ੍ਹਾਂ ਦੇਖ ਸਕਦਾ ਹੈ, ਪਰ “ਇੱਥੇ ਦੇਖੋ” ਅਸਲ ਵਿੱਚ ਉਸ ਚੀਜ਼ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਬਹੁਤੇ ਪਾਠਕ ਆਪਣੇ ਆਪ ਦੇਖਣ ਲਈ ਲੋੜੀਂਦੀ ਸ਼ਬਦਾਵਲੀ ਹੀ ਨਹੀਂ ਰੱਖਦੇ।

ਇਹ ਕਿਤਾਬ ਲੇਖਕ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਨ (ਦਾਅਵੇ ਰਾਹੀਂ ਨਹੀਂ ਸਗੋਂ ਪ੍ਰਦਰਸ਼ਨ ਰਾਹੀਂ) ਦਾ ਇੱਕ ਅਹਿਮ ਮਕਸਦ ਪੂਰਾ ਕਰਦੀ ਹੈ। ਕਿਉਂ? ਕਿਉਂਕਿ ਅਗਲੀ ਕਿਤਾਬ ਅਜਿਹੇ ਦਾਅਵੇ ਕਰਦੀ ਹੈ ਜੋ ਦਿਖਣ ਵਿੱਚ ਬੇਸਿਰ-ਪੈਰ ਲੱਗਦੇ ਹਨ ਅਤੇ ਜੋ ਆਖਰੀ ਅਧਿਆਏ ਤੱਕ ਪੜ੍ਹਨ ਤੋਂ ਬਿਨਾਂ ਸਾਬਤ ਨਹੀਂ ਹੁੰਦੇ। ਇਹ ਦਾਅਵੇ “Nobody but Us” ਦੀ ਹੁਨਰਕਾਰੀ ਵਿੱਚ ਜੜ੍ਹੇ ਹੋਏ ਹਨ।

Cray Research ਨੇ ਕੀ ਹਾਸਲ ਕੀਤਾ, ਇਹ ਚੰਗੀ ਤਰ੍ਹਾਂ ਦਸਤਾਵੇਜ਼ੀ ਹੈ। ਇਹ ਕਿਤਾਬ ਕਿਵੇਂ ਅਸੀਂ ਇਹ ਕੀਤਾ, ਇਹ ਸਿਖਾਉਂਦੀ ਹੈ। ਪਰ ਇੱਕ ਹੋਰ ਪਹਿਲੂ ਵੀ ਹੈ, ਜਿਹੜਾ ਅਗਲੀ ਕਿਤਾਬ ਹੈ।

ਕਿਤਾਬ 3. The Wizard’s Lens: Learn to Think Like AI

Jay Forrester, Donella Meadows, Eli Goldratt, Robert Gagné, ਅਤੇ Anders Ericsson ਬਾਰੇ ਸੋਚੋ, ਜਿਨ੍ਹਾਂ ਸਾਰਿਆਂ ਦਾ ਹਵਾਲਾ ਕਿਤਾਬ ਵਿੱਚ ਦਿੱਤਾ ਗਿਆ ਹੈ। ਇਹ HPC ਸਿਸਟਮਾਂ ਨੂੰ ਧਿਆਨ ਨਾਲ ਦੇਖਣ ਅਤੇ ਪਛਾਣਨ ਦੀ ਕਲਾ ਹੈ, ਜਿਸ ਵਿੱਚ AI ਨੂੰ ਕਾਰਜਸ਼ੀਲ ਉਦਾਹਰਣ ਵਜੋਂ ਵਰਤਿਆ ਗਿਆ ਹੈ। ਇਹ Cray Research ਦਾ ਉਹ ਰਵੱਈਆ ਹੈ ਜੋ ਰੁਕਾਵਟਾਂ ਨੂੰ ਮੌਕਿਆਂ ਵਾਂਗ ਵੇਖਦਾ ਹੈ। ਰੁਕਾਵਟਾਂ ਵੱਧ ਤੋਂ ਵੱਧ ਲਾਭ-ਬਿੰਦੂ ਦੀ ਪਛਾਣ ਕਰਦੀਆਂ ਹਨ। Meadows ਲਾਭ-ਬਿੰਦੂਆਂ ਦੀ ਸੂਚੀ ਦਿੰਦੀ ਹੈ। ਆਪਣੇ ਮਕਸਦ ਲਈ, ਮੈਂ ਉਹਦੀ ਸੂਚੀ ਨੂੰ Liebig ਦੇ Law of the Minimum (ਪੌਦੇ ਦਾ ਵਾਧਾ ਸਭ ਤੋਂ ਘੱਟ ਮਿਲਣ ਵਾਲੇ ਪੋਸ਼ਕ ਤੱਤ ਤੱਕ ਸੀਮਿਤ ਹੁੰਦਾ ਹੈ) ਵਿੱਚ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹਾਂ। ਇਹ ਸਿਧਾਂਤ Goldratt ਦੀ The Goal ਨਾਲ ਮਿਲਦਾ ਹੈ।

ਪਿਛਲੀ ਕਿਤਾਬ ਦੇ ਹੁਨਰਾਂ ਦੀ ਥਾਂ, ਇਹ ਕਿਤਾਬ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਬਦਲਣ, ਸਿਸਟਮਾਂ ਨੂੰ ਇੱਕ ਸੰਪੂਰਨ ਇਕਾਈ ਵਜੋਂ ਦੇਖਣ, ਸੀਮਾ ’ਤੇ ਸਿਸਟਮਾਂ ਵਿਚਕਾਰ ਆਪਸੀ ਪ੍ਰਭਾਵ, ਅਤੇ ਇਸ ਗੱਲ ਤੋਂ ਧਿਆਨ ਨਾ ਭਟਕਾਉਣ ਦਾ ਰਵੱਈਆ ਸਿਖਾਉਂਦੀ ਹੈ ਕਿ ਇਹ ਪਹਿਲਾਂ ਕਦੇ ਨਹੀਂ ਕੀਤਾ ਗਿਆ।

ਇਸ ਨਾਲ ਮੁੱਖ ਲੜੀ, “HPC Tradecraft Apprenticeship” ਖਤਮ ਹੁੰਦੀ ਹੈ।

ਕਿਤਾਬ 4. Ethics in High-Stakes Environments: Personal Survival Within a Power Imbalance

ਇਹ ਕਿਤਾਬ ਅਜੇ ਵੀ ਪ੍ਰਗਤੀ ਵਿੱਚ ਹੈ। ਮੇਰਾ ਆਧਾਰ ਇਹ ਹੈ ਕਿ ਅਸੀਂ ਕੰਪਿਊਟਰ ਸਾਇੰਸਦਾਨਾਂ ਨੂੰ, ਖਾਸ ਕਰ ਹਾਲ ਹੀ ਵਿੱਚ ਕਾਲਜ ਗ੍ਰੈਜੂਏਟ ਹੋਏ ਲੋਕਾਂ ਨੂੰ, ਕਾਰਪੋਰੇਟ ਸ਼ਕਤੀ-ਅਸੰਤੁਲਨ ਵਿੱਚੋਂ ਬਚ ਨਿਕਲਣ ਦੇ ਹੁਨਰ ਨਹੀਂ ਦਿੰਦੇ। ਮੈਂ ਇਸ ਸ਼ਕਤੀ-ਅਸੰਤੁਲਨ ਬਾਰੇ ਦੋ ਲੇਖ ਲਿਖੇ ਹਨ। ਇਹ ਉਹ ਕੱਚਾ ਮਾਲ ਹੈ ਜਿਸ ਤੋਂ ਮੈਂ ਕਿਤਾਬ ਲਿਖਣ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਿਹਾ ਹਾਂ, ਪਰ ਲੇਖਾਂ ਦੀ ਖੁਦ ਦੀ ਤਤਕਾਲੀ ਅਹਿਮੀਅਤ ਹੈ, ਇਸ ਲਈ ਇਹਨਾਂ ਨੂੰ ਪ੍ਰਗਤੀ ਵਿੱਚ ਚੱਲਦੇ ਕੰਮ ਵਜੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ।

ਕਿਤਾਬ 5. Unexpected Histories: Spotting Patterns and Making Connections That Others Miss

ਇਹ ਕਿਤਾਬ 15 ਲੇਖਾਂ/ਅਧਿਆਵਾਂ, 49,000 ਸ਼ਬਦਾਂ ਦੀ ਹੈ, ਜੋ ਮੂਲ ਸਰੋਤਾਂ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਹੁਨਰਕਾਰੀ ਅਤੇ “ਬਿੰਦੂਆਂ ਨੂੰ ਜੋੜ ਕੇ” ਦਿਲਚਸਪ ਬਿਰਤਾਂਤ ਬਣਾਉਣ ਦੀ ਕਲਾ ਦਰਸਾਉਂਦੀ ਹੈ ਜੋ ਹੋਰਾਂ ਤੋਂ ਛੁੱਟ ਜਾਂਦੇ ਹਨ। ਭਾਵੇਂ ਇਸ ਵਿੱਚ ਤਕਨੀਕੀ ਤੌਰ ’ਤੇ ਕੁਝ ਵੀ ਔਖਾ ਨਹੀਂ ਹੈ, ਕਈਆਂ ਵਿੱਚ ਇਹ ਯੋਗਤਾ ਲੱਗਦੀ ਹੈ ਅਤੇ ਕਈਆਂ ਵਿੱਚ ਨਹੀਂ। ਕਿਤਾਬ 2, Nobody but Us, ਵਿੱਚ ਇੱਕ ਅਧਿਆਏ ਹੈ ਕਿ William Friedman ਸੂਝ ਵਿਕਸਿਤ ਕਰਨ ਬਾਰੇ ਕੀ ਕਹਿੰਦਾ ਹੈ। ਇਹ ਕਿਤਾਬ ਇਸ ਆਧਾਰ ਨੂੰ ਵਿਕਸਿਤ ਕਰਨ ਦਾ ਅਭਿਆਸ ਹੈ।

ਸਦੀਆਂ ਦੇ ਪਾਰ ਅਤੇ ਕੰਪਿਊਟਿੰਗ ਤੋਂ ਬਾਹਰ ਦਿਖਾਈ ਗਈ ਹੁਨਰਕਾਰੀ ਸਥਿਰ ਤੱਤ (invariants) ਦਰਸਾਉਂਦੀ ਹੈ, ਭਾਵ ਅਜਿਹੇ ਹੁਨਰ ਜੋ ਕਿਸੇ ਖਾਸ ਤਕਨਾਲੋਜੀ ਨਾਲ ਬੱਝੇ ਨਹੀਂ ਹੁੰਦੇ, ਅਤੇ ਨਾਲ ਹੀ Dr. Piotr Galperin ਦੇ ਘੜਤ ਦੇ ਆਖਰੀ ਪੜਾਅ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।

ਕਿਤਾਬ 6. Constraint-Based Design: An Unexpected Gateway to Understanding Modern LLM Architecture

1986 ਵਿੱਚ, ਮੈਂ Cray I/O Subsystem ਦੇ ਅੰਦਰ ਇੱਕ bare metal ਡਿਵਾਈਸ ਡਰਾਈਵਰ ਮਸ਼ਕਰੀ ਵਜੋਂ ਅਤੇ ਲੇਖਕ ਦੀ ਸਮਰੱਥਾ ਦਿਖਾਉਣ ਲਈ ਲਿਖਿਆ। ਇਹ ਇੱਕ ਟੈਕਸਟ ਐਡਵੈਂਚਰ ਖੇਡ ਹੈ, Swiss Adventure, ਜੋ Colossal Cave Adventure ਤੋਂ ਪ੍ਰੇਰਿਤ ਹੈ। ਜੋ ਲਾਹੇਵੰਦ ਹੈ, ਉਹ ਇਸ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਸਮੂਹ ਹੈ।

ਖੇਡ ਆਪਣੇ ਆਪ ਵਿੱਚ ਸਾਹਸੀ (adventurer) ਨੂੰ ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਸਿਖਲਾਈ ਵਿੱਚ ਧੱਕਦੀ ਹੈ, ਜਿੱਥੇ ਉਸਨੂੰ ਅਪੂਰਨ ਜਾਣਕਾਰੀ ਨਾਲ ਅਣਜਾਣ ਪ੍ਰਸੰਗ ਵਿੱਚ ਕੰਮ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਮੈਂ ਇਸ ਦਾ ਇੱਕ PHP/Laravel/React.js ਵਰਜਨ ਬਣਾਇਆ ਜੋ ਮੇਰੀ ਵੈੱਬਸਾਈਟ ’ਤੇ ਲਾਈਵ ਹੈ, stateless ਹੈ, ਜਿਸ ਨੂੰ ਕਿਸੇ login ਜਾਂ registration ਜਾਂ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ। ਲਾਈਵ ਵਰਜਨ ਖੇਡ ਨੂੰ ਖੁਦ operator console ’ਤੇ ਟਾਈਪ ਕਰਨ ਵਾਂਗ ਪ੍ਰਸਤੁਤ ਕਰਦਾ ਹੈ, ਨਾਲ ਸਾਈਡ ਡਿਸਪਲੇਅ (ਅਸਲ ਵਿੱਚ event traces) ਦੇ ਨਾਲ ਜੋ assembly language overlays ਵਿੱਚੋਂ ਪ੍ਰਵਾਹ, ਅਤੇ LLM attention mechanism ਦੇ ਪੈਟਰਨਾਂ ਵਿੱਚੋਂ ਪ੍ਰਵਾਹ ਦਿਖਾਉਂਦੇ ਹਨ।

ਇਸ ਤਰ੍ਹਾਂ ਇਹ ਕਿਤਾਬ ਦਾ ਇੱਕ executable ਸਾਥੀ ਹੈ। 1986 ਦਾ source code ਅਤੇ PHP engine ਇੱਕ ਪਬਲਿਕ GitHub repository ਵਿੱਚ ਹਨ, ਜਿਸ ਵਿੱਚ ਸਭ ਤੋਂ ਹਾਲੀਆ ਟਾਈਮਸਟੈਂਪ May 2019 ਦਾ ਹੈ, ਜੋ GPT ਅਤੇ Claude ਦੇ ਜਨਤਕ ਤੌਰ ’ਤੇ ਜਾਣੇ-ਪਛਾਣੇ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਦਾ ਹੈ।

  • ਲਾਈਵ ਵੈੱਬਸਾਈਟ ਇੱਥੇ ਹੈ: Swiss Adventure
  • ਅਸੈਂਬਲਰ ਅਤੇ PHP ਸੋਰਸ ਕੋਡ ਇੱਥੇ ਹੈ: SwissAdventure

ਇਸ ਵਿੱਚ ਦਿਲਚਸਪੀ ਵਾਲੇ ਕਈ ਪਹਿਲੂ ਹਨ।

UPDATE

ਸੋਰਸ ਕੋਡ UPDATE ਫਾਰਮੈਟ ਵਿੱਚ ਹੈ। ਸੈਕੰਡਰੀ ਸਰੋਤ (ਵਿਕੀਪੀਡੀਆ) ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ CDC UPDATE ਸਭ ਤੋਂ ਪੁਰਾਣੀਆਂ ਜਾਣੀਆਂ-ਪਛਾਣੀਆਂ ਸੋਰਸ ਕੋਡ ਮੈਨੇਜਮੈਂਟ ਸਿਸਟਮਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਜੋ 1950ਵਿਆਂ ਦੇ ਅਖੀਰ ਜਾਂ 1960ਵਿਆਂ ਦੇ ਸ਼ੁਰੂ ਦੀ ਹੈ, ਅਤੇ ਪੰਚ ਕਾਰਡ ਆਧਾਰਿਤ ਸੀ। ਮੈਂ ਨਿੱਜੀ (ਪ੍ਰਾਇਮਰੀ ਸਰੋਤ ਵਜੋਂ) ਜਾਣਕਾਰੀ ਤੋਂ ਜਾਣਦਾ ਹਾਂ ਕਿ ਪਹਿਲਾ Cray Research ਸਾਫਟਵੇਅਰ ਵਿਅਕਤੀ ਸਿੱਧਾ CDC ਤੋਂ ਭਰਤੀ ਕੀਤਾ ਗਿਆ ਸੀ। ਅੰਦਰੂਨੀ ਬਿਆਨਾਂ ਤੋਂ ਮੈਂ ਜਾਣਦਾ ਹਾਂ ਕਿ CDC ਦੇ UPDATE ਨੂੰ Cray Research ਵਿੱਚ ਪੋਰਟ ਕੀਤਾ ਗਿਆ ਸੀ। 1980-1982 ਵਿੱਚ Boeing Computer Services ਵਿੱਚ ਸਾਈਟ ’ਤੇ ਰਹਿੰਦੇ ਹੋਏ, ਫਰੰਟ ਐਂਡ ਸਿਸਟਮ CDC Kronos ਸਨ। ਮੈਂ CDC UPDATE ਅਤੇ Cray Research Update ਨੂੰ ਨਾਲ-ਨਾਲ ਵਰਤਿਆ। ਇਸ ਲਈ ਮੈਂ ਇਸਦੇ ਮੂਲ ਬਾਰੇ ਸਪਸ਼ਟ ਹਾਂ।

UPDATE ਫਾਰਮੈਟ ਵਿੱਚ ਲਾਈਵ ਕੋਡ ਦੇ ਮੌਜੂਦਾ ਉਦਾਹਰਣ ਬਹੁਤ ਘੱਟ ਹਨ। ਇਹ ਇੱਕ GitHub ’ਤੇ ਜਨਤਕ ਤੌਰ ’ਤੇ ਉਪਲਬਧ ਹੈ।

APML

ਜਦੋਂ CRAY-1/S ਨੂੰ ਮੇਨਫ੍ਰੇਮ CPU ਦੇ ਨਾਲ ਇੱਕ ਨਵੇਂ I/O ਸਬਸਿਸਟਮ (IOS) ਨਾਲ ਐਲਾਨਿਆ ਗਿਆ ਸੀ, ਤਾਂ IOS ਨੂੰ “A” ਪ੍ਰੋਸੈਸਰ ਵਜੋਂ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ ਸੀ। 1980 ਦੇ ਮੌਜੂਦਾ ਦਸਤਾਵੇਜ਼ ਇਸਨੂੰ ਇਸੇ ਤਰ੍ਹਾਂ ਕਹਿੰਦੇ ਸਨ। CPU ਅਸੈਂਬਲਰ CAL ਸੀ, Cray Assembly Language। IOS ਅਸੈਂਬਲਰ ਨੂੰ APML ਕਿਹਾ ਜਾਂਦਾ ਸੀ, “A” ਪ੍ਰੋਸੈਸਰ ਮੈਕਰੋ ਭਾਸ਼ਾ।

1986 ਦਾ ਸੋਰਸ ਕੋਡ ਇੱਕ ਲਾਈਵ, ਸੰਪੂਰਨ, ਪੈਕੇਜ ਹੈ, ਅਤੇ ਸ਼ਾਇਦ ਕਿਸੇ ਅਸਲ Cray Research IOS ਪ੍ਰੋਗਰਾਮਰ ਦੁਆਰਾ ਲਿਖੀ ਗਈ IOS ਪ੍ਰੋਗਰਾਮਿੰਗ ਦੀ ਇੱਕਲੌਤੀ ਮਹੱਤਵਪੂਰਨ ਉਦਾਹਰਣ ਹੈ। ਇਹ (ਇੱਕ ਵਿਦਿਆਰਥੀ ਵਜੋਂ) IOS ਪ੍ਰੋਗਰਾਮਿੰਗ ਸਿਖਾਉਣ ਵਾਲੀ ਇੱਕ ਕਲਾਸ ਦੌਰਾਨ ਲਿਖਿਆ ਗਿਆ ਸੀ, ਪਰ ਬਾਅਦ ਵਿੱਚ ਮੈਂ 10 ਸਾਲਾਂ ਲਈ IOS ਗਰੁੱਪ ਦਾ ਹਿੱਸਾ ਸੀ, ਇਸ ਲਈ ਮੈਂ ਪ੍ਰਾਇਮਰੀ ਸਰੋਤ ਵਜੋਂ ਇਹ ਦਾਅਵਾ ਕਰ ਸਕਦਾ ਹਾਂ ਕਿ ਇਹ ਪ੍ਰਮਾਣਿਕ ਅਤੇ ਪ੍ਰਤੀਨਿਧ ਹੈ।

“ਲਾਈਵ” ਇਸ ਅਰਥ ਵਿੱਚ ਗੁਮਰਾਹਕੁੰਨ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਚਲਾਉਣ ਲਈ ਕੋਈ ਸਿਸਟਮ ਹੁਣ ਮੌਜੂਦ ਨਹੀਂ ਹੈ। ਪਰ PHP ਵਿੱਚ ਸਟੀਕ ਪੋਰਟ ਸੱਚਮੁੱਚ ਲਾਈਵ ਅਤੇ ਆਨਲਾਈਨ ਹੈ।

ਐਡਵੈਂਚਰਰ ਅਨੁਭਵ

ਐਡਵੈਂਚਰਰ ਅਨੁਭਵ ਵਿੱਚ ਓਪਰੇਸ਼ਨਲ ਟਰੇਨਿੰਗ ਦੇ ਕਈ ਖੇਤਰਾਂ ਵਰਗੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ। ਮੈਂ ਇਸਨੂੰ ਜਾਣ ਬੁੱਝ ਕੇ Colossal Cave Adventure ਅਤੇ Zork ਤੋਂ ਪ੍ਰੇਰਿਤ ਹੋ ਕੇ ਲਿਖਿਆ। ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਦੋ ਪ੍ਰੋਗਰਾਮਾਂ ਦੇ ਲੇਖਕਾਂ ਨੇ ਓਪਰੇਸ਼ਨਲ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਕੰਮ ਕੀਤਾ। ਇਸ ਲਈ ਮੈਂ ਗਠਨ ਦਾ ਇਹ ਪਹਿਲੂ ਖੁਦ ਨਹੀਂ ਬਣਾਇਆ ਸੀ। ਇਹ ਤਾਂ ਪਹਿਲਾਂ ਹੀ ਟੈਕਸਟ ਐਡਵੈਂਚਰ ਗੇਮਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਸੀ।

ਰੁਕਾਵਟ-ਆਧਾਰਿਤ ਡਿਜ਼ਾਇਨ

ਸੋਰਸ ਕੋਡ ਵਿੱਚ ਰੁਕਾਵਟ-ਆਧਾਰਿਤ ਡਿਜ਼ਾਇਨ ਦੇ ਕਈ ਪੱਧਰ ਅਤੇ ਪਹਿਲੂ ਹਨ, ਅਤੇ ਅਸੈਂਬਲਰ ਸਿੰਟੈਕਸ ’ਤੇ ਜ਼ਿਆਦਾ ਧਿਆਨ ਦਿੱਤੇ ਬਿਨਾਂ ਡਿਜ਼ਾਇਨ ਸਿਖਾਉਣਾ ਸੰਭਵ ਹੈ। ਮੈਂ ਟਰੇਨਿੰਗ ਡੇਟਾ (ਸਾਰੀ ਨੇਵੀਗੇਸ਼ਨ ਅਤੇ ਟੈਕਸਟ ਸਮੱਗਰੀ) ਨੂੰ ਅਸੈਂਬਲਰ ਦੀ ਮੈਕਰੋ ਅਤੇ ਮਾਈਕਰੋ ਸੁਵਿਧਾ ਵਰਤ ਕੇ ਇੱਕ ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਭਾਸ਼ਾ ਵਜੋਂ ਲਾਗੂ ਕੀਤਾ। ਮੈਨੂੰ ਇਸਨੂੰ ਕਰਨ ਲਈ ਲੋੜੀਂਦੀ ਡੂੰਘੀ ਸਮਝ ਸੀ (ਜਿਸ ਵਿੱਚ CAL ਅਸੈਂਬਲਰ ਸੋਰਸ ਵਿੱਚ ਸੋਧਾਂ ਕਰਨ ਦਾ ਤਜਰਬਾ ਵੀ ਸ਼ਾਮਲ ਸੀ)। ਗੇਮ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਜੋੜਨ ਲਈ ਚਲਾਉਣਯੋਗ ਕੋਡ ਵਿੱਚ ਕੋਈ ਬਦਲਾਅ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ।

ਅਜੀਬ ਗੱਲ ਇਹ ਹੈ: ਸੋਰਸ ਕੋਡ ਦੀ ਬਣਤਰ 2017 ਦੇ “attention is all you need” ਢਾਂਚੇ ਦੇ ਕਾਰਜ ਦੇ ਸਮਾਨ (isomorphic) ਹੈ। ਇਕੋ ਜਿਹੀਆਂ ਰੁਕਾਵਟਾਂ ਇਕੋ ਜਿਹੇ ਹੱਲ ਬਣਾਉਂਦੀਆਂ ਹਨ (Genrich Altshuller ਦਾ TRIZ ਸਿਧਾਂਤ)। ਮੇਰਾ ਓਪਰੇਟਿੰਗ ਵਾਤਾਵਰਣ ਭਾਰੇ ਲੋਡ ਹੇਠ ਚੱਲ ਰਹੇ ਇੱਕ ਆਧੁਨਿਕ, ਸਰਗਰਮ LLM ਟੋਕਨ ਸੰਦਰਭ ਨਾਲ ਕਾਫ਼ੀ ਸਮਾਨ ਸੀ। ਅਟੈਂਸ਼ਨ ਹੈੱਡਸ, ਭਾਰ ਦੇਣਾ, ਬਾਹਰੀ ਸਰੋਤ ਤੋਂ ਖਿੱਚਣਾ ਫਿਰ ਡੀਅਲੋਕੇਟ ਕਰਨਾ… ਕਾਫ਼ੀ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਮੌਜੂਦ ਹਨ।

ਰੁਕਾਵਟ-ਆਧਾਰਿਤ ਡਿਜ਼ਾਇਨ ਦਾ ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਬੇਅਰ-ਮੈਟਲ ਉਦਾਹਰਣ ਲਾਭਦਾਇਕ ਹੋ ਸਕਦਾ ਹੈ। ਪਰ 1980ਵਿਆਂ ਦਾ ਇਹ ਪ੍ਰਦਰਸ਼ਨ ਕਿ HPC ਤਰੀਕੇ ਆਧੁਨਿਕ AI ਲਈ ਸੰਬੰਧਿਤ ਹਨ, ਦੇ ਦਿਲਚਸਪ ਪ੍ਰਭਾਵ ਹਨ, ਇਸੇ ਲਈ ਮੈਂ ਇਸਨੂੰ ਇੱਕ ਕਿਤਾਬ ਵਜੋਂ ਸ਼ਾਮਲ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ।