看了一些 AI 課程跟學術影片，常聽到幾個關鍵字：「八卡機」、A100...
我們都知道，機器學習仰賴大量 GPU 同步運算，像 ChatGPT 使用的 GPT-3.5 模型參數量便高達 1750 億個，每一回合運算次數都是千億等級，更別提所謂的訓練模型得嘗試成千上萬次尋找最佳參數組合，過程還得... Read More
↧