To further decrease the physical me

To further decrease the physical memory, we study the effect on accuracy when the number of bits is reduced. We also look at alternative distance metrics to reduce computational cost without sacrificing the accuracy. Tab. III shows that a minimum of 4-bit accuracy is needed for the hardware memory module for the cases of L1 distance, the combined L∞ and L1 distance, and the combined L∞ and L2 distance. The combined L∞ and L2 approach also is the most resilient with quantization errors. The 4-bit L∞ + L2 approach results in 96.00% accuracy which is comparable with its 32-bit equivalent of 96.51%. Still, neural networks typicalliy need at least 5-6 bits to compute for gradients [13]. As we are using the memory entries to compute the back-propagation gradients, we cannot reduce precision below 4-bits.

結果 (繁體中文) 1:

為了進一步減少物理內存，我們研究了減少位數時對精確度的影響。我們還研究替代距離度量，以在不犧牲準確性的情況下降低計算成本。標籤。III表明，對於L1距離、L∞和L1組合距離以及L∞和L2組合距離的情況，硬體記憶體模組至少需要4位元精度。L∞ 和 L2 組合方法對於量化誤差也是最具彈性的。4 位 L∞ + L2 方法的準確度為 96.00%，與 32 位等效的 96.51% 相當。儘管如此，神經網路通常至少需要 5-6 位元來計算梯度 [13]。由於我們使用記憶體條目來計算反向傳播梯度，因此我們無法將精度降低到 4 位元以下。

結果 (繁體中文) 2:

為了進一步减少實體記憶體，我們研究了當比特數量減少時對精度的影響。 我們還研究了替代的距離度量，以在不犧牲精度的情况下降低計算成本。 錶III顯示，在L1距離、L∞和L1距離的組合以及L∞和L2距離的組合的情况下，硬體存儲模塊需要至少4比特的精度。 L∞和L2的組合方法對於量化誤差也是最有彈性的。 4比特L∞+L2方法的準確率為96.00%，與32比特等效方法的96.51%相當。不過，神經網路通常需要至少5-6比特來計算梯度[13]。 當我們使用記憶體條目來計算反向傳播梯度時，我們不能將精度降低到4比特以下。

結果 (繁體中文) 3:

爲了進一步減少物理內存，我們研究了減少位數對精度的影響。我們還研究了替代距離度量，以在不犧牲準確性的情況下降低計算成本。標籤。III表明，對於L1距離、組合的L∞和L1距離以及組合的L∞和L2距離的情況，硬件存儲器模塊至少需要4位精度。組合的L∞和L2方法對於量化誤差也是最有彈性的。4位L∞ + L2方法産生96.00%的準確度，與其32位等效方法96.51%相當。儘管如此，神經網絡通常需要至少5-6位來計算梯度[13]。因爲我們使用存儲器條目來計算反向傳播梯度，所以我們不能將精度降低到4位以下。