Masterclass · Kapitel 20
Training from Scratch
Loss, Backpropagation, Optimizer und CUDA
Du verstehst den tatsĂ€chlichen Lernprozess: Forward Pass, Fehler, Gradienten, Gewichtsanpassung und warum GPU-Training dafĂŒr sinnvoll ist.
Diese Masterclass verbindet Theorie, Mathematik und echten NOVA-Code. Sie zeigt nicht nur, was ein Konzept bedeutet, sondern wo es in unserer Vision-Forge-Pipeline auftaucht.
Abschnitt 5 von 5Kapitel 20
20.5 CUDA und Mixed Precision
CUDA und Mixed Precision
Die GPU beschleunigt die vielen Matrix- und Convolution-Rechnungen.
Mixed Precision erlaubt schnellere FP16/BF16-Rechnungen, wenn PyTorch passende CUDA/cuDNN-Kernels nutzen kann.
CUDA bedeutet nicht automatisch, dass jeder Tensor-Core maximal ausgelastet ist. Aber es erlaubt PyTorch, geeignete GPU-Kernels zu nutzen.
CUDA im Training
device = torch.device('cuda')
model.to(device)
images = images.to(device, non_blocking=True)
labels = labels.to(device, non_blocking=True)NOVA wird geladen...
NOVA Energie-Log
RTX-Verbrauch
NOVA schÀtzt hier, wie viel GPU-Energie deine Bildanalyse- und CUDA-LÀufe bisher ungefÀhr verbraucht haben.
Lade Energie-Daten...