Mhm, also doch ein selbstgebautes System. Jetzt wird es haarig.
Als Erstes bleibt festzuhalten, dass die Komponenten alle top und auch gut ausgewählt sind. Die einzelnen RAM-Riegel werden sicher vom selben Typ sein, verx1234. Nun müssen wir als zweiten Schritt "nur" noch herausfinden, welche Ursache(n) deine Probleme haben, aklein.
Ohne die PhysX-Karte sind also die Bluescreens weg. Aber jetzt friert der Rechner ein. Als nächsten Schritt würde ich es ohne PhysX-Karte und mit nur zwei RAM-Modulen probieren. Falls du noch einen Zweitrechner oder einen mutigen Freund hast, dann könnte man die PhysX-Karte noch in einem anderen System testen, um einen eventuellen Hardwarefehler auszuschließen oder zu bestätigen.
EDIT: Der Passivkühler ist leistungsstark genug. Beim nForce 680i SLI Chipsatz wird im Allgemeinen sehr heiß, was also normal ist. - Den Rest meines Beitrags lasse ich mal so stehen.