Klingt wirklich nach RAM. Ich hatte aufm AsRock Z77 Pro-Fatal1ty Probleme bei Vollbestückung. Die CPU geht offiziell eigentlich auch nur bis 1333/1600
http://ark.intel.com/de/products/65520/
Natürlich geht da viel mehr, aber probier mal 2133 oder 1866. Ggf. wird es stabiler, wenn Du den RAM auf 1,65-1,7V stellst.
Steck die Riegel mal in den Sockel 1+3 (von der CPU aus gezählt).
Bevor Du loslegst, teste mal mit Prime95 in Einstellung "blend", ob das eine Weile gut läuft. Bei Speicherproblemen wird das schneller rot, als memtest etc. was finden.