Puh, das ist wie
@Masi5192 schon schrieb, echt schwierig...
Also ganz leicht mit dem Afterburner ist immer ein GPU Limit zu erkennen. Das hast du, wenn die GPU-Auslastung konstant bei über 90/95% liegt. Da bist du aber (wie bei den Titeln und FPS zu erwarten) weit von entfernt und deine Graka nudelt bei eher ~50% und kühlen Temps vor sich hin. Damit würde ich die 1080 als Fehlerquelle schon mal ausschließen. Am einfachsten testest du das über die Auflösung: Lass mal alle Settings konstant und stell die Auflösung auf 720p. Hast du plötzlich 100FPS, war deine Graka am Limit, wenn es weiterhin ruckelt, liegt das Problem definitiv woanders.
Das CPU-Limit ist dagegen ziemlich tricky zu erkennen, da die Spiele idR nicht einfach alle Kerne/Threads gleichzeitig voll auslasten und eine CPU, welche laut Afterburner nur 60% Auslastung anzeigt, schon am Limit sein kann.
Von deinen genannten Titeln kenne ich nur die TW-Reihe selbst (allerdings nur bis Attila) und die ist einfach dermaßen miserabel optimiert, da wirst du auf so ziemlich jedem System Ruckler haben bei großen Schlachten, das solltest du auch im Hinterkopf haben. Flaschenhals ist dabei mit sehr großer Wahrscheinlichkeit die CPU, was auch zu deiner Aussage passt, dass du mit reduzierten Details keine echte Verbesserung erzielst.
Außerdem ziehen 3,5GHz auf einem 4700k jetzt auch nicht gerade den Putz von den Wänden, insbesondere in TW. Wenn du mehr FPS willst, wirst du hier ansetzen müssen, auch wenn deine bisherigen OC-Versuche in die Hose gingen.
Mit ordentlicher Kühlung solltest du den sicher auf 4,3-4,5 GHz stabil und ohne Probleme bringen. Wenn du die 4GHz nicht knacken kannst, hast du definitiv irgendwo ein Hardwareproblem, das sollte wirklich jeder 4770k schaffen mit dem Kühler auf deinen Bildern. Hast du denn die Wärmeleitpaste richtig aufgetragen? Was war denn für dich "moderates OC"?
Wenn du um jeden Preis OC vermeiden willst und stattdessen was Neues möchtest, dann investiere das Geld in eine neue CPU + MB + RAM und nicht in eine Graka.
