Okay, das ist eindeutig. Dein gehäuse ist eine Sauna, das Öffnen der Seitentür hat insbesondere die GPU-Temperatur dramatisch verbessert - deine GPU-Lüfter laufen dann auch enorm viel langsamer. Die AiO für die CPU wird immer noch ein paar Probleme mit Wärmestau unter dem Deckel haben.
Dass die Karte limitiert ist nicht schlimm, sondern normal. Eins limitiert immer: CPU oder GPU. Du kannst ein FPS-Limit einstellen und/oder deine Grafiksettings etwas runterfahren, um sie zu entlasten. Sofern kein FPS-Limit eingestellt ist, wird die GPu immer so viele Frames rendern wie sie kann und bei annähernd 100% landen. Die CPU kommt mit den Spielen gut klar und kann das auch liefern. da brauchst du noch keine neue. Auch, wenn ich mich etwas wundere, dass sie bis knapp unter 80W in Spielen frisst. ist bei mir nicht so...
Mein fazit des Ganzen:
1. Kauf dir ein anständiges Gehäuse mit gutem Airflow, z.B. das grandiose Lancool 216 (dem ich noch einen vierten Lüfter für die Abluft nach oben geben würde).
2. Setze ggf. ein FPS-Limit, um die Grafikkarte nicht immer voll auszufahren. Kann man z.B. mit RTSS (Teil von Afterburner) gut machen.
3. Wenn das erledigt ist dann schau auch mal, ob du die Karte etwas undervolten und/oder ein Powerlimit setzen (ebenfalls in Afterburner) kannst, 300W sind schon ziemlich enorm.
Und wenn du dann irgendwann auch mal ins CPU-Limit läufst, z.B. bei online-Shootern wie Fortnite etc., dann kannst du immer noch die CPU aufrüsten.
Ansonsten sei bitte so gut und mach die Bilder. Verkabelung der GPU und der RAM sind immer noch ein Thema.