Das Problem wird gelöst, indem du die Art und Weise, wie das Videobild groß gerechnet wird, änderst. Du hast es richtig erkannt: HD-Fernseher zeigen DVD-Bild auch nicht so schlecht an. Das liegt am s.g. Upscaler - also der Algorithmus, der die Auflösung des Bildes hochrechnet.
Der von dir benutzte VLC ist in der Hinsicht leider nicht wirklich toll und auch insgesamt eher ne Gurke. Du musst also deinen Player wechseln.
Einen weiteren Punkt, der von Ctrl angesprochen Hardwarebeschleunigung DXVA (DirectX Video Acceleration). Werden Video abgespielt, kann dies komplett über die Grafikkarte geschehen. Das ist sehr schnell und belastet die CPU nicht. Nachteil ist aber, dass es nicht bei allen Filmen und Grafikkarten funktioniert und es auch keine Möglichkeiten gibt, den Film zu bearbeiten. Man ist auf den Algorithmus angewiesen, den Nvidia oder ATI implementiert haben. Ist DXVA nicht aktiv, übernimmt die CPU das Enkodieren des Films. Das ist ab ~2 GHz Dual Core kein Thema, bei Kleinst-PCs, Notebooks und Netbooks aber schon.
Lange Rede, kurzer Sinn: Du brauchst einen Video-Codec mit gutem Upscaler und einigen guten Bildoptimierern. Du brauchst
FFDshow! FFDShow ist ein All-in-one-Codec. Du brauchst eigentlich keine weiteren Audio- oder Video-Codecs (also alle Codec Packs deinstallieren). Aber du brauchst noch einen Media Player, der DirectShow-Codecs unterstützt. Das machen viele Windows-Player. Bspw. der Microsoft Media Player, Winamp, Media Player Classic/Home Cinema Edition, Zoom Player, KMPlayer, Media Portal, XMBC ... such dir was aus.
Lad ihn runter und installiere ihn. Am Ende kannst du den Audio-, Video- und DXVA-Codec konfigurieren. Beim Audio-Codec kannst du einstellen, was du willst (Normalisierung und Mixer vielleicht). Beim Video-Codec bedenke die Reihenfolge der Bildverbesserer: Die Änderungen werden von oben nach unten nacheinander auf das Video gerechnet. Das bedeutet, wenn du z.B. erst das Video hochskalieren lässt und dann einen Rauschfilter drüber legst, dann wird der Rauschfilter auf die Auflösung von 1920x1200 angewandt. Und das kostet viel mehr Power, als auf 720x567 - klar. Es macht also vielleicht Sinn, erst den Rauschfilter und dann den Upscaler zu verwenden. Manchmal aber auch nicht, weil dann die Qualität drunter leidet. Da muss man dann logisch entscheiden oder ausprobieren. Man kann sich auch (automatische) Profile für unterschiedliche Filme und Auflösungen erstellen. Bspw. verwendest du auf einem FullHD-Film andere Einstellungen, als auf einem 720p-Film, als auf einem DVD-Film, als auf einem Cartoon. Da kannst du viel ausprobieren, wenn du Zeit und Lust hast.
Für den Anfang empfehle ich folgende Einstellungen im Video-Codec (die kannst du übrigens auch On-the-fly einstellen, wenn ein Video läuft, indem du auf die beiden kleine Icons in der Systray rechts klickst):
1. Filter (oben): Unschärfe & Rauschunterdrückung
Häkchen bei Denoise3D mit Luminanz 0.00, Chroma 0.70 und Zeit 5.00; Rest deaktivieren
2. Filter: Größe & Seitenverhältnis
Häkchen bei "Resize to screen resolution" und "Ursprüngliches Seitenverhältnis beibehalten"; unter Einstellungen die Methode "Lanczos" verwenden, mit Luminanzschärfe 0.20 und Chromaschärfe 0.30 (rechte Seite)
3. Filter: Schärfen
Häkchen bei msharpen mit Stärke 80 und Schwellenwert 15
Falls du Interlaced Video (Halbbilder) guckst, dann kannst du noch den Deinterlacer zwischen Unschärfe und Größenänderung schieben. Faustregel für die Filterreihenfolge sollte sein: Erst das Ausgangsmaterial so sauber wie möglich zu bekommen (Entrauschen, Interlacer, Beschneiden, Bildeigenschaften), dann Resizen und erst danach Bildinformationen hinzufügen (Schärfe, Rauschen, Untertitel). Würde man z.B. erst schärfen und dann skalieren, würdest du ein kleines, geschärftes Video hochziehen und das sieht sehr schlecht aus.
Je nach Rechenleistung und Sitzabstand kannst/musst du andere Filter und Einstellungen verwenden. Bspw. sehe ich bei meinem FullHD-TV mit einem Sitzabstand von ~2,5 m ohne Brille nicht, ob das Bild scharf gezeichnet oder entrauscht wird oder nicht. Also lass ich das weg und benutze nur einen guten Upscaler. Dafür wird weniger Leistung benötigt, die CPU ist kühler und der Lüfter ist leiser. Am PC mit Sitzabstand von <50 cm sehe ich den Unterschied und hab alles drin. Manche Upscale-Algorithmen sehen z.B. etwas besser aus, kosten aber soviel CPU-Power, dass es in keinem Verhältnis steht. Manche sind auch zu scharf für schlechtes Videomaterial und dann nimmt man lieber eine Methode, die etwas weicher zeichnet. Dafür kann man dann die Profile anlegen, die man manuell oder automatisch auswählt. Testen!
Die DXVA-Beschleunigung über die Grafikkarte lässt du natürlich deaktiviert, weil dann ja nicht diese Nachbearbeitungsfilter greifen würden. Seie denn, dein System ist zu langsam. In dem Fall werden die Filter beim Abspielen von h264- und VC1-Filmen automatisch deaktiviert.
Zu guter letzt könnte man FFDShow noch als Filter für andere Codecs einstellen. Dazu hat fast jeder aktuelle Player eine Möglichkeit, wie "Externe Filter" oder "Additional Filters", wo man denn FFDShow einladen kann. In den Einstellungen von FFDShow aktiviert man dann nur noch die Unterstützung von Unkomprimiertem Video und schon wird das Videosignal eines Codecs an FFDShow zur Weiterverarbeitung gesandt und dann normal ausgegeben. So kann man Formate, die FFDShow nicht unterstützt (Quicktime z.B.) oder Codecs, die eine bessere Bildqualität liefern (DScaler bei MPEG2 z.B.) mit den Bildverbesserungsmaßnahmen von FFDShow kombinieren. Aber erstmal Schritt für Schritt, es geht auf jeden Fall noch einiges mit diesem Wundertool (Avisynth mal als Stichwort reingeschmissen).
Viel Spaß beim Rumprobieren!