Das was du beschreibst ist aber nicht das was jemand beim ersten Mailserver-Aufbau testen wird.
As ob da jemand zuhause im privaten Netz erst versucht die Verschlüsselung des Systems zu knacken.
Die Paxis sieht so aus: postfix drauf, anhand von diversen guides und google die config zusammenschustern.
dovecot drauf, apache drauf, ein webmail-programm drauf.
PTR und ggf. SPF einstellen.
Testen ob man Mails erhält.
Von Konsole testen ob man Mails verschicken kann und die auch ankommen.
Testen ob man mit auth über den Server versenden kann und ohne auth nicht.
Testen ob das Webinterface funktioniert.
Wenn man Angst haben sollte, dass der in der Zeit missbraucht wird, dann nimmt man iptables um Port 25 solange für andere dicht zu machen und baut da kein Setup mit privater IP für.
Ich sehe auch deine Befürchtung nicht so ganz.
Wenn man es nicht explizit so konfigureiert, nimmt z.B. postfix keine Mails als offener Relay an.
Die Milliarden an Spam-Mails jeden Tag stammen in den seltensten Fällen von offenen Relays, da werden entweder Server für angemietet oder man nimmt gehackte Rechner (Bots oder Webserver mit veralteten CRMs).