Ohne Stativ wird es tatsächlich schwer, richtig schöne Feuerwerkbilder zu schießen.
Du kannst dich aber auf Schnappschüsse von einzelnen Effekten konzentrieren. Hier zwei Beispiele (schon ein halbes Jahrzehnt alt, geschossen mit einer Kamera ohne IS, handgehalten):
Wenn dir das ausreicht: So etwas funktioniert auch ohne Stativ.
Zur Aufnahmetechnik hat NighteeeY schon ein paar sehr nützliche Tipps genannt.
Zu den Settings: Wenn es knack-scharf werden soll, musst du auch entsprechend kurz belichten. Die gezeigten Bilder sind mit 1/60s geschossen, hier difted der Effekt aber schon Richtung unscharf. Ich würde daher noch etwas kürzer belichten (1/100s, 1/200s), etwas in die Richtung.
Falls du eine richtig ruhige Hand und vielleichtg sogar stabilisierte Kamera/Objektiv hast, kannst du alternativ versuchen etwas länger mit niedrigerem ISO zu belichten, um Effektspuren bzw. mehrere Effekte gleichzeitig aufzunehmen. Das ergibt dann wieder eine andere "Art" von Bild.
Edit: Ich habe ein noch älteres Bild gefunden, hier mit Stativ das Silvesterfeuerwerk vor inzwischen 7 Jahren:
Das ist bei 30 Sekunden Belichtungszeit, ISO100, f11 entstanden. Allerdings habe ich hier unterschätzt, dass es windig war und sich die Kamera somit trotzdem bewegt hat (zu sehen an den Straßenlampen-Leuchtspuren), d.h. selbst mit Stativ solltest du darauf achten, dass das auch ordentlich beschwert ist. Prinzipiell finde ich persönlich bei derartigen "Zufallsfeuerwerken" Schnappschüsse von Einzeleffekten sogar interessanter als Panoramas.