Update: Mein Problem saß zwischen meinen Ohren.
kurze Erklärung: Ich wollte einen Shelly Plug S mit einem uMQTTBroker verbinden. Da es Fehler/ Abbrüche gab, wollte ich zur Diagnose mosquitto auf einem Windows-Rechner mit WLAN nutzen. Auf dem Rechner konnte ich auch den Netzwerkverkehr über Wireshark analysieren. Ich hatte nicht daran gedacht, dass ich manuell noch ein passendes Loch in die Windows-Firewall bohren muss. Das brachte den TCP-Fehler 8. Und das bedeutet, dass von Serverseite auf TCP SYN überhaupt keine Reaktion kommt.
Als das mit der Firewall geklärt war, kam ein TCP-Fehler 9. Der Server hat geantwortet und den TCP-Verbindungsversuch mit TCP RST abgewiesen. Nach noch zwei Einstellungen in der mosquitto.conf lief alles.
Fazit:
TCP-Fehler 8: die erste TCP Nachricht SYN kommt IM Server nicht an (generell keine IP-Verbindung oder Firewall etc.)
TCP-Fehler 9: der Server lehnt die TCP-Verbindung mittel RST ab.