Das ist sehr seltsam dann. Der Rollladen dürfte sich nicht bewegen mit der Einstellung auf Stopp, beim Einlegen der Sicherung.
Klemme mal nur L und N an den Shelly, und messen mit einem Duspol ob du an einem der Ausgänge 230V anliegen hast, nachdem du die Sicherung rein gemacht hast, ohne in der Shelly App rauf oder Runter zu drücken.
Wenn nicht klemme mal den Berker Taster dazu (beide Taster aus) und messen nochmal ob du dann an einen der Ausgänge irgendwo 230V anliegen hast?