wp-config.php の
「That’s all, stop editing!」
の上に下記の行を追加することで出来ました。
define(‘FORCE_SSL_ADMIN’, true);

編集前
編集後
http でアクセスしても強制的に https へリダイレクトされました