デフォルトの並べ替えNULLは昇順の時に最後、降順の時には最初に来るようです。
下記のように指定することで変更できました。
ORDER BY XXX ASC NULLS FIRST;
ORDER BY XXX DESC NULLS LAST;