カーブからマスクを作成します。
必ずペイント レイヤで作業してください。シェイプ レイヤにマスク シェイプを作成することはできません。
Paint > Shape > Make Mask Shape をダブルクリックすると Shape Editor が開き、シェイプのパラメータを変更できます。