WordPressをインストールすると、「.htaccess」ファイルが生成されますので
その「.htaccess」内にアクセス制限の記述を追記いただくことでアクセス制限は可能でございます。

※記述の詳細な方法はサポート外となります。
※「.htaccess」でのIPアドレスでのアクセス制御例は こちら

なお、「.htaccess」はWordPress利用上必要となりますが、
「.htaccess」が設置されている場合、コントロールパネルの「アクセス制限」は
機能いたしませんのでご注意ください。