もちろんできます。海外のサイトになりますが「Local by Flywheel」というサイトにWordPressをお手持ちのパソコン環境で動かすことのできるソフトウェアが配布されています。
利用は無料で、パソコンの環境（メモリーや内蔵ディスク容量）次第ではいくつでもWordPressサイトを制作・管理することができます。
インターネットに繋がっていれば、プラグインやテーマの導入もできますので、パソコン環境で制作し、WordPressを丸ごとバックアップできるプラグインを使えば、レンタルサーバーなどに移植することもできます。
