出力側にはすべてディスプレイを接続する必要がありますか？

出力側のHDMI端子すべてにディスプレイを接続する必要はありません。
例えば4台用分配器に 2～3台だけディスプレイを接続しても動作可能です。