Suponiendo que su parte inicie cada comunicación, entonces sí, es una buena idea bloquear cada conexión a su máquina de las direcciones IP a las que no se conectó.
Pero ten en cuenta que esto es lo básico del cortafuegos. La mayoría de los firewalls del lado del cliente no permiten ninguna conexión entrante iniciada desde una máquina remota a menos que usted lo permita específicamente. También hacen más de lo que imaginas: realizan un seguimiento de las sesiones de TCP activas y solo permiten paquetes de ips que están en una sesión activa contigo. Una vez que finalice la sesión, los paquetes de esa IP se bloquearán nuevamente.
Si está hablando de una red doméstica, entonces el firewall debe ejecutarse en o justo detrás de su enrutador de Internet, por ejemplo, la casilla que le brinda acceso a Internet. Si no permite ninguna conexión iniciada desde el exterior, los dispositivos en su red doméstica están mucho mejor aislados de Internet.
Por lo general, los proveedores de Internet de banda ancha le ofrecen una caja que tiene tales capacidades de cortafuegos. Pueden o no estar habilitados, pero su configuración generalmente es trivial.