In der Standardkonfiguration läuft auf der Fritzbox ein DHCP-Server und der verteilt IP-Adressen und auch den DNS-Server (besser dessen IP-Adresse) an die Geräte im Netzwerk. Im Fall der Fritzbox nennt die Box allen Geräten ihre eigene IP-Adresse als DNS-Server. Der DNS-Server in der Fritzbox nutzt wiederum standardmäßig die DNS-Server des Internetproviders.
In der Fritzbox läßt sich das alles ändern. Du kannst sowohl den per DHCP verteilten DNS-Server ändern als auch den DNS-Server, den die Fritzbox selbst befragt. Das gilt dann aber global fürs gesamte Netz bei Dir zu Hause. Willst Du für einen Rechner speziell einen anderen DNS-Server, kannst Du das eben im Betriebssystem eintragen.
Mit manuell gesetztem DNS-Server stellt Windows die DNS-Anfragen nicht an die IP-Adresse der Fritzbox und diese dann an den dort eingestellten DNS-Server, sondern Windows stellt ohne Umweg über die Fritzbox die Anfrage gleich an den in Windows eingestellten DNS-Server.