Der reelle Zahlenraum kann jede Zahl lückenlos darstellen und der Zahlenraum ist unendlich groß. Dies gilt für einen Computer nicht, da er nur endliche Mengen darstellen kann. Daraus folgen Rundungsfehler.
Gleitpunktzahlen
Sei die Menge der normalisierten -stelligen Gleitpunktzahlen mit der Mantisse zur Basis :
, wobei und mit
Die Bedingung verhindert führende Nullen.
Maschinenzahlen:
Sei M die Menge der Maschinenzahlen:
, wobei die kleinste und die größte positive Maschinenzahl ist.
Probleme der Maschinenzahlen
Exponenten Unter-/Überlauf:
Falls sich Werte ergeben, die außerhalb von liegen, rundet die Maschine zu oder zu bzw. .
Relativer Abstand:
Maschinenzahlen sind nicht äquidistant verteilt, wobei um die Null eine recht große Lücke ist und der Abstand der Zahlen zum Rand des Zahlenstrahls immer gröber werden.
Der relative Abstand zweier Zahlen und beträgt .
Daraus ergibt sich der größte relative Abstand:
, wobei man die Auflösung der Arithmetik nennt.
Runden von Maschinenzahlen
Durch diese Probleme ordnet ("rundet") der Rechner eine Zahl auf die nächstgelegene Gleitpunktzahl .
Sei der nächstgelegene linke und der nächstgelegene rechte Nachbar von sowie die Mitte. Dann gilt für mit :
Für wird so gerundet, dass die letzte Stelle von gerade ist (siehe IEEE 754)
Rundungsfehler:
Der absolute Rundungsfehler lässt sich wie folgt abschätzen:
De relative Rundungsfehler lässt sich nun wie folgt abschätzen:
Dadurch lässt sich die Maschinengenauigkeit definieren:
Gleitpunktoperationen
Rundungsfehler können auch bei arithmetischen Grundoperationen auftreten. Für die Operation gilt:
[In Arbeit]