# less /var/log/XFree86.0.log

especialmente las lineas que aparecen como:

(II) SIS(0): Not using default mode "800x600" (vrefresh out of range)

(II) SIS(0): Not using default mode "800x600" (hsync out of range)

Esto son mensajes de información (II): los modos definidos en /etc/X11/XF86Config-4 y de nombre «800×600» no cuadran con la información de sincronización vertical y horizontal que ha detectado para nuestro monitor.
Si miramos en /etc/X11/XF86Config-4 nos encontraremos con unas curiosas líneas en las que se describen los modos que soportan la mayoría de los monitores, líneas llamadas modeline y que tienen esta pinta:
Modeline «800×600» 40.12 800 848 968 1056 600 601 605 628 #60Hz

2) Suponiendo que tras leer /var/log/XFree86.0.log vemos que se detecta nuestra tarjeta de video y que indica que nuestro monitor soporta la resolución que deseamos (o tenemos Windows instalado en otra partición y lo tenemos con esa resolución) podemos:
a) buscar los modelines por Internet
b) generar nuestras propias modelines

3) Para generar los modelines, usa videogen (instala antes el paquete, se usa desde consola) y create un fichero en el directorio donde vayas a ejecutar videogen que se llame .videogen y con un contenido más o menos como:

max_dotclk=60 # the maximum pixel/dot clock supported by my projector

max_hfreq=54; max_vfreq=90 # the max horizontal and vertical frequency

desired_vfreq=60 # the frequency you decided to use

mode 1024x768 # the resolution your HTPC will be running

Es decir, si en tu consola estás en /home/pepe, crea un fichero .videogen mediante un:
dfreniche@tesla:home/pepe $ gedit .videogen

y copias en el editor el contenido mostrado más arriba.
Tras ésto, grabas, cierras gedit y ejecutas videogen. Te imprimirá en la consola una línea Modelines. La copias, editas el fichero de configuración de las X (debes ser root para cambiarlo), grabas y pruebas.
En mi caso, el monitor es un LG StudioWorks 550M. Lo he puesto a 1024×768 y a 60 Hz.