Sim, atualmente existe. Você precisará usar o controlador XF86_FBdev se por alguma razão o seu controlador X11 atual não gosta do vesafb. Vá até http://www.xfree86.org, e carregue o arquivo X332servonly.tgz, descompacte-o, configure-o editando o xc/config/cf/xf86site.def, e tire o comentário da linha #define for XF68FBDevServer. Não se preocupe com a referência m68k, ela suporta plataformas Intel. Então, construa a coisa toda - ela levará um tempo longo, devido ao enorme fonte.
Existe contudo, o binário XF86_FBdev sem pré-compilação disponível, mas eu acho que o Debian pode trabalho nisto; eles serão capazes de produzir ambas as variações libc5/glibc2.
Existem relatos de que o X11 não é funcional em certas placas gráficas com o vesafb habilitado; se isto está acontecendo, tente o novo controlador XF86_FBdev para X11.
Este controlador, juntamente com o vesafb pode ajudar a executar o X11 em uma resolução gráfica mais alta com certos chipsets gráficos que não são suportados por controladores X11 atuais. Exemplo: MGA G-200.
Esperançosamente os problemas do X11 com placas gráficas serão consertados em distribuições futuras.