"Möglichst beste Qualität" und "Ein einziges Programm" schließt sich nahezu aus.
Recht praktikabel ist da eine Kombination aus AnyDVD zum Rippen, DGIndex zum demuxen der DVD sowie MeGUI als GUI für Avisynth und x264 und mkvtoolnix zum muxen einer MKV.
Hier gibts ein recht gutes Tutorial dazu, das Audioencoding in AAC würde ich weglassen, einfach die AC3 Spur in den MKV Container muxen.
Klingt jetzt aufwändiger als es an sich ist, MeGUI unterstützt einen da sehr stark.
Bei der Bitrate würde ich mich bei anamorphem Encoding ohne Resize im Bereich zwischen 1200 und 1500kbps einpendeln, je nach Filmmaterial. Bei eher ruhigem, sauberem Bild (Benjamin Button ist so ein Fall, der geht unglaublich gut zu komprimieren) eher niedrig ansetzen, bei viel Bewegung und eher unsauberem Bild (z.B. Crank 2, sehr schlecht komprimierbar) höher stellen.
Damit kommst du schon sehr gut hin, als Beispiel hier mein x264 Encode der HdR Special Extended Edition (Die Rückkehr des Königs):
Von gut 14GB auf DVD runter auf 3,47GB bei Deutsch/Englishc in AAC 5.1
http://s5b.directupload.net/file/d/1...56z9zw_jpg.htm
http://s1b.directupload.net/file/d/1...o2nhaq_jpg.htm