Landesweit bekannte Maler wie Hans Thoma, Oswald Achenbach oder Wilhelm Leibl sind in der Mainzer Gemäldegalerie genauso vertreten wie Künstler aus der Region, wie beispielsweise Johann Adolf Lasinsky, Philipp Janz oder Heinrich Jakob Fried. Zahlreiche Gemälde stammen aus den Nachlässen von Mainzer Bürgern, die ihre Sammlungen später der städtischen Galerie ihrer Heimatstadt stifteten.

Eine Besonderheit ist das gründerzeitliche Möbelensemble der Mainzer Firma Anton Bembé, die unter anderem so berühmte Ausstattungen für fürstliche Schlösser wie Schloss Neuschwanstein mit weltweitem Kundenstamm ausführte.

Mit der Jugendstilsammlung des Fabrikanten H. R. Gruber, deren Kern allein 52 Gläser und Vasen von Émile Gallé umfasst, besitzt das Landesmuseum Mainz absolut herausragende Bestände. Auch Gläser und Vasen der Manufakturen Lothringens (u.a. Burgin, Daum Frères, Legras, Müller Frèrers,) oder etwa Böhmens (Lötz, Gebr. Palme-König) befinden sich in dieser einzigartigen Sammlung. Mit Highlights wie Otto Eckmanns berühmtem „Schwanenteppich“, Franz von Stucks „Versuchung - Adam und Eva“ oder Adolf Hölzels „Schleißheimer Straße“ wird der Formenreichtum dieser Zeit in den verschiedenen Gattungen gefeiert.

Die Abteilung der Kunst der Moderne zeichnet sich durch zahlreiche Spitzenwerke von international namhaften Künstlern wie Max Beckmann, Lovis Corinth, Wilhelm Lehmbruck, oder Arnulf Rainer aus.

Von keinem geringeren als Pablo Picasso sind zwei Gemälde im Museumsbesitz. Sein „Frauenkopf“ von 1908, der Anfangsphase des Kubismus, wurde 1952 von der französischen Regierung für das Museum gestiftet. Die Sammlung gibt die ganze Vielfalt der unterschiedlichsten Entwicklungen des 20. Jahrhunderts wieder: Von realistischen Strömungen bis hin zu informeller und abstrakter Malerei beispielsweise eines Otto Greis oder Bernard Schultze.

Das Landesmuseum Mainz besitzt mit über 2000 Steinen eine der größten und bedeutendsten Sammlungen römischer Steindenkmäler nördlich der Alpen. Eine Auswahl davon – militärische und zivile Grabsteine, Architekturteile, Altäre und Weiheinschriften – werden in der Steinhalle präsentiert. Besonderer Hingucker ist der 6,5 m hohe und 4,6 m breite Bogen, den der Ratsherr Dativius Victor den Mainzer Bürgern im 3. Jhd. stiftete.
Zu den bekanntesten Steinen gehören der beidseitig verzierte Grabstein des einheimischen Schiffers Blussus und seiner Frau Menimane und jener des Mordopfers Iucundus.