Martin nació en La Plata el 7 de noviembre de 1973. La madre se llama Maria Juana y el padre Carlos Jorge, tiene un hermano llamado Gabriel. Comenzó como arquero en las inferiores infantiles de estudiantes pero después decidió jugar al voley con el hermano, hasta que un amigo lo invitó a jugar al futbol en el club For Ever…equipo en donde jugaron también los mellizos Barros Schelotto, después se separaron y se dividieron entre gimnasia y estudiantes.
Debutó en Primera División a los 18 años, el 5 de julio de 1992 en el empate sin goles entre San Lorenzo y Estudiantes. El primer tanto de su carrera lo convirtió el 22 de mayo de 1993 a los 20 minutos del encuentro que finalizó en victoria (3-0) del club platense frente a San Martín de Tucumán.
A mediados de 1997 Boca Juniors se interesó por su pase. Fue así que llegó al Club de la Ribera junto con los hermanos Barros Schelotto.
En el Torneo Apertura que Boca logró en de 1997 hizo valer su potencia goleadora y contribuyó al subcampeonato logrado por Boca. En 1998, con la llegada de Carlos Bianchi a la dirección técnica del Xeneize, formó una efectiva dupla con Guillermo Barros Schelotto que contribuyó decisivamente a la obtención del Torneo Apertura. En ese campeonato Palermo se consagró goleador con 20 goles, récord en torneos cortos. En 1999 Boca repitió el título en el Clausura. En medio de la disputa del Torneo Apertura de ese mismo año Boca visitó a Colón de Santa Fe y Palermo marcó dos goles pero sufrió una grave lesión de ligamentos en su rodilla derecha. El segundo gol, que marcó ya lesionado, fue su tanto número 100 en Primera División. La recuperación demandó más de seis meses y su vuelta se produjo en un importante encuentro por la vuelta de los cuartos de final de la Copa Libertadores de América del año 2000. El rival de Boca era River Plate y Palermo, que aún no había recuperado su mejor forma física, marcó el definitivo 3-0 sobre el final del encuentro, disputado en la Bombonera. Si bien su participación en la Copa Libertadores2000 fue escasa, su concurso fue decisivo para la obtención de la Copa Intercontinental de ese mismo año. Ese día Palermo marcó dos goles en los primeros minutos del encuentro que Boca le ganó a Real Madrid 2-1, lo que le valió el premio al mejor jugador de la final. A la vuelta de Japón, Palermo contribuyó con otro gol a la consagración de Boca como ganador del Torneo Apertura.
Al finalizar el año 2000 Martín Palermo fue transferido al Villarreal español. No logró brillar y volvió a sufrir una grave lesión tras caerle un pequeño muro en la pierna cuando estaba celebrando un gol con los aficionados, que le demandó otra larga recuperación. Fue transferido a Betis en agosto de 2003, a fin de año firmó a préstamo con el Alavés.
A mediados de 2004 Martín regresó a la Argentina para jugar en Boca Juniors. El equipo fracasó en el Apertura pero obtuvo la Copa Sudamericana. El primer semestre de 2005 no fue positivo para el equipo ni para Palermo, que vio peligrar su puesto durante la conducción de Jorge Chino Benítez, pero con la llegada de Alfio Basile, el Loco volvió a ser inamovible y Boca se quedó con todas las competencias que disputó en la temporada 2005-2006. Pese a haber superado los 30 años y dar ventajas en lo físico, Palermo siguió marcando goles y se convirtió en uno de los principales goleadores de la historia del club.
En la actualidad, con Russo como entrenador, Martín sigue demostrando que tiene sangre de goleador.
El 3 de mayo de 2007 se convirtió en el máximo goleador del Boca Juniors en torneos internacionales, al superar a Guillermo Barros Schelotto que tiene 25 goles.
El 24 de febrero de 2007, Palermo convirtió un gol desde 61 metros en el estadio de Racing Club contra el Club Atlético Independiente (Hacía de local), poniendo el resultado final 3:1 a favor de Boca Juniors. El 18 de marzo de 2007, Martín Palermo convirtió por primera vez en su carrera, 4 goles en un mismo partido. El rival fue Gimnasia y Esgrima de La Plata y el partido se disputó en la Bombonera. Además Palermo convirtió cuatro veces 3 goles en un mismo partido.
Martín Palermo es el goleador histórico de La Bombonera (1940-2007)