Madera fue fundada y poblada por primera vez por blancos. El primer residente afroamericano registrado de Madera fue Dexter Hunt, un portero de 31 años que trabajaba para el Capitán Russel Perry Mace en su hotel. Llegó aquí en 1880.
Durante los siguientes 20 años, Madera continuó creciendo, de 217 residentes en 1880 a 2.500 en 1900. En comparación, la población afroamericana de Madera creció de ese único individuo en 1880 a 42 en 1900. Durante las siguientes dos décadas del siglo XX, la afluencia de residentes negros a Madera se mantuvo como un goteo, hasta la Gran Migración hacia el Oeste de los años 40, 50 y 60. Fue entonces cuando la dirección de la migración negra cambió del Norte al Oeste, y fue entonces cuando se formó la base de la comunidad afroamericana de Madera.
La investigación sobre la comunidad afroamericana de Madera revela tres patrones distintos en la vida de los residentes negros de la ciudad. Los años de 1900 a 1940 pueden describirse como la etapa de “Jim Crow”. Aunque Madera logró evitar los linchamientos que asolaron el sur, aquí sí existió una mentalidad de Jim Crow.