Nació en San Juan el 17 de julio de 1757, de padres puertorriqueños. Cursó sus estudios en Caracas, Venezuela. Luego, en Santo Domingo, se hizo sacerdote.  Regresó a Puerto Rico en el 1875 en compañía del Obispo Tres Palacios, junto al cual desempeñó cargos importantes: entre éstos, el de Provisor y el de Vicario General. Fue capellán en el Convento de las Carmelitas, en San Juan.  En 1803, fue nombrado Obispo por el Papa Pío VII, siendo el primer puertorriqueño en ocupar esta posición.

Su interés por la labor religiosa era inmensa.  Logró aumentar los fondos para el Seminario Conciliar, centro educativo cuya construcción era necesaria.  Éste se inauguró el día 2 de julio de 1832.  Para este momento, Arizmendi ya había muerto, en el año 1814.  La labor del Seminario Conciliar fue de carácter general, y no estuvo limitado a lo religioso.

Arizmendi fue un simpatizante de los ideales liberales de la época, luchó por ellos y apoyó a los que los postulaban. Le entregó la sortija pastoral a don Ramón Power y Giralt cuando se despedía para ocupar el puesto de Diputado a las Cortes Españolas de Cádiz por la Isla de Puerto Rico.  Esto se hizo en una ceremonia solemne en la cual se bendijo dicha sortija.  La ceremonia se llevó a cabo el 8 de agosto de 1809, en la Catedral de San Juan, Puerto Rico.  Ese mismo día, en dicha ceremonia, se intercambiaron los nombres de la isleta de San Juan con el de la Isla de Puerto Rico.  Anteriormente, la hoy isleta de San Juan era llamada Puerto Rico, y la isla grande, San Juan Bautista.  En esta ceremonia, como ya hemos mencionado, se utilizó por primera vez el gentilicio puertorriqueño, y fue precisamente Arizmendi quien lo  utilizó al entregarle la sortija a Power y Giralt.  Esto lo hace acreedor de un lugar prominente en la historia de Puerto Rico, además de ser el primer puertorriqueño nombrado Obispo por la Iglesia Católica, como mencionáramos antes.

Arizmendi murió en Arecibo en el año 1814.