Trường Tiểu học Thực hành Sư phạm Phan Đình Phùng có 3 cơ sở: Cơ sở 1 tọa lạc tại số 491/7 đường Nguyễn Đình Chiểu, Phường 2, Quận 3 với cấu trúc 1 trệt 2 lầu hình chữ L; Cơ sở 2 tọa lạc tại số 491/16 đường Nguyễn Đình Chiểu, Phường 2, Quận 3 với cấu trúc 1 trệt 3 lầu hình chữ L và Cơ sở 3 tọa lạc tại số 491/5/1 đường Nguyễn Đình Chiểu, Phường 2, Quận 3 với cấu trúc 1 trệt. Trường được thành lập vào năm 1958. Năm 2003, trường sáp nhập Trường thực hành sư phạm cấp 1 và đổi tên thành Trường Tiểu học Thực hành sư phạm Phan Đình Phùng trực thuộc Ủy ban nhân dân Quận 3 theo Quyết định số 3401/QĐ-UB ngày 19 tháng 8 năm 2003 của Ủy ban nhân dân Thành phố Hồ Chí Minh.
Sự thay đổi, cải tạo theo thời gian. Trường được đầu tư xây dựng cơ sở mới (cơ sở 2) với tổng kinh phí khoảng gần 5 tỷ đồng và đưa vào hoạt động từ ngày 05 tháng 9 năm 2002 Trường có tổng diện tích 4713,3m2 với quy mô 3 cơ sở. Tổng cộng gồm có 47 phòng học và các phòng chức năng. Mỗi phòng có diện tích từ 56m2 thoáng mát, đảm bảo ánh sáng, được trang bị đầy đủ bàn ghế đúng kích thước phù hợp với tầm vóc của học sinh. Diện tích còn lại dành cho việc trồng cây xanh, sân chơi. Bên cạnh đó, trường còn chú trọng việc xây dựng môi trường học thân thiện, hiện đại. Nhà trường đã tổ chức các hoạt động rèn kỹ năng sống cho học sinh vào buổi học thứ hai, hình thành nhân cách, phát triển năng khiếu của học sinh. Tổ chức sinh hoạt truyền thống, giao lưu với người đương thời, lễ hội, tham quan dã ngoại, công tác từ thiện,... được thầy và trò tích cực tham gia. Nổi bật nhất là phong trào thể dục thể thao, nhà trường đã đạt nhiều huy chương cấp quận, cấp thành phố, cấp Quốc gia.
Nhà trường được sự quan tâm của Sở Giáo dục và Đào tạo Thành phố Hồ Chí Minh, Quận ủy; Ủy ban nhân dân; Phòng Giáo dục và Đào tạo Quận 3, cấp ủy Đảng và chính quyền Phường 2, Quận 3. Cán bộ- Giáo viên- Nhân viên nhà trường luôn thể hiện tinh thần đoàn kết, có trách nhiệm, năng động, sáng tạo. Đa số giáo viên đạt trình độ trên chuẩn, yêu nghề, mến trẻ, luôn học hỏi, tìm tòi và vận dụng phương pháp, hình thức tổ chức dạy học phát huy tính tích cực của học sinh. Tỷ lệ giáo viên giỏi, chiến sĩ thi đua ngày càng nâng cao. Chất lượng học sinh ngày càng chuyển biến: học sinh tự tin, có kỹ năng ứng xử trong cuộc sống, nắm kiến thức, vận dụng vào thực hành tốt và sống nhân ái. Nhà trường rất được sự tín nhiệm của phụ huynh. Sự phát triển của nhà trường tiến triển từng năm. Kết quả giáo dục nâng lên ngày càng rõ rệt.
Trong quá trình thành lập và phát triển, nhà trường đã đạt nhiều thành tích: Cờ thi đua của Ủy ban nhân dân Thành phố Hồ Chí Minh; Bằng khen của Bộ Giáo dục và Đào tạo; Bằng khen của Thủ tướng chính phủ. Ngoài ra, trường còn được nhận bằng khen đạt thành tích xuất sắc trong phong trào Công nhân viên chức lao động và hoạt động Công đoàn. Chi bộ đạt Chi bộ trong sạch vững mạnh nhiều năm liền.
Từ ngày 31 tháng 7 năm 2017 thực hiện theo Quyết định số 204/QĐ-UBND ngày 31/7/2017 của Ủy ban nhân dân Quận 3 đổi tên Trường Tiểu học Thực hành sư phạm Phan Đình Phùng thành Trường Tiểu học Phan Đình Phùng.
Ngày 20 tháng 11 năm 2017 Trường Tiểu học Phan Đình Phùng tổ chức trang trọng Lễ Đón nhận Quyết định công nhận trường đạt chất lượng giáo dục mức độ 1.
Trong giai đoạn hiện nay, với xu hướng hội nhập quốc tế, đòi hỏi mỗi nhà trường phải xác định cụ thể các tiêu chí phấn đấu nhằm đảm bảo yêu cầu ngày càng cao về chất lượng giáo dục. Trường Tiểu học Phan Đình Phùng tổ chức xây dựng và phát triển nhà trường theo hướng tiên tiến hiện đại.