Urodził się 15 marca 1875 roku w Staninie w powiecie łukowskim. Jego ojcem był Piotr Ostaszewski, administrator majątku ziemskiego w Staninie, a matką Bronisława z Kickich.

Gimnazjum ukończył w Radomiu, po maturze w 1896 r. wstąpił na wydział lekarski Uniwersytetu Warszawskiego, który ukończył 1902 r., a w roku następnym uzyskał uprawnienia do wykonywania zawodu lekarskiego. Jako lekarz wojskowy powołany do wojska rosyjskiego brał udział w dwóch wojnach: rosyjsko - japońskiej w 1904 roku i w I wojnie światowej, podczas której wysłano go na front do Prus Wschodnich. W czasie kampanii mazurskiej w 1914 r. został wzięty do niewoli i przebywał w obozie jenieckim w Zalaegerszeg na Węgrzech aż do zawieszenia broni w 1918 roku.

W 1910 roku przybył do Mławy i zamieszkał na pierwszym piętrze budynku Hotelu Polskiego przy ulicy 3 Maja. Objął posadę lekarza Przychodni Kolejowej , którą piastował aż do przejścia na emeryturę w 1935 roku. Bardzo szybko zyskał uznanie w środowisku jako sumienny, uczynny lekarz, a przede wszystkim jako dobry fachowiec. Dlatego też, ówczesny lekarz powiatowy Stanisław Kamiński powierzył mu kierownictwo miejskiego szpitala, które z przerwą wywołaną zawieruchą I-ej wojny światowej pełnił do 1939 roku. Dr J. Ostaszewski cieszył się opinią dobrego lekarza ogólnego, a przy tym był wrażliwy na biedę i nędzę ludzka. Ubogim chorym nie tylko udzielał bezpłatnie porady lekarskiej, ale często dawał pieniądze na lekarstwa. Wspominał go Jan Bielski w artykule "Judym na gruncie mławskim" pisząc: "Taka postawa nie była gestem handlowym, obliczonym na wyrobienie szyldu dla praktyki lekarskiej przez początkującego doktora, lecz ludzkim odruchem ducha; takim pozostał przez całe życie".

Po odzyskaniu przez Polskę niepodległości Józef Ostaszewski aktywnie włączył się w życie społeczne, polityczne oraz kulturalno - oświatowe miasta. W utworzonym w 1919 roku Seminarium Nauczycielskim im St. Żółkiewskiego został szkolnym lekarzem i nauczycielem higieny. Był również wykładowcą geologii na zorganizowanym w początkach lat dwudziestych "Uniwersytecie Powszechnym" oraz wykładał w Żydowskiej Szkole Średniej, mimo że był jednym z czołowych liderów Stronnictwa Narodowego.

Całym sercem zaangażował się w działalność wielu organizacji i stowarzyszeń. Dzięki wrodzonej dobroci, taktowi, życzliwości wybierany był na stanowiska kierownicze i piastował je często przez wiele kadencji. Działał we władzach m.in. Polskiej Macierzy Szkolnej, Polskim Związku Zachodnim, Towarzystwie Dobroczynności, Stowarzyszeniu Młodzieży Akademickiej, Towarzystwie Gimnastycznym "Sokół". Był także długoletnim działaczem założonego w 1901 roku Towarzystwa Śpiewaczego "Lutnia", jednego z najbardziej zasłużonych towarzystw kulturalnych. Miało ono własną salę widowiskową, gdzie odbywały się liczne koncerty i przedstawienia teatralne, posiadało bibliotekę i czytelnię czasopism, amatorską orkiestrę symfoniczną oraz amatorski zespół teatralny (dziś w budynku "Lutni" mieści się biblioteka miejska). Towarzystwo było organizacją elitarną. Należała do niej inteligencja mławska i przedstawiciele ziemiaństwa, przeważnie o prawicowych poglądach politycznych. Józef Ostaszewski już w 1914 roku wchodził w skład zarządu, a od 1922 roku przez 17 lat pełnił funkcję prezesa "Lutni". W latach dwudziestych i trzydziestych wygłosił wiele pogadanek w ramach wykładów dla publiczności, organizowanych w sali "Lutni" m.in. jako jeden z pierwszych przedstawił w popularny sposób rolę witamin w życiu człowieka.

Obok działalności kulturalnej stowarzyszenie włączało się również w działalność polityczną. W kampanii wyborczej w 1923 roku członkowie "Lutni" pod przywództwem Józefa Ostaszewskiego utworzyli wyborczy Komitet i na cztery lata przejęli władzę w mieście, a on sam został wówczas członkiem Rady Miejskiej Mławy. W czasie kadencji tej rady wiele dobrego zrobiono dla miasta, m.in. wybudowano elektrownię miejską i oświetlono miasto, zniwelowano i rozszerzone wiele ulic, wybudowano dom przeznaczony na muzeum.
Tak wspomina Józefa Ostaszewskiego z tamtych lat inny działacz "Lutni" Lucjan Czerwiński " człowiek ten znajdował czas na prawie codzienne odwiedzenie "Lutni", której był długoletnim prezesem, na zagranie w preferansa czy winta, na małą potańcówkę, a nawet na udział w lekcji śpiewu . Gdyby nie jego wybitnie prawicowe zapatrywania, człowiek ten mógłby być śmiało uważany za jednego z najwybitniejszych i najpożyteczniejszych dla społeczeństwa mławian". Jemu również przypisuje się autorstwo broszury wydanej w 1931 roku "Dzieje Mławskiego Towarzystwa Śpiewaczego "Lutnia" przez 30 lat istnienia".

Józef Ostaszewki w dużym stopniu przyczynił się do utworzenia muzeum regionalnego w Mławie. Powstało ono w 1926 roku głównie ze zbiorów zgromadzonych przez uczniów seminarium nauczycielskiego pod kierunkiem prof. Borkowskiego i prof. Trznadla . Józef Ostaszewski w książce "Osobliwości historyczne Mławy" opisał zgromadzone w muzeum eksponaty i tak ocenił muzeum mławskie: " Naprawdę Mława, uboga w zabytki i pamiątki przeszłości, powinna być dumna ze swego muzeum i dokładać wszelkich starań do powiększenia zbiorów i do starannego otrzymania obecnego stanu posiadania".W 1937 roku współtworzył organizację regionalną Towarzystwo Przyjaciół miasta Mławy. Towarzystwo to postawiło sobie za główny cel troskę o poziom kulturalny miasta oraz pogłębianie i szerzenie wiadomości o znaczeniu historycznym Mławy i jej zabytkach. Temu właśnie celowi J. Ostaszewski poświęcił szczególnie dużo czasu. Opracował i sam wydał kilka prac dotyczących historii Mławy i regionu. Pierwszą z nich była książka "Z dziejów Mławskiego Mazowsza" wydana w 1934 roku, która stała się wydarzeniem nie tylko w naszym regionie, ale również w środowisku naukowym Warszawy, zyskując pochlebne recenzje. Praca ta została przetłumaczona kilka lat później na język niemiecki w formie książkowej " tylko do użytku służbowego". W 1935 roku ukazała się drukiem druga książka " Dzieje pierwotnego szczepu mazurskiego. Studium historyczno- literackie", a dwa lata później broszura " Osobliwości historyczne Mławy". Inne jego prace popularnonaukowe i publicystyczne to m.in.: "Z Mazowsza o Mazowszu. O propagandę Mławy". w: Roczniku Stowarzyszenia Mławian (1936), "Genealogia Mazurów Pruskich", która została wydana w płockim "Życiu Mazowsza" w 1936 roku, "Szkoła Handlowa Stowarzyszenia Kupców w Mławie". w książce: Szkoła Handlowa Kupców Polskich w Mławie na 15 - lecie (1939) oraz wiele artykułów dotyczących dziejów rożnych miejscowości północnej części Mazowsza, publikowaych w "Gazecie Mławskiej" tygodniku społeczno - kulturalnym, który sam redagował i wydawał w latach 1937 - 1939. Gazeta ta skupiała wielu ludzi, dla których głównym celem było podniesienie rangi gospodarczej i kulturalnej Mławy. Ostaszewski bardzo interesował się i stawał w obronie ludności mazurskiej i warmińskiej mieszkającej w byłych Prusach Wschodnich. W tej sprawie współpracował z wieloma działaczami na Warmii i Mazurach - Kazimierzem Jaroszykiem, Emilią Sukertową -Biedrawiną, a także redakcją "Gazety Olsztyńskiej. Był współautorem wydawanego w ""Płocku Kalendarza Informatora Mazowsza Płockiego i ziem sąsiednich" na lata 1935 - 37 oraz współpracował z prasą warszawską. W marcu 1939 roku za swą działalność został odznaczony Złotym Krzyżem Zasługi

Wolny czas poświęcał malarstwu, odnosząc i w tej dziedzinie znaczące osiągnięcia. Niektóre z zachowanych obrazów znajdują się dziś w zbiorach muzeum mławskiego m.in. Portret matki ( 1908r.), Autoportret (1923r.), Dziadek z Mławy ( 1924r.),Widok na park mławski (1923r.), Matka z córką w rynku (1925r.), Widok na Mławę ze wzgórza historycznego starostwa (1934r.). Kilka obrazów autora znajduje się również w zbiorach prywatnych. W dniu napaści Niemiec hitlerowskich na Polskę, Józef Ostaszewski mając świadomość grożącego mu niebezpieczeństwa opuścił Mławę i zamieszkał u swego syna Stefana w Warszawie. Tu boleśnie przeżył klęskę wrześniową, śmierć syna, oficera Wojska Polskiego, zamordowanego 3 lutego 1941 roku w Oświęcimiu. Brak pieniędzy spowodował konieczność podjęcia pracy w wieku 66 lat w Długosiodle pod Warszawą. Zmarł rok później 25 czerwca 1942 roku w wyniku powikłań po operacji wyrostka robaczkowego.
Doktor Józef Ostaszewski całe swoje życie poświęcił pracy dla zachowania historii i kultury swego przybranego miasta, o którym pisał przebywając w Warszawie w pierwszych latach okupacji w liście do Kazimierza Jaroszyka: " W oderwaniu od Mławy nic nie mam do zrobienia. Praca całego życia przywiązała mnie do tamtych stron i całą duszę włożyłem w podniesienie Mławy. Przybywa do tego złośliwa tragedia starości, która nie pozwala mi rozpoczynać czegoś nowego, a i siły nie pozwalają. Jedyne pragnienie pozostaje złożenie swoich kości na tym terenie, w który włożyło się duszę całą. Niestety nie mam nadziei, żeby ten wzgląd mógł wzruszyć kogoś, kto te sprawy decyduje. Należy się bardzo liczyć z tym, żeby mego położenia nie pogorszyć w nadziei poprawy. Nie mogę bez wzruszenia pomyśleć o Mławie i zazdroszczę każdemu wyrobnikowi, co tam pracuje".

Po II wojnie światowej znalazło się w Mławie wielu ludzi, którzy kontynuują i pomnażają rozpoczętą przez J. Ostaszewskiego pracę. Wśród nich niewątpliwie na czoło wysuwa się prof. Ryszard Juszkiewicz, historyk, autor licznych publikacji dotyczących Mławy i regionu. Prof. R. Juszkiewicz włożył znaczący wkład w reaktywowanie mławskiego muzeum regionalnego oraz stworzył własne muzeum regionalne, które stanowi dziś mini placówkę naukową posiadającą bibliotekę liczącą kilka tysięcy woluminów i archiwum bogate w źródła historyczne począwszy od okresu powstania styczniowego poprzez dwie wojny światowe aż po działalność powojennego podziemia.

W 1958 roku utworzono Towarzystwo Przyjaciół Ziemi Mławskiej, którego głównym celem działania podobnie jak tego przed II wojną światową jest zbieranie i opracowywanie materiałów dotyczących przeszłości Mławy i regionu oraz troska o rozwój kulturalny miasta. Od kilkunastu lat prezesem towarzystwa jest p. Kazimierz Tański, który szczególnie kultywuje pamięć o Józefie Ostaszewskim. To dzięki jego staraniom i jego projektowi został w latach 80- tych wykonany nowy pomnik na grobie J. Ostaszewskiego na Powązkach w Warszawie oraz wmurowana tablica pamiątkowa na domu, w którym mieszkał. Społeczeństwo Mławy również uczciło jego pamięć, nadając jego imieniem jedną z ulic. W 1998 roku Stacja Naukowa w Mławie, na wniosek jej kierownika prof. R. Juszkiewicza postanowiła zainicjować coroczny wybór spośród mieszkańców Mławy - "Mławianina Roku" z jednoczesnym przyznawaniem takiej osobie "honorowej nagrody imienia dr Józefa Ostaszewskiego". Wyboru osoby do takiej nagrody dokonuje Kapituła powołana spośród członków Stacji Naukowej, a jest ona przyznawana ludziom, którzy podobnie jak J. Ostaszewski poświęcili się dla bezinteresownej pracy dla miasta i społeczeństwa mławskiego. W ostatnich dwóch latach laureatami nagrody " Mławianin Roku" zostali właśnie kolejno prof. R. Juszkiewicz i K. Tański.