Koncepcia výškového strategického prieskumu bola prvýkrát sformulovaná koncom roka 1952 majorom USAF Johnom Seabergom. Na základe jeho špecifikácií bolo veliteľstvom leteckého výskumu a vývoja (ARDC) vyhlásené výberové konanie na výškové prieskumné lietadlo. Projektu s oficiálnym označením MX-2147 Bald Eagle sa zúčastnili firmy Bell Aircraft, Fairchild Aircraft a Martin Aircraft. Zatiaľ čo Fairchild (vľavo) a Bell (uprostred) predložili návrh úplne nového lietadla, firma Martin bola požiadaná o predloženie štúdie, zameranej na prestavbu stroja B-57 (licenčne vyrábaná Canberra) na výškové prieskumné lietadlo.

Výberové konanie vyhrala spoločnosť Bell, pričom lietadlu bolo pridelené oficiálne označenie X-16. USAF zadalo objednávku na 28 strojov. V tom čase sa rozbehol identický projekt Aquatone, na ktorom participovala CIA pričom jej kontraktorom bol Lockheed. V spoločnosti Bell nevedeli o zložitom reťazci udalostí, ktoré sa odohrali vo Washingtone. Avšak akonáhle vstúpilo do platnosti Eisenhowerovo rozhodnutie presunúť tento druh akcií z USAF na CIA, stratil program X-16 zmysel a jeho ďalšie financovanie bolo zastavené. Do tej doby stihla byť postavená iba maketa v skutočnej veľkosti a prvý prototyp, dokončený zhruba z osemdesiatich percent. Lietadlo bolo pre konštruktérov v niektorých aspektoch nočnou morou. V dôsledku požiadavky na operačnú výšku 21,3 km muselo byť použité extrémne dlhé a tenké krídlo, spolu s maximálne vyľahčeným trupom. Pri sériových strojoch sa predpokladal dolet bez tankovania vo vzduchu na úrovni 4815 km. Hoci nedošlo k zavedeniu lietadla do operačnej služby, program X-16 priniesol cenné poznatky v oblasti vývoja ľahkých konštrukčných materiálov a stal sa hybnou silou pri zrode špecializovaných motorov J57 pre veľké výšky. Z projektu Aquatone nakoniec vznikol Lockheed U-2.

Návrh firmy Martin sa neskôr realizoval ako RB-57D/F. Verziu D poháňali dva motory J57 (namiesto nedostatočne výkonných J65), stroje dostali väčšie rozpätie krídel na úrovni 32,31 metra a širokú škálu optického a elektronického prieskumného vybavenia. USAF si objednalo dvadsať strojov v štyroch jednomiestnych a dvojmiestnych verziách. Niektoré z nich mali nástavec na tankovanie paliva počas letu. V roku 1963 bol uprednostnený vývoj verzie F s rozpätím krídla 37,19 metra. Tá mala dva dvojprúdové motory TF33 v krídle a v podvese ďalšie dva prúdové motory J60. Lietadlo mohlo dosiahnuť maximálnu rýchlosť 1017 km/h vo výške 12,2 km a maximálny dostup 21,3 km.