Původ a prvotní určení tzv. Čertova sloupu, ve skutečnosti nejspíše pozůstatků trojice různých sloupů, zůstává záhadou. Nejstarší jednoznačná zpráva pochází z roku 1609, kdy je sloup zmiňován na hřbitově bývalého vyšehradského kostela Stětí sv. Jana Křtitele. Brzy nato byl však nejspíše přenesen do interiéru kostela sv. Petra a Pavla, kde setrval až do roku 1787. Tehdy byl na základě nařízení císaře Josefa II. z kostela vynesen a uložen při hřbitovní zdi, kde ležel až do roku 1894. Na stávající místo jej z vyšehradského hřbitova na nechal přesunout Mikuláš Karlach. Přesun a instalaci do dnešního tvaru zajistilo kamenictví Ludvíka Šaldy. 

Pověst tvrdí, že sloup přinesl sám ďábel až z dalekého Říma. Petrografický průzkum nicméně určil druh kamenného materiálu, tvrdého granodioritu, který pochází z oblasti dolního Posázaví. Ze všech domněnek o původním určení kamenných fragmentů se nejpravděpodobnější zdá předpoklad, že jsou to pozůstatky z dnes nedochované stavby, nebo jde o části sloupu přímo z chrámu sv. Petra a Pavla, kde se v pramenech k roku 1503 hovoří o zříceném pilíři a zhroucené klenbě v interiéru kostela.