Zříceninu gotického hradu Rychleby naleznete na skalnatém ostrohu vrchu Přilba. Písemné prameny o hradu mlčí, podle archeologických nálezů a rozboru lokality byl postaven pravděpodobně na počátku 14. století k ochraně stezky vedoucí z Javorníku do Kladska. Na protější straně údolí jej doplňovalo menší dřevohlinité opevnění dnes zvané Pustý zámek a drobný hrádek předsunutý před vstup do údolí.
Nepravidelně oválné jádro hradu obklopovala 2,6 m silná hradba. Za ní stál obrouhlý bergfrit a jednoduchý obdélný palác. Kromě jižní strany příkře spadající do údolí bylo jádro obklopeno příkopem a mohutným valem. Přístup byl veden od východu přes příkop pod bergrit, pod kterým byla pravděpodobně vstupní brána.
V dalším vývoji byl hrad postupně v několika od sebe nerozlišitelných fázích rozšiřován. K obvodové hradby byly na západě z vnější strany přistavěny dvě budovy. V jižní části nádvoří byla přistavěna obdélná budova, jižně od ní dnes stojí kruhová vyhlídková plošina s točitým schodištěm, u které nelze rozhodnout zda jde o původní stavbu nebo romantickou přístavbu.
Obrany schopnost hradu posílil parkán vedený od západu k východu. Na vstupní jihovýchodní straně z ní vybíhala branská budova jištěná věžovitou stavbou vysunutou do příkopu. Ve volném prostoru mezi zdvojeným parkánem a bránou vzniklo malé předhradí, ze kterého se teprve vstupovalo na úroveň jádra. Spálené zvířecí kostry a množství zbytků zbraní svědčí o násilném zániku hradu.
Hrad je opředen mnoha pověstmí. O dívce začarované v hada čekajícího s klíčkem v ústech. Nebo o Zeleném rytíři: Po skončení bojů mezi Čechy a Poláky o Slezsko spravoval hrad dobrotivý rytíř jménem Gernot. Protože byl v letech a službou v odlehlém kraji unaven, prosil knížete, aby jej zprostil úřadu. Jednoho večera se objevil před branou hradu rytíř v zeleném brnění s menším doprovodem zbrojnošů a prosil o vpuštění. Pak se představil jako Gernotův nástupce. Pán hradu jej radostně přijal, dobře pohostil netuše, že je to zlý duch. Hned první noc noví příchozí pobili celou posádku i Gernota a z hradu učinili loupežnické hnízdo. Zelený rytíř měl především spadeno na sličné dívky, které lákal do hradu a pak nechal zhynout v hladomorně. Jednu ze svých krásných obětí chtěl však pojmout za ženu. Dívka netušila, v jakých rukou se ocitla, a teprve když přivolaný kněz odmítl rytíře s dívkou oddat a byl za to sekerou zabit, poznala dívka krutost pána hradu. Proto statečně odmítala jeho ruku, i když jí ukázal kosti zabitých dívek. Mezitím se obyvatelstvo z okolí obrátilo proti hradu se zbraní v ruce, vyvrátilo jej a posádku zahubilo. Zelený rytíř dík své kouzelné moci včas uprchl, ale předtím proměnil stále vzdorující dívku v hada.
Mezi lidem kolovaly pověsti, že se ve zříceninách hradu ukrývají velké poklady. Lze je odkrýt jen o Květné neděli, když se v javornickém kostele zpívají pašije. Jeden tkalcovský tovaryš z Nových Vilémovic o tom slyšel a rozhodl se, že poklad získá. Vypravil se v určenou dobu na hrad a začal kopat. Z jámy, kterou nad jedním sklepením vykopal, se k jeho ohromení začal plazit obrovský had, držící v tlamě zlatý klíček. Navíc had začal mluvit a slíbil tovaryšovi celou pokladnici zlata, od níž byl klíč, jestli se svleče a bez hlesu snese, aby se mu had otočil kolem nahého těla a vložil do úst zlatý klíč. Mládenec sveden vidinou blízkého bohatství svolil, ale když se mu had začal ovíjet kolem těla a stiskl mu hruď, hrůzou vykřikl. V tom okamžení had zmizel a zřítilo se s rachotem i sklepení a tovaryš sám padl do mdlob. Když se z nich probral, dobelhal se v horečce domů, kde vypravoval, co se mu přihodilo. Třetího dne pak zemřel. Poklady už tu nikdo více nehledal, ale zřícenina, tyčící se tajuplně nad Račím údolím, podnes přitahuje pro svůj půvab tisíce návštěvníků.