Notables restes de muralles es conserven encara en el poble de Sant Martí d'Empúries. Del petit recinte que encerclava el planell superior del petit puig en queden encara notables llenços de murs en els costats oest i nord. En les altres bandes només hi trobem escassos vestigis, que han estat destruïts per construccions posteriors. Val a dir, però, que el nucli habitat amb prou feines s'ha arribat a estendre, encara avui, extramurs, malgrat que el turisme hagi envaït, de fa alguns anys, l'indret. Les disposicions sobre llocs d'interès arqueològic i artístic han estat força respectades.
En el tram de ponent i vora l'angle sud-oest del recinte podem veure una de les antigues portes. És adovellada. Al seu damunt, en el mur, però no ben bé a sobre de la porta sinó desplaçat quelcom vers el nord, hi ha un gran matacà. A la banda d'intramurs, l'arc del portal és rebaixat i sobre d'ell hi ha una fornícula de rajols on s'hi dagué col·locar una imatge.
Des d'aquest lloc fins a l'extrem oposat, angle nord-oest del recinte, del tram occidental, el llenç es conserva gairebé integrament. Té uns 50 metres de llargada; el mur és poc alt, d'uns 6 metres. A uns 10 metres del portal es formen dues cantonades per recular quelcom, vers llevant, el traçat del mur. En la seva part central hi ha una torre de planta quadrangular. Tot el llenç és emmerletat. Els merlets són rectangulars, força allargats i conserven llurs garfis. Vora la torre hi ha un tram atalussat. L'aparell és, en general, de pedres sense treballar i argamassa (morter). Hi ha, però, molts trossos amb carreus bastament escairats, de petita mida, que formen filades seguides en alguns punts. Aquest material procedeix, segurament, dels edificis antics, d'època romana potser, que hi havien en aquest mateix indret. Les cantonades són de pedres grans, esquadrades.
En el tram nord, en l'inici i a tocar l'angle nord-oest, s'esbotzà un fragment de mur per fer passar un camí d'accés al poble. Al seu costat es pot veure el que resta d'una torre quadrada amb parament de temps posteriors als dels murs. A partir d'aquest lloc es conserva gairebé tot el llenç en una altura d'uns 6 metres; conserva, en la seva meitat oest, els marlets.; hi han espitlleres.
Al centre del tram hi ha una porta, d'arc rebaixat, tapiada. En substitueix una altra de més antiga, de la qual es veu el muntant i l'inici d'un arc. En l'extrem de llevant del llenç, una casa moderna s'hi adossa intramurs i ha malmenat quelcom aquesta part en obrir-s'hi finestres.
En tot el sector de llevant no queda pràcticament res de la muralla, que devia passar a tocar l'absis de l'església. És en aquest costat, en l'espai excavat al nord del temple, on han aparegut les restes d'una torre cilíndrica i un fragment de muralla de carreuada, segurament hel·lenística.
En l'angle sud-oest del recinte hi ha la casa del Servei de Repoblació Forestal, una baluerna de mal gust, aixecada a finals del segle XIX. En la seva part baixa, els murs estan construïts amb pedres procedents de la muralla del castell.
En el tram sud, en construir algunes cases es malmeté bona part de la fortificació. L'únic vestigi es pot veure des de la plaça de l'església, al sud-oest de la façana del temple. Es tracta de les restes d'una construcció de planta, sembla, rectangular, força allargada que, ens preguntem si seria una torre o un edifici més complexe.
Es tracta, possiblement, del castell d'Empúries. Un petit castell, al cim del turó del poble de Sant Martí, es pot veure en un gravat francès del segle XIX, que publicà Jaubert de Passa l'any 1823.
A la banda nord d'aquesta construcció hi ha un portal adovellat, d'arc de mig punt i uns notables fragments d'aparell de carreus ben escairats i afilerats. El portal té doble arcada, amb l'espai per on es desplaçava el rastell.
Les fortificacions de Sant Martí d'Empúries varen ser destruïdes, al segle XV, llavors de l'atac de les tropes del duc de Lorena, l'any 1468. Poc més tard, la muralla va ser, en gran part, reconstruïda. D'aquesta època deuen ser la major part dels llenços i altres elements que avui queden dempeus.
El portal i els vestigis de l'edifici rectangular del costat meridional del recinte, molt possibles restes del castell d'Empúries, creiem que són força anteriors, segurament dels segles XIII-XIV.