Hallo Frank, 
> Wie kann ich also nun den relativen Pfad
> (typo3conf/ext/myextension/res/my.js) herausbekommen?
Wenn ich dich richtig verstanden habe, geht das ganz einfach mit:
t3lib_extMgm::extRelPath('myextension').'/res/my.js';
Gruß
- Christoph -