Vipolže so razloženo naselje, ki se nahaja na flišnem slemenu med potokoma Oblenča in Birše, tik ob meji z Italijo. Vas spada v Občino Brdo, za katero so značilni griči z zelenimi vinogradi, oljčna drevesa ter sadovnjaki s češnjami in breskvami.
Poleg osrednjega jedra zajema zaselke Dolnji Konec, Dugo, Ronk, Podgrad, Papeževo, Mazaritovi, Bizajšče, Školarijev Borjač, V Briši in Na Vrhu, ki se razprostirajo ob cestah proti bližnjih Kozani, Dobrovem in Dolnjem Cerovem, v neposredni bližini pa je tudi mejni prehod. V Vipolžah je najpomembnejša gospodarska dejavnost kmetijstvo, na pobočjih slemena se razprostirajo slikoviti vinogradi, v ravninskem območju pri vznožju pa uspevajo breskve. Kraju dajeta največji pečat cerkev in kar dva grajska objekta, mlajši v gornjem predelu vasi in starejši v vzhodnem delu vasi, ki je sedanja Vila Vipolže. Župnijska cerkev je posvečena svetemu Egidiju. Stari grad iz 11. stoletja je razdejan. Največjo krajevno znamenitost predstavlja Vila Vipolže, čudovita poznorenesančna beneška vila s parkom, v katerem rastejo orjaške ciprese. Predhodnik sedanje zgradbe v lasti Goriških grofov, srednjeveške plemiške rodbine iz Zgornje Koroške, se omenja že v 12. stoletju, za takratno graščino pa so skrbeli gospodje Wipelsach, po katerem sta naselje in grad dobila tudi ime. Vila Vipolže je bila razglašena z kulturni spomenik državnega pomena.
Po drugi svetovni vojni je bila zgradba prepuščena propadanju, vse do leta 2015, ko so jo v celoti obnovili s sredstvi Evropskega sklada za regionalni razvoj in Ministrstva za kulturo Republike Slovenije. V bližini Vipolž se nahaja Dobrovo, kjer je velika vinska klet.