Le village est situé sur les dernières pentes méridionales du Morvan (le mont Thouleur, Montjouan, le mont Genièvre sont visibles de Chiddes) et est dominé par le mont Charlet, qui possède à son sommet un petit monument religieux en béton et une table d'orientation. Le bourg est à 317 mètres d'altitude, mais le finage communal s'échelonne entre 515 mètres et 244 mètres pour une altitude moyenne de 380 mètres2. Du bourg, la vue s'étend loin aussi vers le sud.
On y accède par la route départementale D 985 (Route Buissonnière) (direction Saint-Honoré-les-Bains) depuis Luzy et aux Vernées, à 8 km, prendre à droite la D 124.

Édifice rural