Бюджет желательно поменьше, но чтобы не отказывать себе в минимальных удобствах.
Поезжайте в Анапу или на Таманский полуостров, здесь дешевле, чем в Сочи, и моря, хоть Черное, хоть Азовское, мелкие, теплые и идеально подходят для малышей. Есть бюджетные варианты, даже с системой "все включено", правда, это ближе к Анапе, где больше людей и меньше места на пляжах. Тем, кто любит уединение, лучше выбирать Благовещенку или поселки со стороны Азовского моря, Кучугуры, например. Вы поедете на машине? Как любите время проводить?
В Крыму, как мне показалась, сервис и инфраструктура развиты хуже, однако природа там, конечно, там очень красивая и разнообразная, от гор до степей, есть, что посмотреть.
Как житель Петербурга могу сказать, что погода на Балтике - дело совершенно непредсказуемое, про Каспийское море ничего, к сожалению, не знаю.