Когда Энни было 6 лет, ее отец, квакер Джейкоб Мозес, умер от воспаления легких, оставив Сьюзан Уайз Моисей, с шестью детьми и долгами. Мать Энни вышла замуж второй раз за Дэн Брамбо, но вскоре после этого он тоже умер, оставив ее с новым ребенком.