Con Illustrator se vuoi arrotondare solo un angolo mi sa che dovrai fare più di un passaggio, non mi vengono in mente operazioni tipo quelle che intendi.
I sistemi sono molteplici, ma il più facile da spiegare direi che sia quello di creare il tuo rettangolo, creare la circonferenza che sarà poi l'angolo arrotondato, allinearli all'angolo che ti serve, elaborazione tracciati->togli, ora avrai un gruppo di 3 oggetti, di cui uno è il rettangolo con l'angolo arrotondato, gli altri due si possono cancellare.

p.s.: cos'avrebbe di macchinoso il comando effetti->stilizzazione->angoli arrotondati, a parte il fatto di non fare al caso tuo in quest'occasione??