Du kan absolut börja direkt med Swift, finns inget som skulle göra Java/C# till bättre första språk och om målet är iOS appar blir det en liten mindre arbetsinsats initialt då du redan känner till språket som du kommer använda.
Har du en Mac är det bara ladda ner XCode och dra igång. Är nog enklast att lära sig själva språket på din Mac, Swift är numera även förstahandsvalet för att skriva MacOS applikationer. Faktum är att Swift är open-source, lärde mig själv grundläggande Swift-programmering på Linux m.h.a. att använda språket för att skriva lite enklare applikationer till Ubuntu (det som behövs för det hittar du här).
Vid närmare eftertanke är nog Swift lite "snällare" för nybörjare jämfört med Java/C# då vissa potentiella buggar som i Java/C# skulle fångas först när man kör programmet går inte ens att kompilera i Swift (men ska inte dra för stora växlar, är rätt rudis på Swift, har rätt mycket mer erfarenhet av C# och framförallt av Java).
För Android har Java varit det som gällt. Men sedan ett par månader tillbaka finns ännu ett officiellt språk för plattformen, Kotlin. Min gissning är att Kotlin kommer ersätta Java som de-facto språk för Android, likt hur Swift ersatt Objective C på iOS, på relativt kort tid. Google har en rad anledningar varför det ligger i deras intresse, men Kotlin är också ett lämpligare språk för appar så även utvecklarna har en god anledning.
Android Studio har stöd för Kotlin, stödet kommer finnas från start från version 3.0 av Android studio (preview av Android studio 3.0 och en rad andra Android specifika Kotlin tips finns här).
Även här är det möjligt att lära sig programmera Kotlin på vilket system som helst där Java stöds (så i praktiken kan du köra Windows, MacOS och Linux). Och även här kan det finnas en rad fördelar att lära sig grunderna på en vanlig dator innan du kör igång med att programmera Android-appar.