Als russischer Leutnant Rosanov in Norman Jewisons Komödie "Die Russen kommen! Die Russen kommen!" hat Arkin 1965 gleich in der ersten Hauptrolle im Film einen Riesenerfolg, der ihm eine Oscar-Nominierung bringt. Erhalten soll er ihn erst über 40 Jahre später, 2007 für seine Altersrolle in "Little Miss Sunshine" (2005). Doch sein Leutnant Rosanov sichert dem Schauspieler zu Beginn seiner Karriere eine ganze Reihe von Rollenangeboten, unter denen er sehr sorgfältig auswählt. So reizen ihn Kontraste: etwa als notorischer Verbrecher in Terence Youngs Verfilmung des bekannten Bühnenstücks."Warte, bis es dunkel ist" (1967) als Partner von Audrey Hepburn, eine Rolle in Vittorio De Sicas "Siebenmal lockt das Weib" (ebenfalls 1967) als Partner von Shirley MacLaine und schließlich spielt er 1968 einmal die Peter Sellers-Rolle des "Inspektor Clouseau" in dem gleichnamigen Film.
Arkin spielt den tölpelhaften französischen Kriminalisten ebenso sicher und geschickt wie den Russen in seinem ersten Film. Aber auch der taubstumme John Singer in Robert Ellis Millers Film "Das Herz ist ein einsamer Jäger" (1968) und der geschäftstüchtige Bomberpilot Yossarian in Mike Nichols Weltkrieg-II-Satire "Catch 22 - Der böse Trick" (1970) gehört zu seinen besten Rollen. Als der Sohn russisch-deutscher Juden das Los Angeles City College beendet hat, schließt er sich der Folksong-Gruppe "The Tarriers" an, ist zu Beginn der Sechzigerjahre Mitglied der Improvisationsgruppe "Second City", dann spielt er eine Weile an Off Broadway-Bühnen. Dort arbeitet er mit Mike Nichols und Elaine May zusammen. Für sein Broadway-Debüt "Enter Laughing" erhält er den Tony Award. Zu der Zeit hat sich der vielseitige Künstler bereits als Autor von utopischen Geschichten einen Namen gemacht, später verlegt er sich gemeinsam mit seiner Frau, der Schauspielerin Dana, auf Veröffentlichungen von Kinderbüchern wie "Tonys harter Arbeitstag".
Doch dann reizt ihn auch die Regie: 1971 inszeniert er die selbst geschriebenen Gesellschaftssatire "Kleine Morde", in dem er die Rolle, die eigentlich auf sich selbst zugeschnitten hat, mit Elliott Gould besetzt. Der Fotograf Alfred ist der apathische Freund der selbstsicheren Patsy. Er reagiert auf nichts, lässt sich zusammenschlagen, zeigt weder Freud noch Leid, knipst seine Bilder herunter und bleibt bei seinen ewigen Motiven. Er belichtet nur Fäkalien. Als eines Tages seine Patsy versehentlich ermordet wird, beginnt er eine gewisse Aktivität zu zeigen: Er kauft ein Gewehr und schießt - gemeinsam mit Schwager und Schwiegervater - harmlose Passanten ab: auf sinnlose Gewalt reagiert er mit ebensolcher Gegengewalt. Grausam lakonisch in der grotesken Bosheit ist das. Die Normen haben sich verschoben, es gibt keine Werte mehr, das Lachen bleibt im Halse stecken. Wenn auch etwas konfus erzählt, ist das konsequent und aufregend.
1975 erhält Arkin den Preis der New Yorker Filmkritik für Howard Zieffs "Ins Herz des Wilden Westens". Mit Peter Falk steht er in Arthur Hillers "Zwei in Teufels Küche" (1979) gemeinsam vor der Kamera und Jahre später noch einmal in John Cassavetes' "Sterben... und leben lassen" (1985). Persönlich ist Arkin eher ein zurückhaltender und bescheidener Mann. 1996 sah man ihn in dem brasilianischen Film "Vier Tage im September". Ein Jahr später spielte er in dem bemerkenswerten Sciencefiction-Thriller "Gattaca" und in "Grosse Pointe Blank - Erst der Mord, dann das Vergnügen". 1998 stand er in "Hauptsache Beverly Hills" vor der Kamera, 1999 folgte "Jakob der Lügner".
Weitere Filme mit Alan Arkin: "Der letzte der feurigen Liebhaber" (1972), "Rafferty und die wilden Mädchen" (1975), "Kein Koks für Sherlock Holmes" (1976), "Es brennt an allen Ecken" (1977), "Papa haut auf den Putz", "Der Magier" (beide 1979), "Simon, der Außerirdische" (1980), "Return Of Captain Invincible" (1983), "Bad Medicine - Dümmer als der Arzt erlaubt", "Eine Liebe in Montreal" (beide 1985), "Tödliches Geschäft" (1986), "Sobibor" (1987), "Wild Boys", "Edward mit den Scherenhänden", "Havanna" (alle 1990), "Rocketeer - Der Raketenmann", "Glengarry Glen Ross" (beide 1991), "Cooperstown", "Ein Sommer unter Freunden", "Mörderische Hitze" (alle 1993), "Die Waffe des Satans", "North" (beide 1994), "Die Jerky Boys", "Kalte Schnauze, treues Herz", "Kleine Beute, große Beute" (alle 1995), "Schatten der Schuld" (1996), "Blood Money" (1999), "Thirteen Conversations About One Thing", "America's Sweethearts" (beide 2001), "Raising Flagg", "The Pentagon Papers" (beide 2003), "Eros", "Noel", The Novice" (alle 2004), "Firewall", "Santa Clause 3 - Eine frostige Bescherung" (beide 2006), "Machtlos" (2007), "Get Smart", "Marley & Ich", "Sunshine Cleaning" (alle 2008), "Pippa Lee" (2009), "Stichtag" (2010), "Argo" (2012), "Der unglaubliche Burt Wonderstone" (2013).