Mindre Jquery problem med scrollhjulet

Har stött på ett mindre störande problem med Jquery som jag inte verkar kunna lösa.

Förklaring:
Har en sida som är uppdelad i tre sektioner där varje sektion fyller skärmens yta (height:100vh;). Scrollbaren är borttagen och för att kunna navigera på sidan måste man använda sig av scrollhjulet eller någon av de tre ankarpunkterna.
Vid scroll nedåt eller uppåt flyttas hela sektioner upp resp. ner och täcker hela skärm ytan.
Klickar man på någon av de ankarpunkterna görs samma sak och det är här problemet dyker upp. Efter att jag har klickat på t.ex. ankarpunkt nr. 2 så går det ej att scrolla uppåt, ingenting händer förrän jag scrollar nedåt, därefter går det att scrolla uppåt.

Jag tror problemet sitter i att när jag klickar på en av ankorpunkterna och flyttar ned sidan så tror Jquery koden att t.ex. sida nr 2 är nu sida nr1. d.vs. Delta blir 0 och scrolluppåt fungerar inte förrän man scrollar nedåt och då hittar koden sin plats och allt fungerar som det ska igen.
Jag klurat på det här ett tag och kommer inte fram till någon som kan lösa problemet.

Hela koden in action hittar ni här och hur den fungerar:
http://jsfiddle.net/trq9qav5/2/