Te recomiendo, además de lo de Mik, que te centres en empezar desde lo que conoces (vanilla) e ir añadiendo los mods de uno en uno. Metiéndose mínimamente en otros a la vez porque al final puede liar.
Y en lo que estás con un mod, especialmente al principio, usa videotutoriales para lo básico. Los de "direwolf20" en YouTube, si te apañas con el inglés, son de lo mejor. Y una vez tengas la base y vayas cacharreando, Google y wikis para profundizar. Hay wikis específicas del FTB que cubren más o menos todos los mods principales.
Y preguntar mucho. Chat/ts, pero muchas preguntas 
Suelen dividirse los mods en dos grupos, magia y tecnología. La mayoría tiramos a combinaciones de ambos, pero no es mala idea centrarse con una única rama al principio porque, sobre todo con los mods industriales, suelen llevarse bien y complementarse unos mods con otros.
Tecnológicos, empezaría con el que dice Mik, luego IndustrialCraft, Buildcraft, Railcraft, y etc.
Mágicos: Thaumcraft, Ars Magica, Mystcraft...
Casi diría de separar esto del hilo original.