אולם בפועל התברר בתוך זמן קצר שהעולים מתימן הורגלו כבר בארץ מוצאם לכל עבודה קשה והם עשו ככל שיכלו כדי להרוויח את פרנסתם. יוזמות שונות של העולים מתימן להקים התיישבות חקלאית לא זכו לסיוע הנדרש ולכן נכשלו. בעזרתו של ישראל דב פרומקין התיישבו התימנים בכפר השילוח (סילואן) ויישובם במקום המשיך להתקיים עד שפרצו המאורעות בשנת 1936. בעזרתו של הברון מוריס דה-הירש הקימו העולים בירושלים את השכונה "נחלת צבי" (על שמו של התורם, הירש=צבי באידיש). ביפו נוצרה קהילה קטנה של יהודים מתימן ובראשית המאה ה-20 הם הקימו כמה שכונות בעיר. עקב מצבם הקשה הקימו אגודה בשם "פעולת שכיר" שמטרתה הייתה לכבוש את העבודה החקלאית במושבות מידי הפועלים הערבים ובכך הקדימו את מפלגות "הפועל הצעיר" ו"פועלי ציון" (מפלגות שקמו בשנים 1905 ו-1907), אך גם יוזמה זו לא התבססה ממש.המושבה הראשונה שבה התיישבו התימנים, מ- 1908 ואילך, הייתה רחובות (לימים שכונת שעריים). העולים משכו את תשומת לִבם של הפועלים ושל אנשי "המשרד הארצישראלי". מאבקם של מנהיגי הפועלים ושל אנשי "העלייה השנייה" ממזרח אירופה לכיבוש העבודה מידי הפועלים הערבים לא צלח. אולם העולים מתימן נתפסו כ"פועלים טבעיים" (בדומה לפועלים הערבים) ומכאן צמח הרעיון שהם יכבשו את העבודה מידי הערבים במקום אחיהם ממזרח אירופה. על רקע זה יצא לתימן שמואל יבנאלי, מאנשי "העלייה השנייה", בשליחות "המשרד הארצישראלי". שליחותו הצליחה מאוד ועד סוף 1912 עלו לארץ כ- 1500 נפשות. שכונות הוקמו במקומות ראשון לציון, פתח תקווה, זכרון יעקב, כנרת, יבנאל, באר יעקב, חדרה (נחליאל), מגדל ומנחמיה. מסתבר שעד מלחמת העולם הראשונה עלתה לארץ כעשירית מהאוכלוסייה היהודית שהייתה בתימן. בשנת 1914 הגיע מספר העולים מתימן בארץ ישראל ל-6500 והם היוו 12% מהיישוב היהודי בארץ. לשיעור עלייה כה גבוה מתוך קהילה יהודית בשלב כל כך מוקדם להגשמתה של הציונות אין אח ורע (דרויאן, באין מרבד קסמים, בהקדמה).
בעיתונות התקופה, בתיקי המשרד הארצישראלי ובעדויות של בני התקופה, העולים מתוארים כחלשים, קצתם חולים, מדוכאים ורצוצים, לבושים בסחבות, כמעט עירומים. היו אלה השפעות טלטולי הדרך. אולם גם השנים הראשונות היו קשות ביותר עבורם. הגברים עסקו בעבודה חקלאית, במטעים, בפרדסים ובכרמים ומיעוטם בפלחה, מכיוון שבפלחה הועדפו הערבים "בעלי הניסיון". התימנים עסקו בניכוש יבלית, קצתם בנטיעות ובהשקיה. הם גם נטלו חלק בקטיף, בהתאם לעונות, בסַבָּלוּת ובמלאכות אחרות.
מצב התברואה היה ירוד ועולי תימן סבלו ממחלות וביניהן הקדחת, דלקת הריאות, מחלות המעיים ומחלת העיניים – הגרענת. עקב תנאי המגורים, החולים והבריאים נמצאו יחד והמחלות המדבקות פשטו כמגפה. הקורבנות היו רבים ובמיוחד הייתה נוראה תמותת התינוקות. העולים מתימן לא היו מורגלים ברופאים ובתרופות ועקב היעדר ממון גם נמנעו מלקנות תרופות. הם גם האמינו בסגולות שונות, על פי הידע הרפואי שהביאו עמם מתימן.
בתחילה עוררו התימנים עניין בקרב אנשי המושבות והם אף דאגו להם. אולם פעולתם היחידה הצטמצמה בעזרה בדיור – רשות להתגורר באופן זמני בבתי ציבור, באורוות וברפתות ואחר כך גם נתנו להם מגרשים זעירים. הצעירים, נשי האיכרים ובנותיהם, הגישו סיוע זמני. אך במהרה התרחקו האיכרים מן התימנים ואף נמנעו מלהעסיק אותם. אחד הגורמים לניכור היה היעדר הניקיון שנבע מהתנאים הקשים. גם ריבוי המחלות והחשש להידבקות גרם להתרחקות האיכרים ומשפחותיהם. אך להתרחקות היה גם ממד תרבותי: העולים מתימן ("התימנים") נחשבו ל"פראים" בעיני האיכרים.
ההבדלים התרבותיים באו לידי ביטוי בחיי השגרה. הנשים של העולים מתימן, שסבלו ממחסור וממצוקה, ליקטו פרי בכרמים ובמטעים וכן קוששו עצים וזרדים לבישול ולחימום. האיכרים ראו במעשים אלה גניבה והתימנים נענשו בחומרה רבה. העולים מתימן נפלו קורבן להשפלות רבות והנוראה שביניהן הייתה הכאת נשים וגברים. כאשר נוצר עימות בין איכר לבין עולה מתימן, עמד ועד המושבה, בדרך כלל, לצדו של האיכר.
בנוסף לכך, קליטת העולים הייתה כרוכה בהוצאות גדולות. ועדי המושבות שיערו שלא יוכלו לגייס את האיכרים למשימה ולכן העדיפו לפנות לשם כך למשרד הארצישראלי. ועד המושבה דרש מהתימנים כספים לצורך התקנת צינורות מים, למרות שידע שמצבם קשה מאוד. כמעט ולא נוצרו קשרי ידידות בין בני תימן לבין התושבים הוותיקים, שמוצאם ממזרח אירופה. בתחילה ניסו לעזור לתימנים ולכוון את צעדיהם, אך בתוך זמן קצר התברר לאיכרים כי לא כדאי להם להיחשב ל"בעלי חסות" על עולי תימן ואדישותם כלפיהם גברה.
האיכרים ראו את מצבם הקשה של התימנים כמצב חסר תקווה. הם לא היו מוכנים להקצות לתימנים מאדמתם או להקדיש משאבים לבניית בתים ולהשקעה בחינוך ובהדרכה. לדעתה של ניצה דרויאן, האיכרים היו מעדיפים שהעולים מתימן יעזבו את המושבות. האיכרים התביישו בהם, התנכרו להם ואף העדיפו שיעזבו: "למעשה, אילו נשאלו האיכרים לרצונם בשנים ההן, היו מודים שהם מעדיפים שיעזבו עולי תימן את המושבות: ודברים ברוח דומה גם אמרו להם גלויות בהזדמנויות שונות. התושבים המבוססים התביישו ביהודים אלה, שדמו בעיניהם יותר מדי לערבים, הן בלבושם והן בדרך חייהם (מכוח הנסיבות) והן בשפתם. האיכר, שראה יום-יום משפחות ערביות החיות בתנאים קשים, לא הורגל ולא היה נכון להשלים עם העובדה שיש יהודים, המנהלים אורח חיים דומה, והפתרון שמצא היה התרחקות ועזיבה מוחלטת של היישוב התימני תוך כדי התנכרות ופיתוח תחושה של חוסר שייכות" (דרויאן, באין מרבד קסמים, עמ' 107). התרחקותם של האיכרים התרחשה דווקא כאשר העולים נזקקו להם בצעדיהם הראשונים. האיכרים לא נטו להעסיק את העולים מתימן ודלתות בתיהם נסגרו בפניהם. לקשיי הפרנסה, הבריאות וההסתגלות נוסף עלבון צורב שעקבותיו לא נמחו מאז.
הזהות הדתית אף היא לא חיברה בין האיכרים לעולים מתימן. ההבדלים מנעו כל פולחן משותף. עולי תימן לא הוזמנו על ידי האיכרים לבית הכנסת והם גם לא יכלו להתפלל איתם עקב השוני החד בנוסח התפילה, בקריאה ובניגונים. עולי תימן גם נרתעו מהאיכרים עקב הירידה בשמירת המצוות, שהחלה להיות רווחת בקרב בני הדור השני של האיכרים. הם התרעמו על דלות החיים הדתיים במושבות וחוסר הרגישות לעניין זה, הן מצד האיכרים וועדי המושבות והן מצד הפועלים והמשרד הארץ-ישראלי. מצב עניינים זה בתחום שהיה עבורם בעל משמעות עליונה, גרם להם עוגמת נפש ואכזבה מרה. המשך יבוא.
