להתקין Cuda והפעם נכון

מזל טוב

התחדשתי! אחרי כמעט 3 שנים עם אובונטו סופסוף פרמטתי את המחשב והתחדשתי במערכת חדשה, למרות שרציתי לעשות דבר זה זמן רב הדבר שהכריע את הגורל היה דווקא חלוקה לא נכונה של הדיסק קשיח שבזמנו היתה אקטואלית אבל לשימוש שלי היום במחשב זה פחות מתאים.

בגדול זה אומר לשבת ולהגדיר הכל מחשב וגם להתקין שוב Cuda 5.0 לבלנדר, למי שזוכר מהפוסט הקודם אני די משתמש קצה בלי הרבה ידע בלינוקס, בעוד שבפעם הקודמת העיקרון שהוביל היה להתקין Cuda בלי לדפוק את המערכת העיקר שיעבוד ולא משנה כמה עקום תעבוד, העיקרון הפעם היה לא משנה כמה פעמים תהרוס את המערכת העיקר להבין את הרעיון אחת ולתמיד, בפוסט זה אשתף כמה תובנות ותיקון טעות קטן מהפוסט הקודם.

הפתעות

מסתבר שהחיים קלים יותר ממה שחשבתי, הליך ההתקנה היה בעצם אותו דבר רק שבניגוד לפעם הקודמת שהבנתי שצריך ממשק טקסטואלי להתקנת Cuda הפעם נפל האסימון שההתקנה לא מתקדמת בגלל שאני מנסה להתקין גם דרייבר, עכשיו שניסיתי להתקין רק Cuda בלי דרייבר הדברים רצו בצורה חלקה, בשביל שהמערכת תשתמש בCuda היא צריכה קישור למיקום ההתקנה כדי שתוכל להריץ את הSDK כל שבעצם נדרש זה להכניס את תיקיית הקבצים הבינרים של Cuda לנתיב הרצת הפקודות של המערכת, הרצת הפקודה הבאה פתרה לי את הבעיה.

 PATH="/usr/local/cuda-5.0/bin:$PATH $

עכשיו כשאני יריץ פקודות שמחפשות להריץ את Cuda המערכת תכיר את הנתיב בו הבינרי נמצא, ברמת העיקרון בשביל בלנדר החלק הזה מספיק לי בהחלט, אם אני ירצה לפתח בCuda אצטרך לקשר עוד 2 ספריות דבר שכנאה לא יקרה אצלי בזמן הקרוב.

לסיכום אז מה יש לנו, התקנה של Cuda 5.0 בלי להיכנס לממשק טקסטואלי ובלי להשתגע עם התקנה לא נצרכת של דרייבר לא מתאים רק כדי שהמערכת תכיר בו, והחלק הכי חשוב כמובן שכל תהליך ההתקנה מסתכם ב5 דקות.

GPU: לחסוך 33%

למי שלא שמע עד עכשיו גרסאות חדשות יותר מ 4.2 Cuda הציגו ירידה במהירות הרינדור ולכן ההמלצה היתה להשתמש ב4.2 לטובת המהירות דבר שקצת הרס לליבות הקפלר את החגיגה.
לפני כמה ימים אני מטייל להנאתי בפורומים של Blender Artist ונתקל בהודעה על ניסיון קוד שאמור לייעל את מהירות הרינדור של Cycles על גרסאות Cuda חדשות יותר, קריאה כמובן לקהילה לבדוק אם כולם מקבלים האצת רינדור ואם יש באגים, בצורה גורפת גרסת ערכת הכלים 5.0 Cuda הציגה את זמן הרינדור הטוב ביותר עם האצת רינדור שנעה בין 25%-33%, אממ אני חושב לעצמי מעניין מה קורה בלינוקס.

יום ששי האחרון שוחררה ההודעה כולם שמחים כולם מרוצים קדימה לעבור לCuda 5.0, חיפוש קליל של נתונים על ביצועים בקרב משתמשי לינוקס השאיר לי את השאלה בסטטוס הזה "?", חושב לעצמי אם אין נתונים קדימה ניצור אותם.

(התראת שעמום, קטע טכני)

מוריד את ערכת הכלים מהלינק הבא, 670MB??? מדבר עם חבר בווינדוס ושומע שהוא ששם ההורדה שוקלת 1GB, אה כן 670MB מעולה בשבילי, כרגיל בעולם הלינוקס נותן הרשאת ריצה לקובץ קליק כפול ונפתח טרמינל נחמד עם התקנה, לא אני לא יספר לכם כמה אני מוצלח בלינוקס (כלום) וכמה המחשב שלי יכולה להעיד על זה (המון) רק כמה נקודות שצריך לשים לב אליהם במידה והחלטתם לעדכן

• את Cuda צריך להתקין מימנשק שורת הפקודה תוך כדי שהX הולך לישון, למי שרוקע ברגל על זה שאין לLightDM אפשרות כניסה לשורת הפקודה מוזמן להיכנס לטרמינל על ידי לחיצה Ctrl+Alt+1 ולכבות את השירות של LightDM עם הפקודה הבאה
  
  

sudo service lightdm stop $          

// 

• עכשיו אפשר להתקין Cuda מה שמוביל אותנו לדבר השני אליו צריך לשים לב, כשמתקינים את ערכת הכלים ההתקנה צריכה דרייבר וכאופציה ראשונה היא מציעה להתקין את הדרייבר, בלינוקס הדרייבר והקרנל של המערכת הולכים שלובים יד ביד, התקנה של דרייבר בלי לערוך היכרות עם הקרנל יגרום לשרת הגרפי לא לעלות, אז למי שלא מחפש הרפתקאות שיסרב להתקנה של הדרייבר ויעדכן אחרי זה (אין לי מושג איפה) את ההתקנה איפה הדרייבר נמצא.
  
  
  מי שכן מחפש הרפתקאות כי הן הדרך "הקצרה" יותר (מחוסר ידע כמובן) יכול להתקין את הדרייבר ו"להרוס" את המערכת, אחרי זה לעדכן את המערכת כך שהיא בעצמה תזהה שיש לה במאגרים דרייבר מעודכן יותר (הישן, זה שעובד טוב עם הקרנל) ואז הכל יחזור על מקומו בשלום.
  (למי שכן יש פתרון נורמלי איך עובדים עם ההתקנה בלי לעשות עבודה כפולה יותר ממוזמן לשתף)

להתחיל לרוץ

זהו סיימתי להתקשקש עם החלק הפחות מעניין, מפעיל את הגרסה האחרונה מהמאגרים, טוען אליה את סצנת הבדיקה של Mike Pan ומשיג תוצאה של 1:36 שניות, שום שיפור בזמני רינדור, סיבוב קל בערוץ של בלנדר הזכיר לי שהגרסה שלי בת השלושה ימים כבר זקנה במונחים של בלנדר, הורדה של גרסה עדכנית הוכיח שזה גם נכון.

מרנדר ואלו התוצאות 

Cuda 4.2: 1:36

Cuda 5.0: 1:01

שיפור ביצועים של 33%, נחמד בהחלט.

להתייעל

לפני מספר ימים שוחרר עדכון לסייקלס שסופסוף גורם לרינדור לא פרוגרסיבי להיות יעיל יותר, אם לא שמעתם על המושג הזה או שלא ממש בדקתם אותו הפוסט הזה בשבילכם.

לסייקלס ברינדור מעבד יש 2 אפשרויות של חישוב דגימה, (ניתן לברור בניהם על ידי הורדה והוספת הV מכפתור הרדיו שבקטגוריית Sampling).

progressive - חישוב דגימה שווה לכל סוגי החומרים בסצנה, במידה והגדרנו 200 דגימות כל חומר יחושב 200 פעם, תכונה זו מופעלת ברירת מחדל.

non progressive - חישוב דגימה ידני, כל חומר יחושב לפי הדגימות שניתן לו, כך שישנה אפשרות שחומר מסוג Diffuse  יחושב 5 פעמים בעוד חומר מסוג Glossy יחושב 200 פעם.

החיסכון, איהו?

הרעיון הוא ליצור דגימה נכונה שמתאימה לסצנה אותה אני מרנדר, אם יש לי סצנה שאחרי 50 דגימות  חומר Diffuse כבר ברור אין עניין להמשיך לחשב אותו בדגימה, דגימה שדוגמת את כל הסצנה פחות חומר Diffuse מהירה יותר וזה בעצם הרעיון.

להציץ כמובן

אז ראינו שיש אפשרות לייעל את הרינדור שיהיה מהר יותר בואו ניקח הצצה לאינטגרטור עצמו ונראה איך זה קורה בפועל.

כפי שניתן לראות יש לנו 5 רשומות בצד ימין ואחת נוספת בצד שמאל, 2 הרשומות הראשונות בצד ימין אנו יודעים על מה הן אחראיות השלישית Transmission אחראית על חומרי זכוכית למינם, הרביעית AO אחראית על Ambient occlusion והחמישית אחראית על התאורה. 

הרשומה הנוספת שיש לנו בצד שמאל היא AA והיא אחראית על Anti-aliasing.

החשבון הוא כזה, דגימה אחת של AA כוללת את כל סכום הדגימות של הרשומות בצד ימין, אם למשל הגדרנו 50 דגימות לכל ערך בצד ימין ו4 דגימות בAA אז כל דגימה של AA תכלול 50 דגימות Diffuse ו50 דגימות Glossy וכו' כך שבסופו של יום יהיה לנו 200 דגימות לכל הסצנה, כמובן שכל דגימה של AA תיקח יותר זמן אבל בצורה כזאת אני יכול לחסוך חישובים מיותרים של דגימות שבסופו של דבר עולות בזמן רינדור.

כמו שנאמר בלינק AA אחראי על קצוות נעימים יותר לאובייקטים ולכן לרוב 4 דגימות לפילטר  הזה אינן מספיקות, יש כאלו שיספיק להם 8 ויש כאלו ש16 אני חושב שאני הולך על 32 (כן יש סיבה שאני הולך עם אותה מכפלה) זה רצף הדגימות שנתן לי תוצאות מהירות הכי טובות בכמה סצנות.

הכן צא!

אחרי שהתחמשנו במידע אפשר לצאת לבדיקות, בחרתי לי סצנה קלה מהדברים שישבתי עליהם לאחרונה והלכתי לראות איפה אני מקבל את התוצאות הטובות ביותר, היות ורציתי להשוות בין צורות הרינדור השונות אז הגדרתי כך, רינדור פרוגרסיבי 200 דגימות ורינדור לא פרוגרסיבי עם כמות דגימות כוללת שתגיע ל200, אמת לא כך עובדים אבל בכל זאת חיפשתי דרך להשוות את מהירות הרינדור בין האופציות, כמובן שעדיין אפשר להשיג תוצאות טובות יותר.

אז כך ברינדור הרגיל לקח לי 00:05:32 

ברינדור הלא פרוגרסיבי הכי מהיר לקח לי 00:03:14

מה שאומר שיש לי כ-40% חיסכון בזמן רינדור.

אני מעלה את החלק הרלוונטי של הניסיונות, תוכלו לראות שהתוצאה המהירה  ביותר דגמה 224 דגימות ועדיין השיגה זמני רינדור טובים מכולם מה שאומר שאם יש לכם סצנה לרינדור קחו כמה דקות לעשות בדיקות של זמני רינדור על סצנה פשוטה כדי לחסוך זמן.

מי שלא הספיק לו הפיתוי של זמני רינדור אז בנוסף לכל החגיגה עם רינדור לא פרוגרסיבי הסצנה עובדת טוב יותר עם תאורה עקיפה ועם קאוסטיק.

נ.ב. התמונות מסודרות ברצף עולה של דגימות ה-AA

תהנו :-)

הפתעות זה טוב?

כשהתחלתי עם סייקלס קניתי לי כרטיס גרפי עם 1GB זיכרון והייתי בטוח שיש לי עכשיו אפשרות לרנדר בשיא המהירות זה באמת עבד נפלא הייתי מאושר עד הגג הכל עובד על X10 מהירות ממש תענוג.
(רק להזכירכם Cycles של בלנדר משתמש ב Cuda להאצה גרפית מה שאומר שאין שיתוף עם הזיכרון של המחשב והזיכרון של הכרטיס)

האושר לא ארך זמן רב,  חודשיים או קצת יותר אחר כך קבלתי פרויקט גדול והייתי צריך לרנדר תמונה בגודל ענק, אני מזין את הערכים של הרזולוציה F12 וווו.. כלום. הכרטיס מסך לא מוכן לרנדר אין לו מספיק זיכרון לטעון אליו את כל הסצנה טקסטורות וכו'.

שביתה

מה עושים מה עושים הלקוח דוחק מצד אחד מצד שני העגלה לא זזה, ההתחייבות לזמנים היתה על סמך הכרטיס הגרפי, אין ברירה מתחילים לחפש שרת שירנדר את העבודה  אחרי כמה טלפונים גלישה לחוות רינדור עוד כמה נסיונות הבנתי שחבל על הזמן כדאי שמשהו יתחיל לעבוד כבר עכשיו, אם יהיה שרת/חווה אז נשמח.

מילוט

תוכנית ב' מרנדרים על המעבד, כדי שלא יהיו בעיות נוספות רינדרתי על 2 מחשבים כדי שאם באחד תקרוס התוכנה מאיזה סיבה שהיא לא תמצא השני לפחות יעבוד, ההימור שלי השתלם כי במחשב אחד התוכנה באמת לא עשתה עבודה כמו שצריך (מכירים את בעיית הלינקים השבורים והטקסטורות?) ותכלס רק מחשב אחד עבד.

+12 שעות והופ יש תמונה. הכל מעולה הכל עובד טוב, הרזולוציה ענקית התוכנה לא קרסה, הלקוח מרוצה והכל נפלא, אבל אני קיבלתי שיעור רציני בקשר לכרטיס גרפי, Cuda, ומה שמסביב מיותר לציין שמאז אני בודק את האפשרות של רכישת שרת (2 מעבדים) או רכישה על כמה כרטיסי מסך שיעבדו במקביל, שמעתי שאינטל הולכת להוציא כרטיס משלה מבוסס מעבדים שיעמוד בקצב של הטסלה של Nvidia, אולי בכלל פתיחת חשבון בחוות רינדור, עדין בודק ובודק...

לפני כמה ימים עיינתי ביומני הSVN של בלנדר ואני רואה שהכניסו תיקון שחוסך 40% ממשקל הסצנה כל עוד לא מפעילים את טשטוש וקטור, משהו נוסף שהכניסו לפני כן זה רינדור אריחים דבר שאמור לחסוך בזיכרון כי כל אריח מתרנדר בפני עצמו ולא טוען את כל הסצנה לזיכרון של הכרטיס, אין מה לומר מעניין מאוד אולי ניקח את הכרטיס למבחן שוב.

סבלנות אדוני

הסתבלנתי והסתבלנתי והופ עדכון לבלנדר ממנהל החבילות וכן התיקון בפנים ואווו התרגשות הכרטיס מסך מוצב לעמדת ירייה הכל מוגדר כראוי האריחים 512x512 בחירת קובץ מספיק כבד ומתחילים.

נתוני פתיחה
גודל רינדור 3508x2481
כרטיס מסך GTX 560TI
גרסה 53288

פעם שעברה כשניסיתי לרנדר את הגודל הזה ב100% זה היה הגבול 99% התרנדר 100% לא התרנדר, בעבר אחרי שבדקתי את ה100% והוא לא הסכים לרנדר הוא לא הסכים לרנדר אחר כך גם 95% אני מניח שזה בגלל שהוא לא רוקן את הזיכרון לגמרי, הפעם אמרתי נתחיל מלמטה ונתקדם לאט לאט.
מנסה 50% עובד יופי כמו שהיה אמור לקרות
מנסה 100% קצת בחשש וזה נוסע יפה
מנסה 200% מכרסם קצת ציפורניים הBVH נבנה יפה והופ מרנדר

טוב אם כך זה עובד כמו שצריך הסתקרנתי מה הגבול שלו.
מנסה 400%  המחשב כבד, לוקח לו זמן לבנות את הBVH, כמה דקות והופ הרינדור יוצא לדרך וכן הוא מרנדר על הכרטיס מסך נתתי לו את הזמן שלו כל הלילה בוקר אני קם ורואה חצי רינדור מוכן ומחשב כבד כבד, את הניסוי שלי לא הצלחתי לקחת לקצה (כנראה שזה תלוי בגודל של האריחים בשלב הזה) אבל מה שבטוח שסייקלס הפך להיות ממש כלי עבודה מהיר ויציב.

סיכום

הדבר הראשון שלמדתי אפשר להסתדר עם כרטיס גרפי לרינדור בסייקלס ולא צריך לחיות בסרטים כל פרויקט כמה זמן יקח למעבד הפעם,
הדבר השני שלמדתי זה שכדאי שיהיה לך קירור טוב למארז שלך כי שלי אחרי הבדיקות האלו לא הסכים להידלק והחזיר לי הודעת שגיאה של עודף טמפרטורה לCPU.

לגרום לו לזרוח

פרסמתי בגוגל+ למה שלא תיהנו גם?
https://plus.google.com/u/0/b/110884580577677332921/110884580577677332921/posts/gmDFkfx3qab

תקציר חומרים ב-Cycles

חומרים ב-Cycles
כל הרינדורים עם תאורת HDRI ו100 דגימות.

Background = רקע, לרוב זה אומר שאין שום חומר אלא רק שקיפות.

Diffuse = חומר אטום ללא השתקפות, מאפיין אובייקטים כמו ריצפה, חול, קירות וכו'. 

 



Glossy = חומר אטום ומבריק, מאפיין חומרים כמו כסף, זהב, מראה וכו'.

Glass = מאפיין אובייקטים בעלי שקיפות, מתאים לחומרים כמו מים, זכוכית, חלונות וכו'.

Translucent = מאפיין חומרים אטומים אבל חדירי אור, מתאים לאובייקטים כמו אהיל מנורה, ווילון, מטריה וכו'.



Trasparent = שקיפות, שחור אטימות מלאה, לבן שקיפות מלאה, מגיע לרוב בשילוב חומרים אחרים כגון זכוכית או טרנסלוסנט (בתמונה הצבע של החומר יותר שחור מאשר לבן ולא כמו שמוצג בחלונית הצומת).



Velvet = מאפיין חומר שמשנה בהירות צבע לפי זווית הפייסים למצלמה ולתאורה, מאפיין קטיפה, חומרי בד, פרווה וכו'.

Emission = תאורה, מאפיין פלוריסנט, מנורה וכל דבר שפולט אור.



Holdout = חומר שחור שמשמש ליצירת מסיכה לאיזור מסויים ברינדור.(מה ששחור יהיה אלפא בייצוא PNG)



Mix Shader = שילוב של 2 חומרים מהרשימה לעיל עם אפשרות שליטה על הפיזור שלהם. (בתמונה Glossy ו-Diffuse במיקס)



Add Shader = שכפול של 2 חומרים. (בתמונה שכפול של Velvet)

שנה טובה

כתיבה וחתימה טובה.

קופצים למים? בהצלחה.

לאחרונה אני רואה יותר בקהילה הישראלית חברה שמנסים להשתמש עם מנוע רינדור החדש של בלנדר הלא הוא Cycles, המנוע הזה נחמד מאוד לשימוש הבעיה איתו שאין לו הרבה תיעוד ורוב המידע עליו מגיע בעצם מניסיונות של משתמשים.

כבר זמן רב אני עוקב אחרי מידע ברשת על מנוע זה ומנסה בעצמי, הנה כמה דברים נחמדים שנתקלתי בהם.
קודם כל אם יש לכם שאלה איך עושים מה שווה מאוד לגשת לאשכול הזה ולשאול, כפי שתראו יש שם עבודות ממש יפות של משתמשים, עוד אשכול שכיף להסתובב בו ויש בו מידע אודות השימוש במנוע נמצא פה.

קדימה לעבודה

מי שהשתמש קצת במנוע הזה שם לב התאורה הגלובלית שלו מאוד נחמדה והדבר הכי כייף זה שאפשר לקבוע לפי איזה ניתוב קרניים המנוע ירנדר, כך למשל אפשר לקבוע שרק חומר מבריק יקבל תאורה מסויימת והאחרים לא, לדוגמא:

מה שיש פה זה תאורת עולם עם ניתוב קרניים לחומר גלוסי היות והחומר של האובייקטים הוא מבריק אז הם מקבלים את האור והפיזור וכל שאר הסצינה נשארת חשוכה.

נחמד נכון? יופי, עכשיו נראה משהו נחמד עוד יותר.
אחת הבעיות של המנוע הזה היא ההתמודדות של חומר זכוכית עם כל מיני שילובים של חומרים אחרים הרבה פעמים מה שיוצא זה הרבה נקודות לבנות שאף אחד לא הזמין אותם על הרנדר, מסתבר שיש שיטה להפחית את הגירעון והנקודות הלבנות של הרנדר על ידי שימוש במיקס כשמגדירים תאורה לאובייקט, מצד אחד של המיקס נשים תאורה ובצד השני כלום, עכשיו אתם שואלים נו ו... אז כך אם נגדיר את ה-fac של המיקס (הערך שמחליט איזה חומר ישלוט יותר ובאיזה צורה הוא ישולב) על נתיב התאורה של דיפיוז (Diffuse) הרינדור יהיה חלק יותר ונקי מנקודות לבנות.
מי שרוצה לראות את פרסום המקורי של הרעיון מוזמן למצוא אותו פה (תגובה 969).
ולצד הויזואלי של שילוב הצמתים.

חומר טוב, מה?

לסייקלס יש חומרים בסיסיים איתם הוא בא כמו זכוכית שקוף וכו' שילוב של החומרים יכולים ליצור יכולות מתקדמות למרות שהם לא מובנות במנוע, למשל SSS, כרגע אין למנוע ערך שישלוט על זה אבל על ידי שילוב של צמתים אפשר להגיע לתוצאות ממש יפות, נכון שכרגע זה האק אבל חשוב לזכור שהמנוע הזה עדיין פרא אלפא ונמצא בימים אלו הפיתוח מסיבי למרות הכל מי שמספיק מנוסה יכול להגיע גם לתוצאות שלא ממש מובנות בו.

כשדימיונות הופכים למציאות

זוכרים שדיברנו על זה שמפתחים לבלנדר מנוע רינדור חדש Cycles?
אז כך הוא לא השתחרר אחרי שבועיים כמו שדובר, הוא היה בחוץ אחרי 3 ימים וכבר יש מה לראות ממנו.
בפורומים של בלנדר ישנו אשכול של ניסויים עם סייקלס יש מה לראות שם עבודות ותוצאות ממש מדהימות, כמו גם תמיכה ועזרה במנוע החדש שתיעוד אין לו.
עשה לי תאבון הסייקלס הזה החלטתי לקחת אותו לסיבוב, רק נזכיר שמדובר על מנוע שמרנדר בזמן אמת את הסצינה וככל שעובד הזמן כך הוא מביא את הרינדור לאיכות טובה יותר, עוד משהו המנוע ידוע כמשתמש ב-GPU עם Cuda של נבידיה ולכן הוא מצליח לתת ביצועים טובים ומהירים.

התקנתי, זאת אומרת לא התקנתי הורדתי חבילה מוכנה מאתר GraphicAll.org וניסיתי לרנדר עם המנוע החדש לוחץ F12... כלום! מסך שחור, אחרי בדיקה מעמיקה יותר מסתבר שמעל הפנל העליון של תוכנת בלנדר יש מסוף של שגיאות, אם יש שגיאה הוא מודיע מהיא, מה שהיה חסר לי זה כמה חבילות שהייתי צריך להתקין אחרי זה הכל עבד יופי טופי.

קטע טכני אפשר לדלג הלאה
(חשוב לזכור שהמנוע עובד על ידי שימוש בקומפוזיטור בכדי לראות משהו בכלל צריך לאפשר אותו, יש כבר חומרים מוכנים אפשר לערבב חומרים כגון מט עם זכוכית ואז לקבל חומר מבריק אבל אטום ועוד, דבר שהיה חדש לי זה שאין מנורה במנוע הזה כל מה שצריך לעשות זה לבחור איזה אובייקט אותו רוצים ונותנים לו חומר של מנורה כך שכדי לשלוט על שטח התאורה צריך לקמר אותה כלפי פנים או חוץ תלוי איזה אפקט רוצים להשיג.)

הרינדור מרגיש נחמד היות ואני לא בעל כרטיס גרפי חזק (GT 220) אז העדפתי לרנדר עם המעבד ולא עם המאיץ גרפי (כן אפשר לרנדר גם עם המעבד) פעולה שהתבררה כנבונה לאחר מעשה, הרינדור יוצא ממש טוב והרבה יותר ראליסטי מהמנוע הקודם אם כי כשמשתמשים במעבד לוקח זמן להשיג רינדור בלי רעש בתמונה.
כנראה שאני אקנה מאיץ גרפי חדש אני בונה על ה-GTX560ti של נבידיה מה הניסיון שלכם איתו?
הנה כמה ניסיונות עם סייקלס.