בינה מלאכותית ולמידת מכונה

בינה מלאכותית מקומית שמנתחת כל שיחה – מבלי לחשוף רשומה אישית אחת

Spyrosoft פיתחה מנתח מרכזיית שיחות מבוסס AI המותקן באופן מקומי בלבד, המעבד שיחות גולמיות בזמן אמת, מציף תובנות עסקיות ניתנות לפעולה ומסמן חשד להונאה – והכל פועל כולו על מכונה מקומית אחת, Lenovo ThinkStation PGX.

On-premise AI that analyses every call – without exposing a single personal record People in the office working on Lenovo ThinkStation PGX

אודות הלקוח

ספקי ביטוח, חברות שירותים פיננסיים ועסקים מפוקחים אחרים תפעול מרכזי שיחות בנפח גבוה שבהם פרטיות הנתונים ו סיכון להונאה הם עניינים עסקיים קריטיים. 

שירותים

הנדסת AI/ML

פיתוח Frontend

פריסת LLM באתר הלקוח (On-premise)

טכנולוגיות

מודל שפה גדול בקוד פתוח
Lenovo ThinkStation PGX
On-premise AI that analyses every call – without exposing a single personal record

אתגר וצורך עסקי

מוקדי שירות בתעשיות מפוקחות (בנקאות, ביטוח, בריאות) מכילים אותות בעלי ערך: תסכול לקוחות, תביעות לא פתורות, תלונות חוזרות ולעיתים הונאה מתואמת. עם זאת, הפיכת אותות אלה לתובנות מעשיות רחוקה מלהיות פשוטה.

בעוד שלארגונים יש גישה לנתונים אלה, השימוש בהם ביעילות דורש משאבים רבים ולעיתים קרובות מוגבל על ידי אילוצי אנונימיזציה וציות לרגולציה.

הסיבה לכך היא שמוקדי שירות טלפוני מטפלים גם בנפחים גדולים של נתוני לקוחות רגישים, כגון מספרי פוליסות, תעודות זהות וכתובות. כתוצאה מכך, ארגונים נאלצו להסתמך либо על ניתוח איכות ידני либо על ספקי AI בענן.

שני המסלולים טומנים בחובם בעיות משמעותיות:

    • הבטחת איכות ידנית מכסה רק חלק קטן מסך נפח השיחות ואינה יכולה באופן מציאותי לזהות דפוסי הונאה חוצי-שיחות.

    • ניתוב שיחות דרך ספק AI בענן מחייב שליחת נתונים אישיים גולמיים לשרתים חיצוניים, מהווה סיכון תאימות משמעותי תחת GDPR.

השאלה ש-Spyrosoft ביקשה להשיב עליה הייתה: האם מודל AI מקומי, על-הנחות (on-premise), יכול להגיע לאיכות מספקת כדי להוות חלופה ברת-קיימא?

התפקיד שלנו

Spyrosoft עיצבה פתרון סביב החלטה ארכיטקטונית מרכזית: להשאיר הכל על החומרה, במקום להסתמך על APIs חיצוניים.

זיהינו כי ניתן להימנע מרוב אתגרי תאימות הנתונים אם הנתונים מעובדים באופן מקומי. עד לאחרונה, גישה זו לא הייתה ישימה. עם זאת, הופעתם של מחשבי GPU מקומיים עוצמתיים (כגון Lenovo ThinkStation PGX) יצרה פריצת דרך. הדבר אפשר לצוות שלנו להטמיע מודל שפה גדול בקוד פתוח ישירות על המכשיר.

מדוע גישה זו?

  • הנתונים אינם יוצאים מהארגון
  • לא נדרשת אנונימיזציה או תלות חיצונית
  • יעילות עלות (השקעה חד-פעמית בתשתית לעומת תשלומים חוזרים)

הפלטפורמה המתקבלת – מנתח מרכזיית השיחות – מספקת שלוש יכולות ליבה:

  1. ניתוח לפי שיחה – כל שיחה מעובדת בכ-30 שניות, ומפיקה פלט מובנה: סיכום, כוונת הלקוח, ציון סנטימנט, נתונים אישיים ונתוני פוליסה שחולצו, פעולות מוצעות לנציג, ותגיות מילות מפתח.
  2. לוח בקרה לניטור בזמן אמת – חמישה עד שישה שיחות מנותחות במקביל, עם סטטיסטיקות בזמן אמת על שיעורי פתרון, נושאי שיחות וסנטימנט. מפקחים יכולים לסנן אותן כדי לזהות אזורי בעיה.
  3. ניתוח מעמיק וזיהוי הונאות – המערכת מבצעת ניתוח ברמת אצווה על קבוצות של שיחות, ומסמנת אוטומטית דפוסים חשודים (למשל, מספר תביעות שלכאורה אינן קשורות זו לזו המתייחסות לאותה כתובת או פרטי קשר, שהוגשו על ידי מבוטחים שונים לסוכנים שונים). ניתוח ברמת אצווה מאפשר גם פרספקטיבות עסקיות שונות – כגון ניתוח כל השיחות שטופלו על ידי סוכן מסוים, השוואה בין הסוכנים בעלי הביצועים הטובים ביותר לבין הזנב הארוך, או זיהוי בעיות חוזרות בסוגי שיחות מסוימים.
On-premise AI that analyses every call – without exposing a single personal record 
Call centre analyser - mockup 1

מכונה בודדת מטפלת במאות שיחות ביום. עלות החומרה היא כ-5,000 דולר כהשקעה חד-פעמית, ללא דמי API חוזרים. העלויות השוטפות היחידות הן חשמל ותחזוקת IT סטנדרטית.

On-premise AI that analyses every call – without exposing a single personal record 
Call centre analyser - mockup 2

arrow_circle_right המלצה

מהמומחה שלנו

Tה-AI זוהה דפוס חשוד על פני מספר לכאורה לא קשורים שיחות – מדאיג מבוטחים שונים ותביעות שונות. הקשרים הללו היו כמעט בלתי אפשרי לתפוס באופן ידני.

Photo of Krzysztof Pająk

Krzysztof Pajak

מהנדס תוכנה ראשי ל-AI, Spyrosoft

התוצאה

הדמו העובד מדגים כי עם רוחב הפס הנוכחי, Lenovo ThinkStation PGX בודדת יכולה לתמוך במוקד שירות בינוני, ולהניב את התוצאות והיתרונות הבאים:

  • מודל עלויות צפוי: השקעה חד-פעמית בחומרה מחליפה עלויות חוזרות, ללא קשר לנפח השיחות.
  • ריבונות נתונים מלאה: נתוני לקוחות רגישים לעולם אינם יוצאים מתשתית הארגון, ובכך נמנעים עומס אנונימיזציה וסיכון לחשיפת נתונים.
  • מודיעין תפעולי להנהלה: כל שיחה מפיקה פלט מובנה שמפקחים יכולים לפעול לפיו באופן מיידי, ללא צורך בסקירת הקלטות בודדות.
  • זיהוי הונאות: זיהוי אוטומטי של דפוסים חוצי-שיחות חושף ניסיונות הונאה מתואמים שסביר שבדיקה ידנית לא תאתר.
~30 seconds to analyse a single call 
5-6 calls processed simultaneously 
hundreds of calls per day on a single machine 
100-200 tokens per second – processing speed 
$5,000 – one-time hardware investment

arrow_circle_right המלצה

אחרים עלינו

עבודה עם Spyrosoft בהוכחת היתכנות זו היה חוויה מעולה. זה מדגים בדיוק מה שהחומרה של Lenovo יכולה לעשות בשילוב עם עסק אמיתי צורך – במקרה זה, סיוע ללקוחות במגזר הפיננסי להפיק את הערך מנתוני השיחות שלהם מבלי פשרה על אבטחה. מה שהרשים אותנו במיוחד היה הפרואקטיביות והחוש העסקי של Spyrosoft מהנדסים. העלאת הפתרון המלא לאוויר בתוך חצי שבוע מדברת בעד עצמה.

Dariusz Slowik

מנהל חשבון שותפים אחד של Lenovo

arrow_circle_rightצרו קשר

בואו נדבר על מקרה השימוש שלכם

Tomasz Smolarczyk

Tomasz Smolarczyk

מנהלת בינה מלאכותית