Медики вражені: штучний інтелект створив концепцію органу, якого не існує у людському тілі.

Фахівці в галузі охорони здоров'я дедалі частіше висловлюють занепокоєння через активне використання в медицині генеративного штучного інтелекту, який схильний до помилок.

Цю інформацію викладено в статті на yahoo.

Одна з найсерйозніших проблем, пов'язаних із цими технологіями, полягає в явищі, відомому як "галюцинації". Це слово вживається для позначення неправдивих або вигаданих даних, які штучний інтелект може представляти з великою впевненістю.

Один яскравий приклад залишався непоміченим користувачами, зокрема й медичними працівниками, протягом більше року. У науковій статті, що була опублікована в травні 2024 року, мовна модель Google представила свій новий медичний штучний інтелект під назвою Med-Gemini. У цій роботі показано, як ця модель здатна аналізувати зображення мозку, отримані в радіологічній лабораторії, для виявлення різних медичних станів.

Серед виявлених результатів модель вказала на наявність "старого інфаркту в лівих базилярних гангліях". Варто зазначити, що термін "basilar ganglia" є анатомічним, але такої області в людському тілі не існує. Ліцензований невролог Браян Мур зауважив цю неточність і повідомив про неї виданню The Verge. Хоча Google вже оновила свій блог, в самій науковій статті помилка досі залишається без змін.

Ймовірно, модель ШІ сплутала базальні ганглії (ділянка мозку, що відповідає за рухи та формування звичок) із базилярною артерією -- великою судиною біля основи мозку. У Google пояснили інцидент простою орфографічною помилкою, мовляв, "basilar" -- це помилкова транслітерація "basal", яку Med-Gemini засвоїла з навчальних даних.

Проте ситуація виявила суттєву проблему: навіть найсучасніші мовні моделі від Google та OpenAI здатні генерувати неправдиві відомості, які виглядають як правдива інформація. Це вже викликає труднощі для користувачів, які звертаються до пошукових систем Google у пошуках достовірних даних. Однак у медичній сфері такі неточності можуть мати фатальні наслідки для життя людей.

"Це дуже ризиковано. Хоча на перший погляд виглядає, що відмінність лише в двох літерах, проте це дійсно істотна помилка," — підкреслив Маулін Шах, директор з медичної інформації в системі Providence.

2024 року Google було оголошено, що ШІ має "величезний потенціал у медицині", зокрема для аналізу рентгенівських знімків, КТ та інших діагностичних даних.

Коли Мур сповістив компанію про виявлену помилку, їй відповіли, що це всього лише друкарська помилка. У блозі компанії з'явилася заувага про те, що "'basilar' є звичайною помилковою транскрипцією терміна 'basal', яку Med-Gemini засвоїла з навчальних матеріалів". Проте в оригінальному дослідженні все ще присутня неіснуюча "basilar ganglia".

"Суть справи полягає в тому, що ми не можемо довіряти професіоналізму тих, хто буде здійснювати перевірку цих матеріалів," -- зазначає Шах.

Med-Gemini — це лише один з багатьох прикладів. Інша, більш потужна модель від Google, MedGemma, показує різні результати на ідентичні запити в залежності від формулювання, і іноді надає неправильні відповіді.

"ШІ має схильність вигадувати речі і не каже "я не знаю", -- що є критичною проблемою для таких важливих сфер, як медицина", -- підкреслює професорка радіології та інформатики Еморійського університету Джуді Гічоя (The Verge).

Інші експерти також застерігають: ми надто поспішаємо з впровадженням ШІ у лікарнях -- від віртуальних терапевтів до медсестер і автоматичного ведення діалогу з пацієнтами. Це вимагає значно обережнішого підходу.

До того ж постійна потреба у людському контролі над результатами роботи "галюцинуючого" ШІ може, навпаки, знижувати ефективність.

Незважаючи на це, Google продовжує свою роботу. У березні компанія оголосила про запуск нової функції AI Overviews, яка буде надавати медичні рекомендації. Крім того, було презентовано "наукового співавтора" — штучного інтелекту, призначеного для підтримки в процесі створення нових лікарських засобів та проведення наукових досліджень.

Але без належної перевірки помилки можуть мати фатальні наслідки.

"Штучний інтелект повинен демонструвати значно меншу межу помилок у порівнянні з людиною", – підкреслює Маулін Шах. "Якщо хтось стверджує, що достатньо, аби ШІ досягав такої ж точності, як і люди, я з цим рішуче не погоджуюсь".

Згідно з нещодавнім дослідженням компанії Microsoft, професії перекладача і письменника опинилися під загрозою зникнення внаслідок розвитку штучного інтелекту, тоді як запит на робочі спеціальності досяг рекордних висот.