Úspěch ChatGPT by mohl podnítit škodlivý skok k utajení v AI, říká průkopník AI Bengio

Tržní tlaky mohou tlačit průmysl k menšímu zveřejňování, což by mohlo brzdit vědecký pokrok a způsobit další škody.

Nejdůležitější program umělé inteligence na světě je momentálně od společnosti, která na rozdíl od mnoha svých kolegů nezveřejňuje svůj zdrojový kód.

ChatGPT, vytvořený OpenAI, není open-source na GitHubu jako mnoho jiných programů v přirozeném jazyce předtím. Ani zdroje ChatGPT, GPT programů OpenAI, nebyly snadno dostupné.

A v úterý společnost dosáhla něčeho jako milník, když odmítla zveřejnit technické detaily nejnovější verze GPT-4.

Nedostatek nebo transparentnost ChatGPT a GPT-4 je rozchod s běžnou praxí v hlubokém učení umělé inteligence, kde vědci z akademické i podnikové sféry mají tendenci publikovat agresivně, v souladu s tradicí softwaru s otevřeným zdrojovým kódem, kde se kód snadno vytváří. k dispozici každému, kdo ji chce.

Uzavřená povaha ChatGPT by se mohla stát mnohem více normou v AI a má etické důsledky, varoval minulý týden průkopník AI Yoshua Bengio, vědecký ředitel kanadského institutu MILA pro AI, v rozhovoru pro reportéry a členy průmyslu.

„Akademický způsob myšlení výzkumníků, kteří dříve působili na akademické půdě a přešli do průmyslu, změnil kulturu, aby přinesl více sdílení duchů s otevřeným zdrojovým kódem obecně a spolupráce,“ řekl Bengio na malém setkání tisku a vedoucích pracovníků na webu Zoom. minulý týden.

"Ale tlaky trhů budou pravděpodobně tlačit jiným směrem," řekl Bengio, "směrem k utajení, což je špatné z etických důvodů a také špatné pro technologický pokrok, protože to znamená, že získání informací bude trvat déle. dostat se na více míst, pokud jsou věci tajné."

Bengio, který je řádným profesorem na univerzitě v Montrealu a také spoluřídí program CIFAR Learning in Machines and Brains Program, byl pozvaným řečníkem na hodinu a půl přednášky pořádané Collective[i] Forecast, online interaktivním diskusní série, kterou pořádá Collective[i], která se tváří jako „platforma umělé inteligence určená k optimalizaci prodeje B2B“.

Bengio reagoval na členku publika Lauru Wilson, která se Bengia zeptala: „Je stále možné mít etický rámec“ ve výzkumu AI vzhledem k obrovskému komerčnímu potenciálu ChatGPT a vyhledávacímu programu Bing společnosti Microsoft, který zahrnuje schopnosti ChatGPT.

Akademici, řekl Bengio, "budou pokračovat ve své otevřené vědě a sdílet svou práci, protože to je součástí jejich modelu."

Je méně jasné, řekl, že průmyslový výzkum se bude držet otevřené cesty.

Před nedávným zaměřením umělé inteligence na otevřené publikování býval firemní výzkum „mnohem tajnější“, řekl Bengio. "Nyní si myslím, že když se podíváme na druh zlaté horečky, která pravděpodobně nastane" v AI, po úspěchu ChatGPT, "udržíme tuto kulturu v průmyslu?" přemítal Bengio.

Prvenství papírů je prvořadé, řekl Bengio, protože AI postupuje jako kolektivní úsilí o křížové opylování mezi laboratořemi.

"Jsou to komplikované systémy," řekl Bengio o takzvaných velkých jazykových modelech, jako je GPT-4.

"Svůj kód stavíme na kódu ostatních a také stavíme na myšlenkách, které jsou sepisovány a vyhodnocovány ve vědeckých pracích po celém světě - stavíme na vzájemném pokroku."

"Existují patenty, ale skutečné maso je něco, co je v těch papírech."

Nejenže by tajnůstkářské praktiky potenciálně zpomalily průmyslový výzkum, řekl Bengio, ale mohou zastírat škody na veřejnosti.

"Pokud se lidé pohybují příliš rychle a rozbíjejí věci, může to být špatné," řekl Bengio, "a může to být dokonce odpor pro celý průmysl."

Malé společnosti, jak poznamenal Bengio, jsou obecně ochotnější riskovat s nevyzkoušeným softwarem, protože „to je obchodní hra“. Narážel na programy jako ChatGPT, které v některých případech přinesly výsledky, které někteří uživatelé považují za „rušivé“, což naznačuje, že nejsou plně vyvinuty.

"Nyní se však společnosti jako Google a Microsoft a další cítí nuceny do závodu naskočit," řekl. "Takže jedna možná obava, kterou jsem slyšel, je, budou si dávat pozor na to, co tam dávají?"

Bengiův kolega Yann LeCun, který spolu s Bengiem obdržel Turingovu cenu v roce 2019 za svou práci na AI, vyjádřil podobné obavy.

V tweetu ze 17. února LeCun, který je hlavním vědcem pro AI ve společnosti Meta, napsal:

FAIR [Facebook AI Research] sehrál klíčovou roli při otevření scény výzkumu a vývoje AI. Následovali další. Alespoň na chvíli. OpenAI, DeepMind a možná i Google nyní zjevně publikují a využívají opensourcing podstatně méně. Jaké budou důsledky pro pokrok vědy a techniky umělé inteligence?

Vydání ChatGPT může sloužit pozitivnímu účelu, řekl Bengio, tím, že si svět velmi dobře uvědomí jak příslib, tak rizika AI.

"Na mediálním cirkusu kolem ChatGPT se mi líbí to, že je to budíček," řekl Bengio. „Myslím, že lidé viděli pokrok AI v předchozích letech a mnoho společností, mnoho vlád si myslelo: Jo, dobře, něco se děje a ti technici dělají svou věc, aniž by si uvědomili, že za rohem jsou velmi výkonné systémy. "