Hledat v komentářích
Investiční doporučení
Výsledky společností - ČR
Výsledky společností - Svět
IPO, M&A
Týdenní přehledy
 

Detail - články
A.I. má problém s diskriminací. V bankovnictví mohou být důsledky vážné

A.I. má problém s diskriminací. V bankovnictví mohou být důsledky vážné

23.06.2023 15:31
Autor: Wednesday Mašková, Patria Finance

Umělá inteligence má problém s rasovými předsudky. Od biometrických identifikačních systémů, které nepřiměřeně a nesprávně identifikují tváře menšin, až po aplikace softwaru pro rozpoznávání hlasu, které nedokáží rozlišit hlasy s odlišným regionálním akcenty, AI má před sebou co se týče diskriminace hodně práce. Problém zesilování stávajících předsudků může být ještě závažnější, pokud jde o bankovní a finanční služby.

Společnost Deloitte poznamenává, že systémy umělé inteligence jsou v konečném důsledku jen tak dobré jako data, která jsou jim poskytována: neúplné nebo nereprezentativní datové sady by mohly omezit objektivitu AI, zatímco předsudky ve vývojových týmech, které takové systémy trénují, by mohly tento cyklus zkreslení udržet.

Umělá Inteligence může být hloupá

Nabil Manji, vedoucí divize krypto a Web3 ve společnosti Worldpay by FIS, uvedl, že klíčovou věcí, kterou je třeba pochopit o produktech AI, je to, že síla technologie závisí hodně na zdrojovém materiálu použitém k jejím trénování.

"To, jak dobrý produkt AI je, záleží na dvou věcech," řekl Manji v rozhovoru pro CNBC. "Jednou z nich jsou data, ke kterým má přístup, a druhou je, jak dobrý je velký jazykový model. Proto vidíme, na datové straně, společnosti jako Reddit a další, které veřejně vystoupily a řekly, že nedovolíme společnostem sesbírávat naše data, budete nám za to muset zaplatit."

Pokud jde o finanční služby, Manji uvedl, že mnoho backendových datových systémů je roztříštěno v různých jazycích a formátech. "Nic z toho není konsolidované a harmonizované," dodal. "To způsobí, že produkty řízené umělou inteligencí budou ve finančních službách mnohem méně efektivnější, než by mohly být v jiných vertikálách nebo jiných společnostech, kde mají jednotnost a modernější systémy nebo přístup k datům."

Manji navrhl, že technologie blockchain by mohla sloužit jako způsob, jak získat jasnější pohled na různorodá data zastrčená v systémech tradičních bank. Dodal však, že banky - které jsou silně regulovanými a pomalu se pohybujícími institucemi - pravděpodobně nebudou postupovat stejnou rychlostí jako jejich hbitější technologické protějšky při přijímání nových nástrojů AI. "

„Máte společnosti Microsoft a Google, které byli v posledních deseti či dvaceti letech považovány za hnací sílu inovací. A tyto firmy nedokáží držet krok s touto rychlostí. A pak přemýšlíte o finančních službách. Banky nejsou známé tím, že by byly rychlé," řekl Manji.

Bankovní problém umělé inteligence

Rumman Chowdhury, bývalý šéf etiky strojového učení, transparentnosti a odpovědnosti Twitteru, uvedl, že úvěrování je ukázkovým příkladem toho, kde se může předpojatost systému AI vůči menšinám projevit. "Algoritmická diskriminace je ve skutečnosti velmi hmatatelná při půjčování," řekl Chowdhury na panelu Money20/20 v Amsterdamu. "Chicago mělo doslova historii odmítání těchto půjček primárně černošským čtvrtím."

V roce 1930 bylo Chicago známé diskriminační praxí "redliningu", ve které byly úvěry na nemovitosti silně určovány rasovou demografií dané čtvrti. V bankovních domech podle něj visela obrovská mapa všech okresů v Chicagu a oni bankéři by nakreslili červené čáry přes všechny okresy, které byly primárně afroamerické, a nedávali by jim půjčky. "Posuneme se vpřed o několik desetiletí a vyvíjíte algoritmy pro určení rizikovosti různých okresů a jednotlivců. A i když nemusíte zahrnout datový bod něčí rasy, je implicitně zachycen," dodala.

Angle Bushová, zakladatelka organizace Black Women in Artificial Intelligence, jejímž cílem je posílit postavení černých žen v sektoru umělé inteligence, řekla CNBC, že když jsou systémy umělé inteligence specificky používány pro rozhodování o schválení půjčky, zjistila, že existuje riziko replikace stávajících předsudků přítomných v historických datech používaných k trénování algoritmů.

"To může vést k automatickému odmítnutí půjček jednotlivcům z marginalizovaných komunit, což posílí rasové nebo genderové rozdíly," dodala Bush. "Je zásadní, aby banky uznaly, že implementace AI jako řešení může neúmyslně udržovat diskriminaci," uvedla.

Frost Li, vývojář, který pracuje v oblasti AI a strojového učení více než deset let, řekl CNBC, že "personalizační" rozměr integrace AI může být také problematický. "Na umělé inteligenci je zajímavé, jak vybíráme 'primární funkce' pro školení," řekl Li, který založil a provozuje společnost Loup pomáhájící online prodejcům integrovat AI do svých platforem. "Někdy vybíráme funkce, které nesouvisejí s výsledky, které chceme předpovědět."

Když je AI aplikována na bankovnictví, je těžší identifikovat "viníka" v předpojatosti, když je vše propletené ve výpočtu, myslí si Li. "Dobrým příkladem je, kolik fintech startupů existuje specificky pro pomoc cizincům, protože absolvent Tokijské univerzity nebude moci získat kreditní kartu, i kdyby pracoval pro Google. Na druhou stranu může člověk snadno získat absolvent komunitní univerzity, protože bankéři znají místní školy lépe, "dodal Li.

Generativní umělá inteligence se obvykle nepoužívá k vytváření úvěrových skóre nebo při hodnocení rizik spotřebitelů. "To není to, pro co byl nástroj vytvořen," řekl Niklas Guske, provozní ředitel společnosti Taktile, startupu, který pomáhá fintech společnostem automatizovat rozhodování. Místo toho Guske řekl, že nejvýkonnější aplikace jsou v předběžném zpracování nestrukturovaných dat, jako je klasifikace transakcí.

"Tyto vstupy pak mohou být vloženy do tradičnějšího modelu upisování," řekl Guske. "Generativní umělá inteligence proto zlepší základní kvalitu dat pro taková rozhodnutí, spíše než aby nahrazovala běžné procesy hodnocení."

To je ale obtížné dokázat. Například Apple a Goldman Sachs byly obviněny z toho, že ženám dávají nižší limity pro Apple Card. Ale tato tvrzení byla zamítnuta newyorskými orgány poté, co regulátor nenašel žádné důkazy o diskriminaci na základě pohlaví. Problém podle Kima Smoutera, ředitele antirasistické skupiny Evropská síť proti rasismu, spočívá v tom, že může být obtížné doložit, zda k diskriminaci založené na umělé inteligenci skutečně došlo. "Jednou z obtíží při masovém nasazování AI, je neprůhlednost v tom, jak tato rozhodnutí vznikají a jaké mechanismy nápravy existují, pokud by si jedinec vůbec všiml, že byl diskriminován."

"Jednotlivci mají jen malou představu o tom, jak fungují systémy umělé inteligence a že jejich individuální případ může být ve skutečnosti špičkou celosystémového ledovce. Proto je také obtížné odhalit konkrétní případy, kdy se věci pokazily," dodal. Smouter uvedl příklad nizozemského skandálu v oblasti péče o děti, ve kterém byly tisíce žádostí o dávky neprávem obviněny z podvodu. Nizozemská vláda byla nucena rezignovat poté, co zpráva z roku 2020 zjistila, že s oběťmi bylo "zacházeno s institucionální předpojatostí". „Toto ukazuje, jak rychle se takové poruchy mohou šířit a jak obtížné je prokázat a dosáhnout nápravy, jakmile jsou objeveny, a mezitím dochází k významným, často nevratným škodám," řekl Smouter.

Chowdhury říká, že je zapotřebí globálního regulačního orgánu, jako je OSN, který by se zabýval některými riziky spojenými s AI. Ačkoli se umělá inteligence ukázala jako inovativní nástroj, někteří technologové a etikové vyjádřili pochybnosti o morální a etické správnosti této technolgie. Mezi hlavní obavy, které zasvěcenci z oboru vyjádřili patří dezinformace; rasové a genderové předsudky zakotvené v algoritmech umělé inteligence a "halucinace" generované nástroji podobnými ChatGPT.

"Trochu se obávám, že díky generativní umělé inteligenci vstupujeme do post pravdivého světa, kde nic, co vidíme online, není důvěryhodné – ani text, žádné video, ani audio, ale jak potom získáme naše informace? A jak zajistíme, aby tyto informace měly vysokou míru integrity?" Chowdhury řekl.

Zákon o umělé inteligenci z dílny EU, první regulační rámec svého druhu, zahrnuje přístup k základním právům a koncepty odškodnění, nařízení ale vstoupí v platnost nejdříve za dva roky, popisuje Smouter.

"Bylo by skvělé, kdyby toto období mohlo být zkráceno, aby se zajistilo, že transparentnost a odpovědnost budou jádrem inovací," dodal.

Zdroj: CNBC

 
 

Čtěte více:

Umělá inteligence ‚způsobí skutečné škody‘, varuje hlavní ekonom Microsoftu. S regulací ale opatrně
05.05.2023 6:03
Umělá inteligence bude v rukou bezohledných lidí nebezpečná, varuje hl...
Umělá inteligence, akcie a jeden hodně nabroušený nůž
03.05.2023 18:23
Jeden zenový příběh vypráví o mistrovi, který vidí svého žáka, jak jde...
Umělá inteligence by mohla zisky v příští dekádě posunout o 30 %, myslí si Goldman Sachs
18.05.2023 13:05
Investiční banka Goldman Sachs je ohledně budoucnosti umělé inteligenc...
Umělá inteligence jako „baby bublina“ a tvůrce „divokého západu“?
22.05.2023 10:59
Na Yahoo Finance si všímají toho, že v Bank of America hovoří o umělé ...
Ark Invest: Umělá inteligence a velké technologické firmy
31.05.2023 6:51
NVIDIA je stále sázkou na umělou inteligenci, ale valuačně již není ta...
Čína prodlužuje daňové úlevy pro nízkoemisní automobily až do roku 2027
23.06.2023 9:42
Čína prodlužuje daňové úlevy na koupi nízkoemisních aut až do roku 202...
PwC: Umělá inteligence do roku 2030 pomůže zvýšit světové HDP o 14 procent
22.06.2023 13:19
Umělá inteligence stále více ovlivňuje světovou ekonomiku. Do roku 203...
Fidelity: Dluhopisové trhy se opět zaměřují na fundamenty
23.06.2023 6:54
Interní model společnosti Fidelity International ukazuje, že dluhopiso...
Pátek přinese na trhy v Evropě další sestup. Akcie zažijí nejhorší týden za tři měsíce
23.06.2023 8:55
Světové akcie jsou na cestě k nejslabšímu týdennímu výkonu za poslední...
Rozbřesk: Centrální banky šlapou dále na brzdu
23.06.2023 9:03
Centrální banky pokračují ve svižném utahování měnových šroubů. Včerej...
Šmejc: Ukončení jednání o spojení Monety s bankovní částí PPF bylo správné
23.06.2023 9:49
Šéf skupiny PPF Jiří Šmejc po roce od ukončení jednání o spojení Monet...
Evropská data srážejí dolů euro, výnosy i akcie
23.06.2023 10:45
Úvod pátečního obchodování v Evropě nebyl moc dobrý, načež se přidala ...

Váš názor
  • AI?
    23.06.2023 22:09

    Jadro pudla tkvi v algoritmu. Algoritmus AI chvala panu B pochazi z demokratickych zemi. Tudiz je VYSOCE NEPRAVDEPODOBNE, aby AI mohli vyuzivat (ucit nepravostem) v Rusku ci dokonce v porcelanu. /// Bylo by velmi lakave "svest vybrane neduhy soucasnych dnu" na AI. Kazdy den muze clovek klidne usnout s vedomim ochrany systemem prevence. Ale pouze v demokratickych rezimech. Vsude jinde clovek musi usinat s obavami, kdy ho svarcsystem dostihne. Avsak i proti tomu existuje lecivo: to ne ja (jakozto liniovy pracovnik na dohodu o provedeni prace), nybrz ZAMESTNAVATEL predlozil NAVRH PODMINEK PRO DOHODU. /// Spolecnost v CZ snad chce i snad potrebuje resit POKLES ODVODU ZE MZDY JEDNOTLIVCE, necht se okular zameri na SILU VYJEDNAVACI POZICE UCHAZECE O PRACI... /// zasadnim objektem zajmu v pripade AI ale neni podiba pracovni smlouvy nybrz ALGORITMY a jejich tvurci, kteri peji pisen toho kdo jim zaplati mzdu (odmenu)
    Mudr.c
  • A?
    23.06.2023 20:31

    Takže je to věrná kopie lidí. Onehdá tady lidské elity a experti vyhodnotili určité skupiny jako tiché vděčné lékaře vědce inženýry a dali jim volný průchod. A ukázalo se že to jsou teroristi, vrazi, násilníci, okupanti.
    HenryFord
  •  
    23.06.2023 19:09

    nektere drive zakladni otazky nezvlada ani clovek. Kdyz jsem se ai zeptal, kolik je pohlavi, abych se dovzdelal, tak neumela odpovedet, ale na to dnes v eu neumi korektne odpovedet zrejme nikdo. Tezko chtit takove odpovedi od dnesni ai
    Trade4fun
    •  
      23.06.2023 19:18

      ... měl ses zeptat mě nebo Bohdalky, když už sám nevíš, kolik je pohlaví (https://youtu.be/4-mfvgassYo)
      Kočičák
  •  
    23.06.2023 16:37

    A je to diskriminace, nebo statistika? To, že 50letý člověk nemá dostat hypotéku na 40 let, zatímco 20letý ji dostat může, může někdo označit za diskriminaci, ale reálně jde o statistické vyhodnocení pravděpodobnosti.
    intfo
    •  
      23.06.2023 16:49

      ... ono také záleží na tom, zda ten 50letý člověk není náhodou LGBT jiné, než bílé pleti, který by to u soudu nejspíš vyhrál pro rasovou a genderovou diskriminaci a ten 20letý člověk není pouze obyčejný běloch a ještě k tomu hetero. Např. moji rodiče byli nesmírně staromódní lidé. Maminka byla žena a tatínek byl muž :D
      Kočičák
  •  
    23.06.2023 16:08

    ... ale nepovídejte, jako vážně? :D
    Kočičák
Aktuální komentáře
20.05.2024
19:01Relativita monetární restrikce
17:26Vedení ČEZ navrhlo dividendu 52 korun na akcii, 80 procent loňského očištěného zisku. Valná hromada rozhodne 24. června
17:26Pozitivní obchodování při čekání na výsledky Nvidie, ČEZ oznámil návrh dividendy  
16:53ČEZ, a.s.: Návrh dividendy společnosti ČEZ: 52 Kč na akcii, valná hromada se uskuteční 24.6.2024
15:45Investiční strategie: Nejjednodušší akciová strategie na světě
15:24Google investuje ve Finsku miliardu eur, aby podpořil umělou inteligenci
14:41Konglomeráty jsou věcí minulosti, lepší jsou jasně zaměřené firmy
13:28Poslední místa - setkání s analytikem a makléřem Patria Finance v v Praze již DNES
12:40Týdenní výhled: Hlavním bodem kalendáře je Nvidia, výhled pro sazby posiluje odolnost trhu  
11:30Makro ustoupí poslednímu z velkých techů. Týden začíná mírně pozitivně  
11:04SALUTEM FUND SICAV, a.s.: Pozvánka na Valnou hromadu emitenta
10:04Cena zlata je na rekordu, dostala se těsně pod 2450 dolarů za troyskou unci
9:26Aerolinky Ryanair mají rekordní zisk, celoročně jej zvýšily o 34 procent
9:23Rozbřesk: Potraviny výrazně zdražily a koruna hledá stabilitu
8:54Většina Čechů pro sektorovou daň? Dle ministra Stanjury o tématu koalice vede debatu, on ji nenavrhne
8:52Evropa míří k pozitivnímu zahájení, většina Čechů by byla pro sektorovou daň  
8:30Footshop a.s.: Vnitřní informace - Předběžné finanční výsledky za 1Q 2024
7:38MakroMixér s politickým geografem Michaelem Romancovem: Jaký vývoj války Ruska proti Ukrajině lze očekávat a proč?
19.05.2024
14:58Fidelity International: Dešifrování vztahu mezi finančními tituly a sazbami
9:32Víkendář: Altman o síle americké ekonomiky a snaze o obnovu výrobního sektoru

Související komentáře
Nejčtenější zprávy dne
Nejčtenější zprávy týdne
Nejdiskutovanější zprávy týdne
Kalendář událostí
ČasUdálost
14:00HU - Jednání MNB, základní sazba