211service.com
ポッドキャスト：AIはあなたのクレジットを修正できますか？
Ms Tech |ペクセル
クレジットスコアは、消費者の信用度を評価するために何十年にもわたって使用されてきましたが、アルゴリズムを利用しているため、その範囲ははるかに大きくなっています。彼らは、量と種類の両方ではるかに多くのデータを考慮するだけでなく、あなたが車を買うことができるか、アパートを借りることができるか、またはフルタイムの仕事を得ることができるかどうかにますます影響を及ぼします。自動化とウォレットに関するシリーズのこの第2回では、信用力を決定するマシンが、私たちの経済的生活よりもはるかに大きな影響を与えるようになった方法を探ります。
私たちは会う：
- チチウー、国立消費者法センターのスタッフ弁護士
- ボルチモア大学法学教授、ミケーレ・ギルマン
- Zest AIのCEO、Mike de Vere
クレジット：
このエピソードは、Jennifer Strong、Karen Hao、Emma Cillekens、AnthonyGreenによって制作されました。 MichaelReillyによって編集されました。
トランスクリプト：
【技術レビューID】
ミリアム ：ホテルの部屋から締め出されたり、鍵が機能しなくなったりして、彼がフロントデスクに降りてそれを処理しなければならないことは珍しくありませんでした。そして、レストランで請求書を支払い、小切手を返してもらうことも珍しくありませんでした。
ジェニファー： プライバシーを守るために、この女性をミリアムと呼びます。彼女が結婚する男に会ったとき、彼女は21歳でした...そして..数年以内に..彼女の人生を変えます...そして彼女の財政状態は...逆さまになります。
ミリアム： しかし、彼には常に理由があり、それは常に他の誰かのせいでした。
ジェニファー： 彼らが最初に会ったとき、ミラムは2つの仕事をしていて、ホワイトボードに予算を書いていて、学生の借金に打撃を与えていました。
彼女の信用はきれいだった。
ミリアム： 彼は私を夕食に連れて行ってくれました、そして彼は私を小さな旅行に連れて行ってくれました、あなたが知っている、ビーチへの2、3泊の休暇の取引、またはあなたが知っている、地元のもの。そして彼はいつもすべてのお金を払っていました、そして私はそれがとても楽しいと思っただけです。
ミリアム： それから彼は私の空のクレジットカードを彼のビジネスの1つに使うことができるかどうか尋ね始めました。そして、彼は全額、約5,000を請求し、それから、つまり、毎回2、3日以内にそれを完済しました。そして彼はそれをひっくり返すと呼んだ。それはしばらくの間起こりました。そしてその間、それはただ普通のことになりました。だから私はそれに注意を払うのをやめました。
ジェニファー： ある日まで...彼女の全世界が崩壊しました。
ミリアム： 私は6歳、2歳、4歳を見てみましょう。ハロウィーンの朝、私たちは彼女を就学前に連れて行く準備をしているダイニングルームにいます。そして、ええと、FBIが来て私の夫を逮捕しました、そしてそれは映画のようです、あなたが知っている、彼らはあなたのすべてのものを通り抜け、泥だらけのブーツと銃を持ったたくさんの男性をあなたの家に送ります。
ジェニファー： 連邦判事は彼女の夫に25万ドルの振り込め詐欺を犯したと有罪判決を下しました...そしてミリアムは彼女の名前で数万ドルの借金を発見しました。
彼女は作品を拾うために残されました...そして財政。
ミリアム ：ある時点で私のクレジットスコアが500を下回っていたことを意味します。つまり、急落したばかりで、掘り下げるのに長い時間がかかりますが、それは少しずつのことであることがわかりました...私は自分自身を教育しなければなりませんでした。つまり、ここでのこの大失敗以来、ええと、私は何も見逃したことがありません。それは...ほとんどのことよりも私にとって重要なのは...私のクレジットスコアを金色に保つことです。
ジェニファー： 彼女は強制債務として知られているものの生存者です。これは経済的虐待の一形態です...通常はパートナーや家族によるものです。
ミリアム： 肉体的な傷はありません。右。そして、これは、誰かに警察を呼ぶようなものではありません。そして、そしてまた、それは通常敵対的な状況ではありません。それは通常きれいです、それは彼が彼の方法で働きそして次に彼が望むものを手に入れる穏やかな会話です。
ジェニファー： 経済的虐待は目新しいものではありませんが、個人情報の盗難と同様に、オンラインフォームと自動決定のデジタル世界でははるかに簡単になっています。
ミリアム： 私はアルゴリズムが何であるかを知っています。わかりました。しかし、たとえば、私のクレジットアルゴリズムとはどういう意味ですか？
ジェニファー： 彼女は立ち直りました…しかし、多くはそうではありません…そしてアルゴリズムが私たちの金融信用システムを引き継いでいるので...これはもっと悪化するかもしれないと主張する人もいます。
ギルマン： 私たちは、困難を経験している人々を自分たちの手に負えないように見せ、それが貧困から抜け出し、経済的安定を得るのに必要な機会を得る能力に影響を与えるシステムを持っています。
ジェニファー： しかし、他の人は 正しい クレジットスコアリングアルゴリズムは…より良い未来への入り口となる可能性があります…バイアスを根絶することができます…そしてシステムはより公平になります。
ヴェールから： したがって、私の観点からは、信用は機会に等しい。私たちがそれを正しく行うことは、社会として非常に重要です。機械学習を活用して、2.0バージョンが存在する可能性があると考えています。
ジェニファー： 私はジェニファー・ストロングです。自動化とウォレットに関するシリーズのこの2回目では、信用力を決定するマシンが、私たちの経済的生活よりもはるかに大きな影響を与えるようになったことを探ります。
[IMWT ID]
ジェニファー： かつては誰かがローンを欲しがっていたときでした…彼らは銀行や信用組合の人々と関係を築き、その投資がどれほど安全か危険かを決定しました。
1940年代のクリスマスクラシックのこのシーンのように、それは素晴らしき人生です...映画の主人公が自分のビジネスを維持するために顧客に自分のお金を貸すことを決定します...。銀行の取り付け騒ぎの後。
ジョージ： 私は$ 2,000を手に入れました！これが2000ドルで、銀行が再開するまで私たちを拘束します。トム、いくら必要ですか？
トム： 242ドル。
ジョージ： トム。銀行が再開するまであなたを乗り越えるのにちょうど十分—。
トム： 242ドルかかります！
ジョージ： あります。
トム： アカウントが閉鎖されます。
ジョージ： あなたのアカウントはまだここにあります。それはローンです！
ジェニファー： 最近の銀行は、多くの顧客に会うことなくローンを組んでいます…多くの場合、これらの決定は自動化されています…クレジットカードの残高、自動車ローン、学生の借金などを追跡するクレジットレポートのデータに基づいています。個人データ…
1950年代に、業界はこれらのレポートを標準化する方法を望んでいました…そこで、データサイエンティストは、その情報を取得する方法を考え出しました...それをコンピューターモデルで実行し、数を吐き出します…。
それがあなたのクレジットスコアです…そしてそれを使って決定を下すのは銀行だけではありません。住んでいる場所に応じて、家主、保険会社、さらには雇用主など、あらゆる種類のグループがこの番号を参照します。
呉： 消費者は信用局の顧客ではありません。私たちはそうです、または私たちのデータは商品です。私たちは顧客ではなく、鶏肉です。私たち、私たちは売られるものです…。
ジェニファー： Chi Chi Wuは、National Consumer LawCenterの消費者擁護者および弁護士です。
呉： そのため、結果として、この市場のインセンティブは混乱しています。インセンティブは、消費者ではなく、債権者やその他のレポートユーザーのニーズに応えることです。
ジェニファー： 信用報告書に関しては、鍵の番人が3人います…。 Equifax、Experian、およびTransunion。
しかし、これらのレポートは包括的ではありません…そしてそれらは不正確である可能性があります。
呉： 信用報告書には容認できないほど高いレベルのエラーがあります。ええと、今、連邦取引委員会による決定的な調査からのデータは、ええと、5人に1人の消費者が彼らの信用報告書に確認された誤りを持っていたことを発見しました。また、20％または5％に1人がエラーを抱えていたため、クレジットが拒否されたり、さらに支払う必要があったりするほど深刻なエラーが発生しました。
ジェニファー： これらの報告に関する連邦政府への苦情は、近年爆発的に増加しています…そして昨年のパンデミックの間？エラーに関する苦情は2倍になりました。
これらは、C-F-P-Bまたは米国政府の消費者金融保護局に提出されたすべての苦情の半分以上を占めています。
しかし、ウーは、エラーがなくても、クレジットスコアの使用方法が問題であると考えています。
呉： だから問題は雇用主...家主です。彼らは、信用報告書と信用スコアを、人の根本的な責任、人としての価値、性格を反映したものとして見始めます。そして、それは完全に間違っています。私たちが見ているのは、何か悪いことが起こったために財政的に苦労したために、人々は彼らの信用報告書に否定的な情報を持ってしまうということです。ですから、仕事を失った人、病気になった人。ええと、彼らは彼らの手形を支払うことができません。そして、このパンデミックはその完璧な例であり、クレジットスコアの人種格差でこれを実際に見ることができます。黒人コミュニティのクレジットスコアは白人コミュニティよりもはるかに低く、ラテンXコミュニティのクレジットスコアはその中間です。そして、性格とは何の関係もありません。それは不平等と関係があります。
ジェニファー： そして、業界が古いクレジットスコアリング方法を機械学習に置き換えるにつれて、彼女はこれが問題を定着させる可能性があることを心配しています。
呉： そして、チェックしないままにしておくと、これを意図的に制御できない場合、これに注意しないと、クレジットスコアリングに起こったアルゴリズムにも同じことが起こります。つまり、歴史的に疎外されたコミュニティの進歩を妨げることになります。 。
ジェニファー： 彼女は特に、代替データを使用しているため、クレジットスコアリングアルゴリズムがより公平であると約束している企業について心配しています。
呉： あなたの携帯電話の請求書や家賃のように、もっとファンキーなフリンジなビッグデータに。ある種の従来型または財務的な代替データの最初のタイプのソーシャルメディアフィードには何が含まれていますか、ええと、私のマントラは詳細に悪魔のものでした。そのデータのいくつかは有望に見えます。他の種類のデータは非常に危険です。これが、人工知能と機械学習に関する私の懸念です。決して使用してはいけないというわけではありません。あなただけ、あなたはそれらを使わなければなりませんね？意図的に使用する必要があります。それらは解決策になる可能性があります。彼らに言われたら、あなたの目標の1つは、取り残されたグループの格差を最小限に抑えることです。あなたはあなたの目標がより少ない格差で予測的またはより予測的であることであることを知っています。
ジェニファー： 議会は雇用主による信用報告書の使用を制限することを検討しています...そしていくつかの州は保険料率の設定や手頃な価格の住宅へのアクセスを禁止するように動きました。
しかし、意識も問題です。
ギルマン： 彼らの知らないうちに人々に影響を与えている多くの信用報告の害があります。そして、あなたが危害を加えられたことを知らなければ、あなたは援助や救済を受けることができません、
ジェニファー： ミシェル・ギルマンはボルチモア大学の臨床法学教授です…
ギルマン： 私は法科大学院でアルゴリズムによる意思決定について教えられていませんでしたが、ほとんどの法科大学院生はまだ教えていません。そして、彼らはアルゴリズムに挑戦しなければならないという考えに非常に脅迫される可能性があります。
ジェニファー： 彼女は、アルゴリズムがクライアントのために決定を下していることに最初に気付いたのはいつかわかりません。しかし、1つのケースが際立っています...メディケイドプログラムの下での在宅医療時間が大幅に短縮された高齢者および障害者のクライアントの場合..クライアントが病気になっているにもかかわらず...
ギルマン： そして、時間の短縮がアルゴリズムによるものであることが明らかになったのは、争われた公聴会で行政法判事の前になってからでした。それでも、看護師であった州の証人は、アルゴリズムについて何も説明できませんでした。彼女はそれが国際的かつ統計的に検証されていることを何度も繰り返しましたが、それがどのように機能し、どのデータがそれに供給され、どの要素がどのように重み付けされたかを私たちに伝えることができませんでした。そして、私の学生弁護士が私を見て、私たちはお互いに考えているのですが、アルゴリズムをどのように相互に調べますか？
ジェニファー： 彼女は同じことを経験している全国の他の弁護士とつながりました。そして彼女は問題がはるかに大きいことに気づきました…
ギルマン： そして、アルゴリズムに関しては、クライアントの生活のほぼすべての側面で機能しています。
ジェニファー： そして、信用報告アルゴリズムが最も普及しています。
彼女の会社は、予期せぬ借金を抱えている犠牲者を見ています...時には困難のために...他の時には医療費から...または...誰かがあなたの名前でローンを組む個人情報の盗難のために...
しかし、影響は同じです…それはクレジットスコアを圧迫します…そして債務が清算されたとしても、それは長期的な影響を与える可能性があります。
ギルマン： 優れた消費者弁護士として、目の前にある実際の訴訟を解決するだけでは不十分な場合があることを知っておく必要があります。また、外に出て、これらのアルゴリズムシステムの波及効果をクリーンアップする必要があります。多くの貧困弁護士は、コンピューターで生成された結果を見て、それが中立であり、客観的であり、正しいと考えるという点で、一般の人々と同じバイアスを共有しています。それはどういうわけか魔法です。電卓のようなものです。そして、これらの仮定はどれも真実ではありませんが、これらのシステムがどのように動作するかを理解するためのトレーニングとリソースが必要です。そして、コミュニティとして、これらのシステムに挑戦できるようにそれらのシステムに問い合わせることができるように、より良いツールを開発する必要があります。
ジェニファー： 休憩後...信用報告の公平性を自動化する取り組みを検討します。
【ミッドロール】
ヴェールから： AIは2つの方法で役立ちます：それはより多くのデータとより良い数学です。したがって、現在の数学の制限について考えると、数十の変数を取り込むことができます。そして、ええと、私があなたにジェニファーを説明しようとすると、ええと、あなたが知っている、あなたが知っている、私はおそらくかなり良い説明に到達することができますが、私がより多くのデータを引き出すことができれば想像してください、そして私はあなたを300からシグナルと解決を示す1000の変数により、借り手としての信用力をはるかに正確に予測できます。
ジェニファー： Mike de Vereは、ZestAIのCEOです。これは、人種、性別、その他の潜在的なバイアスなど、クレジットスコアに関する現在の問題のいくつかを説明するように設計されたソフトウェアを使用して、クレジットおよびローンの承認プロセスに透明性を追加しようとしている企業の1つです。
それがどのように機能するかを理解するには...最初に少しコンテキストが必要です。米国では、貸し手（住宅ローンの貸し手以外）が人種に関するデータを収集することは違法です。これはもともと 防ぐ 差別。
しかし、人種は名前と強い相関関係があります...彼らが住んでいる場所...彼らが学校に通った場所...そして彼らが支払われる金額。つまり、人種データがなくても、機械学習アルゴリズムはとにかく識別を学習できるということです。
したがって、貸し手はこれをチェックし、貸し出しモデルの差別を排除しようとします。唯一の問題？あなたがどのようにやっているのかを確認するには、借り手の人種を知る必要があります...それがなければ...貸し手は知識に基づいた推測をすることを余儀なくされます。
ヴェールから： したがって、受け入れられているアプローチは頭字語BISGであり、基本的に2つの変数、郵便番号と姓を使用します。ですから、私の名前はマイク・デ・ヴェールで、カリフォルニアの出身です。そのような名前で、ヒスパニックまたはラテンXとして出てきますが、それでも私はアイルランド人です。
ジェニファー： 言い換えれば...これを行う方法の業界標準は、多くの場合、完全に間違っています。そのため、彼の会社は別のアプローチを取っています。
ヴェールから： 機械学習を活用して、2.0バージョンが存在する可能性があると考えています。
ジェニファー： 2つの変数だけで人種を予測するのではなく、人の名やミドルネームなどの多くの変数や、国勢調査区や教育委員会の地区などの他の地理データを使用します。
彼は、フロリダでの最近のテストで、この方法は標準モデルを60パーセント上回っていると言います。
ヴェールから： なぜそれが重要なのですか？それはあなたのやり方に固執するあなたの庭だからです。
ジェニファー： 次に、彼は敵対的デバイアスと呼ばれるアプローチを取ります。
基本的な考え方は これ 。同社は、特定の借り手がどれほどリスクがあるかを予測するように訓練された1つの機械学習モデルから始めます。
ヴェールから： 個人にリスクを割り当てるために300から500のデータポイントがあるとしましょう。
ジェニファー： その後、 2番目 その借り手の人種を推測しようとする機械学習モデル…（最初の調査結果に基づく）。
2番目のモデルの予測がレース予測の出力と一致する場合...彼は、システムがバイアスをエンコードしていることを意味し、各データポイントの重みを微調整することによって調整する必要があると言います。
ヴェールから： したがって、これらの300〜500の信号は、レースのプロキシになった場合に調整または調整できます。そのため、最終的には、優れた経済性を実現するパフォーマンスの高いモデルであるだけでなく、その過程でほぼ色覚異常のモデルができあがります。
ジェニファー： 彼は、それがより包括的な融資慣行につながったと言います。
ヴェールから： 私たちは、フロリダ以外の米国で最大の信用組合の1つと協力しています。そして、それが私たちの信用組合にとって意味することは、より多くのメンバーにとってより多くの賛成です。しかし、彼らが本当に興奮したのは、女性の承認が26％増加したことです。カラーメンバーの承認が25％増加しました。
ジェニファー： それは励みになりますが...アルゴリズムによる意思決定によって引き起こされた何十年にもわたる危害の修正があると主張する人は誰でも...人々の信頼を勝ち取るために克服しなければならないことがたくさんあります。
悪いアルゴリズムに対する提案された修正が別のアルゴリズムである場合、それはさらに困難になるタスクです。
財務省は最近ガイダンスを発行しました-銀行の主要なリスクとしてのAIクレジット引受の使用を強調しています...不透明な性質に伴うコストの警告...そして、引用、銀行経営者？..が説明できるはずであるというメモを追加します引受とモデリングの決定を擁護します。
これは…最も透明性の高いツールを使用しても…それでも難しい注文のように感じます。
また、最新の規制がなければ、誰がこれらのクレジットスコアモニターを監視するのか、そして電話データやソーシャルメディアからの情報などが公正なプレーであるかどうかを誰が決定するのかも不明確です。
特に、最終結果は、雇用や保険などのクレジット以外の目的で引き続き使用されます。
[クレジット]
このエピソードは、私、Karen Hao、Emma Cillekens、AnthonyGreenによって制作されました。 MichaelReillyによって編集されました。
聞いてくれてありがとう、ジェニファー・ストロングです。
【技術レビューID】