211service.com
AIだけが私たちを自分たちから救うことができれば
人間はインターネットを壊しました。ネットいじめ、嫌がらせ、社会的恥辱、そしてまったくの不快感は、TwitterやRedditなどのサイトを悩ませます。特に、間違った種類の注目を集めた場合はなおさらです。方法を検討する ゴーストバスターズ スターレスリージョーンズと広報エグゼクティブ ジャスティンサッコ 大量虐待の標的になりました。
オンラインサービスを運営している企業は、通常、嫌がらせに対する無関心の罪と言論の自由の抑圧の間に圧迫されています。しかし今、グーグルは人工知能を使ってこのデジタルコモンズの悲劇を減らすことができると考えている。 （開示：私は2000年代にGoogleで働いていました。）ジグソーと呼ばれる会社のテクノロジーインキュベーター（以前はGoogle Ideasと呼ばれていました）は、会話AIと呼ばれる自動プログラムでデジタル嫌がらせを見つけて取り除くことを意図していると言います。ジグソーの社長、ジャレッド・コーエンとして、 言った 有線 、 私は、自由に使える最高のテクノロジーを使用して、敵対的な声に不釣り合いな重みを与えるトローリングやその他の悪質な戦術を取り始め、[そして]競技場を平準化するためにできる限りのことをしたいと思っています。
このストーリーは2017年1月号の一部でした
- 残りの問題を見る
- 購読
グーグルがこれを引き受けるのは勇気があり、ジグソーの以前の作品のいくつかとは異なります。これには、ニュースサイトや表現の自由を促進するサイトをサービス拒否攻撃から保護するProjectShieldが含まれています。 Jigsawのもう1つの取り組みであるPasswordAlertは、フィッシング攻撃から保護するChrome拡張機能です。それらは主に技術的な課題でした。しかし、トロルやオンライン暴徒との戦いも社会学的問題です。
レビューしたもの
AIチャット
Googleのジグソーから
会話AIは、Googleの最も成功したムーンショットプロジェクトの1つであるGoogleBrainの派生物です。これは、大規模なニューラルネットワークを通じて機械学習の分野に革命をもたらすのに役立ち、画像の認識において人間よりも熟練したソフトウェアなどのGoogleの利点をもたらしました。しかし、会話AIはオンラインでの不正使用を打ち負かすことはできません。ジグソーの目標は オンライン暴徒の台頭と戦う 、プログラム自体ははるかに控えめな、したがってより妥当なプロジェクトです。会話AIは、主に、今日人間によって実行されているコミュニティのモデレーションを合理化します。したがって、オンラインで最悪の行動を中和することができない場合でも、一部のサイトではより多くのより良い談話を促進する可能性があります。
ほのめかしの検出
ジグソーパズルはで会話AIを開始しています ニューヨーク・タイムズ 、同社がオンラインコメントを管理するのを支援するために、数か月以内に展開される予定です。人間のモデレーターは現在、サイトで公開されているほぼすべてのコメントを確認しています。現在、Conversation AIはそれらの1800万を読んでおり、拒否されたコメントの個々のカテゴリを検出することを学習しています。
The タイムズ の目標は、必ずしもコメントの乱用を減らすことではありません。これは、すでに管理下にあると考えられている問題です。代わりに、人間のモデレーターの作業負荷を減らすことを望んでいます。完全に自動化されたシステムを期待することはありません、Erica Greene、エンジニアリングマネージャー ニューヨーク・タイムズ コミュニティチーム、私に言った。 タイムズ コミュニティ編集者のBasseyEtimは、コメントの50〜80％が最終的に自動モデレートされ、従業員がより説得力のあるコンテンツの作成に専念できるようになると予測しています。 から 論文のコメントセクション。
The ニューヨーク・タイムズ サイトは、TwitterやRedditのすべてのリアルタイムの無料とは非常に異なる問題を引き起こします。そして、今日存在する機械学習の限界を考えると、会話AIは、インターネットの広く開かれた空間での悪用と戦うことはできないでしょう。機械学習の目を見張るような成果のすべてについて、それはまだ人間の言語をクラックしていません。Goや画像で見られるようなパターンは、悪魔のようにとらえどころのないものです。
エリック・カーターによるイラスト
不正使用の検出における言語上の問題は文脈です。会話AIのコメント分析は、ディスカッションのフロー全体をモデル化するものではありません。個々のコメントを、良いコメントまたは悪いコメントを構成するものの学習モデルと照合します。たとえば、 ニューヨーク・タイムズ 一般的な単語、フレーズ、その他の機能が含まれている傾向がある場合、サイトは許容できると見なされる可能性があります。しかし、グリーン氏によると、ドナルド・トランプに関する記事へのコメントは、読者からのコメントが拒否されるような言葉を使って引用したため、Googleのシステムが頻繁に悪用しているとのことです。これらの種類の記事については、 タイムズ 自動モデレートをオフにするだけです。
したがって、Twitterのような広く開かれたサイトで会話AIがうまく機能しているのを見るのは不可能です。虐待的なホロコーストのほのめかしをどのように検出しますか ユダヤ人ジャーナリストのマーク・ダールダーに送られたツイート ：ランプシェードの写真でトランプが勝った場合、これはあなたです、そしてあなたはオーブントースターの写真でここに属していますか？虐待の検出は、機械学習アルゴリズムが非常に類似した例でトレーニングされた場合にのみ検出できる歴史的知識と文化的背景に依存しています。それでも、トランプが勝った場合、これは私が購入しているもので、虐待と同じ写真をどのように区別することができますか？必要な意味論的および実践的な知識のレベルは、機械学習が現在目指しているレベルを超えています。
その結果、専用のTwitterトロールは、会話AIのようなシステムを回避する虐待を表現する新しい方法を間違いなく見つけるでしょう。一部のコメントをブロックすることで、機械学習は、それが目標である場合、コメント投稿者がお互いにたばこやホモをさりげなく呼び出すのをやめるというまともな仕事をすることができます。しかし、機械学習は、誰かがクィアであるとほのめかして、人を地獄に屈服させることはできません。
言い換えれば、会話AIにより、すでにかなり適切に動作する傾向があるコミュニティで、モデレートタスクをより効率的に実行できるようになります。私たちが耳にする最悪の虐待を根絶することはできません。これは、最小限のモデレート基準を持つサイトに頻繁に現れます。 Twitterでの虐待の取り締まり そしてRedditは、これらのプラットフォームの性質を根本的に変えることなしには不可能です。
ゲーテッドコミュニティ
TwitterとRedditでの不正使用の取り締まりは、これらのプラットフォームの性質を根本的に変えることなしには不可能です。
Facebookの成功は、ほとんどの人、そして確かにほとんどの企業が、見知らぬ人が他の人のビジネスに侵入して戦いを始めることができる環境よりも、比較的保護され制御された環境を好むことを思い出させます。したがって、会話AIまたは同様のツールを使用すると、そのような制御をより簡単かつ効率的に実行できる場合、人間による手段であれ自動化された手段であれ、不正使用の問題を解決するには、オンラインでの最高の理想としての最大の包括性から離れる必要があることに注意してください。 StackExchangeやMetaFilterのような一見オープンなコミュニティでさえ、常にモデレーターの介入とコミュニティポリシングを必要とします。 Twitter、4chan、Redditの一部のチャンネルなど、真に無秩序なコミュニティは、ルールではなく、オンラインでの例外であることが証明されています。また、無政府状態のコミュニティは金儲け者でもありません。 Twitterは、虐待的なコンテンツで評判が高いこともあり、購入者を引き付けるのに苦労しましたが、Redditは、スタッフの離職率が高く、収益化が困難でした。これらのサイトのワイルドウェストの性質は、ConversationAIなどのツールによってモデレートサイトの機能がさらに向上した場合にのみ明らかになります。
1つの大きな潜在的な欠点に注意する価値があります。会話AIは、特定の語彙、文法、文体のガイドラインに準拠したコンテンツを承認するようにトレーニングされているため、不正なコンテンツを除外するだけではありません。それはまた打つ傾向があるかもしれません 多様 コンテンツ。それは検閲志向の政府がそれで何ができるかという疑問を提起します。ちょうど タイムズ コミュニティを管理しているので、トルコと中国の政府もコミュニティを管理できます。 Project Shieldのようなジグソーパズルの取り組みは、政治的に機密性の高いWebサイトを防御することを目的としていますが、Conversation AIを使用すると、不要な音声を簡単に除外できます。ボックスには、乱用を防ぐためにのみ使用するというラベルはありません。
David Auerbachは、パンテオンから出版される、人間とコンピューターの言語とそれらの収束に関する本を書いています。彼は、主にサーバーインフラストラクチャで、GoogleとMicrosoftのソフトウェアエンジニアとして11年間働いていました。