本文は Scientific American の英語版から翻訳されたもので、ドイツ語版は Spektrum der Wissenschaft で見ることができます。著者：Dirk Helbing、Bruno S. Frey、Gerd Gigerenzer、Ernst Hafen、Michael Hagner、Yvonne Hofstetter、Jeroen van den Hoven、Roberto V. Zicari、Andrej Zwitter。2017 年 2 月 25 日。
「啓蒙とは、人間が自己強化の未熟さから脱却し、そこから立ち上がることである。未熟さとは、誰も導かないときに他者を理解する能力がないことである。」
—— イマヌエル・カント『何が啓蒙か？』（1784）
デジタル革命が全面的に開花しています。これは私たちの世界をどのように変えるのでしょうか？私たちが生成するデータは毎年倍増しています。言い換えれば、2016 年に生成されたデータは、2015 年までの人類の歴史全体で生成されたデータと同じ量です。毎分、私たちは数十万回の Google 検索を行い、数十万件の Facebook 投稿をします。これらのデータには、私たちの思考や感情を明らかにする情報が含まれています。まもなく、私たちの周囲の物（私たちの衣服を含む）もインターネットに接続されるでしょう。推定によれば、10 年以内に 1500 億の接続された測定センサーが存在し、これは地球の人口の 20 倍に相当します。その時、データ量は 12 時間ごとに倍増します。多くの企業がこの「ビッグデータ」を使って「ビッグマネー」を稼ごうと試みています。
すべてのものがスマート化されます。私たちはすぐにスマートフォンだけでなく、スマートホーム、スマートファクトリー、スマートシティも持つことになるでしょう。このような発展が賢い国家やより賢い地球を生み出すことが期待されるのでしょうか？
実際、人工知能の分野では目覚ましい進展があり、特にデータ分析の自動化に貢献しています。人工知能はもはや行を追って書かれるものではなく、学習能力を持つようになり、持続的な自己進化を実現できるようになりました。最近、Google の DeepMind が開発したアルゴリズムは、49 の Atari ゲームを自らクリアすることを学びました。現在のアルゴリズムは手書きの文字やパターンの認識においてほぼ人間と同じレベルに達しており、特定のタスクでは人間を上回ることもあります。彼らはまた、写真やビデオの内容を説明することもできます。現在、70％の金融取引はアルゴリズムによって実行されています。一部のニュースコンテンツも自動生成されています。これらすべては重大な経済的影響をもたらすでしょう：今後 10〜20 年の間に、今日の約半分の仕事がアルゴリズムの脅威にさらされることになります。今日の世界の 500 社のうち 40％は 10 年以内に消えるでしょう。
スーパーコンピュータは、ほぼすべての分野で人間の能力を超えることが予想されます —— おそらく 2020 年から 2060 年の間に。専門家たちはすでに警鐘を鳴らし始めています。テスラのイーロン・マスク、マイクロソフトのビル・ゲイツ、アップルの共同創設者スティーブ・ウォズニアックなどの技術的な先見の明を持つ人々は、スーパーインテリジェンスが人類の存在に深刻な危険をもたらすと警告しています。これは核兵器よりも危険かもしれません。
これは杞人の憂いか？#
一つのことは明らかです：私たちの経済と社会の組織方法は根本的に変わるでしょう。私たちは第二次世界大戦以来最大の変革を経験しています；生産の自動化と自動運転車の創出の後、次は社会の自動化です。したがって、社会は交差点に立っており、未来には大きな機会があるかもしれませんが、同時に相当なリスクも存在します。もし私たちが誤った決定を下せば、それは私たちの最も偉大な歴史的成果を脅かす可能性があります。
1940 年代、アメリカの数学者ノーバート・ウィーナー（1894-1964）はサイバネティクスを発明しました。彼は、システムの行動は適切なフィードバックによって制御できると考えました。すぐに、一部の研究者はこの基本原理に基づいて経済や社会を制御できると想像しましたが、その当時は必要な技術が存在しませんでした。
現在、シンガポールはデータ制御型社会の完璧な例と見なされています。最初は市民をテロから守るためのプロジェクト計画が、最終的には経済や移民政策、不動産市場、学校のカリキュラムに影響を与えました。中国も同様の道を歩んでいます。百度（中国の Google）は最近、軍に「中国脳計画」に参加するよう招待しました。これは、ユーザーから収集した検索エンジンデータに基づいて「深層学習アルゴリズム」を実行することを含みます。さらに、中国は何らかの形の社会的制御を計画しています。最近の報告によれば、すべての中国市民にはいわゆる「社会信用スコア」が与えられ、これが彼らがどのような条件で融資を受けたり、仕事を得たり、他国への旅行ビザを取得したりできるかを決定します。この種の個人監視は、人々のインターネットの閲覧履歴や社交行動を含むことになります（「中国に焦点を当てる」セクションを参照）。
消費者がますます頻繁に信用チェックに直面する中で、一部のオンラインストアは個別化された価格設定を試験しています。私たち西洋でもこの方向に向かっています。私たちはますます明らかに、私たち全員が機関の監視の視野の中心に立っていることを見ています。この状況は 2015 年に明らかになり、英国の特勤局の「カルマポリス」プロジェクトが公開され、彼らがすべての人のインターネット使用を徹底的にスクリーニングしていることが示されました。「ビッグブラザー」は現実になりつつあるのでしょうか？
プログラム化された社会、プログラム化された市民#
すべてのものは最初はかなり無害でした。検索エンジンや推薦プラットフォームは、私たちに製品やサービスの個別化された提案を提供し始めました。この情報は、以前の検索、購入、移動行動、社交活動から収集された個人データやメタデータに基づいています。正式にはユーザーの身元は保護されていますが、実際には非常に簡単に推測できます。現在、アルゴリズムは私たちが何をしたか、何を考えているか、そして私たちの感情を非常に明確に理解しています —— 時には私たちの友人や家族、さらには私たち自身よりも明確に。多くの場合、私たちが受け取る推薦はあまりにも適切であるため、私たちは得られた結果が自分の決定であると感じますが、実際にはそうではありません。実際、私たちはこの方法で、これまで以上に成功裏に遠隔操作されています。私たちが理解されるほど、私たちの選択は自由でなくなり、他の人によって事前に決定される可能性が高くなります。
しかし、問題はそれだけではありません。特定のソフトウェアプラットフォームは「説得的計算（persuasive computing）」に向かっています。将来的には、これらのプラットフォームは複雑で精緻な操作技術を使用して、私たちを一連の行動に導く能力を持つことになります。これにより、複雑なワークフローを実行したり、インターネットプラットフォームに無料のコンテンツを生成したりすることができ、企業はそこから大きな利益を得ることができます。現在の傾向は、コンピュータをプログラムすることから人をプログラムすることへと移行しています。
これらの技術は政治の世界でもますます人気を集めています。「ナッジ（nudge）」というラベルの下、政府は市民をより健康的または環境に優しい行動に導くために「ナッジ」手法を大規模に試みています。この新しい形の思いやりのある政府は、私たちが何をしているかに興味を持つだけでなく、私たちが彼らが正しいと考えることをすることを確実にしたいと考えています。ここで依存する魔法は「ビッグナッジ（big nudging）」、すなわち「ビッグデータ」と「ナッジ」の組み合わせです。多くの人にとって、これはデジタルの杖のように見え、効率的に人々を支配し、民主的なプロセスに市民を参加させることなく行うことができます。これは既得権益者の障害を克服し、世界の発展を最適化することができるのでしょうか？もしそうなら、市民はデータ駆動型の「明君」の支配下に置かれることになり、彼はデジタルの杖のように必要な経済的および社会的成果を実現できるでしょう。
事前にプログラムされた災害#
しかし、関連する科学文献を見てみると、いわゆる「最適化」方式で人々の意見を制御しようとする試みは失敗する運命にあることが示されています。なぜなら、この問題は非常に複雑だからです。意見形成の動的プロセスは変数に満ちています。誰もデジタルの杖（すなわち操作的なナッジ技術）がどのように最も良く使用されるべきかを知りません。何が良いのでしょうか？何が悪いのでしょうか？基準はしばしば事後に明らかになります。例えば、2009 年のドイツの豚インフルエンザの流行の際、すべての人がワクチン接種を奨励されました。しかし、現在私たちは、一定の割合の接種者が異常な病気 —— ナルコレプシーを発症することを知っています。幸いなことに、接種を選択した人が増えることはありませんでした！
別の例として、医療保険提供者が最近、心血管疾患の発症を減少させるために人々にもっと運動するよう奨励するためにスマート健康バンドを配布しようとしましたが、最終的には股関節手術が増加する可能性があります。このような複雑なシステムにおいて、一つの側面の改善はほぼ避けられない形で別の側面の劣化を引き起こします。したがって、大規模な介入は時には大規模な誤りに終わることがあります。
さらに、犯罪者、テロリスト、過激派は遅かれ早かれこのデジタルの杖の制御を奪おうとするでしょう —— 私たちはそれに気づかないかもしれません。ほとんどすべての企業や機関は攻撃を受けたことがあり、ペンタゴン、ホワイトハウス、国家安全保障局（NSA）を含みます。
十分な透明性と民主的な制御が欠如している場合、さらに別の問題が発生します：システムが内部から侵食されることです。検索アルゴリズムや推薦システムは影響を受ける可能性があります。企業は特定のフレーズを入札して購入し、より好ましい結果を得ることができます。政府も結果に影響を与える能力を持っているかもしれません。選挙期間中、政府は未決定の有権者をナッジして自らを支持させることができます —— これは検出が難しい操作です。したがって、誰がこの技術を制御しているかにかかわらず、選挙に勝つことができ —— 彼ら自身を権力の座に押し上げることができます。
多くの単一の検索エンジンや単一のソーシャルメディアプラットフォームが市場シェアを支配している国では、この問題はさらに深刻になります。公衆は決定的な影響を受ける可能性があり、これらの国々は遠隔から干渉される可能性があります。2015 年 10 月 6 日に欧州裁判所が下した判決は、欧州データの無制限な輸出を制限しましたが、この潜在的な問題は欧州全体ではまだ解決されておらず、他の地域ではなおさらです。
私たちはどのような悪影響が予想されるでしょうか？彼らは、気づかれないように操作するために、いわゆる「共鳴効果（resonance effect）」を採用するでしょう —— 各個人に十分にカスタマイズされた提案を行うことです。この方法により、局所的なトレンドは繰り返しの中で徐々に強化され、最終的には「フィルターバブル（filter bubble）」や「エコーチェンバー効果（echo chamber effect）」を引き起こします：最終的に受け取るすべての情報は、あなた自身の視点を反映したものだけです。これは社会の極化を引き起こし、異なるグループに分断され、これらのグループ間の相互理解ができなくなり、対立が増加することになります。個別化された情報は、このようにして社会的な結束を無意識のうちに破壊する可能性があります。現在のアメリカの政治では、この現象が観察されています：民主党と共和党の分断がますます深刻になり、政治的妥協がほぼ不可能になっています。その結果、社会の断片化が進み、さらには社会崩壊を引き起こす可能性があります。
共鳴効果により、社会における意見の大規模な変化は、緩やかで漸進的な方法でしか実現できません。この効果の発生には時間遅延が存在しますが、同様に、すでに発生したものも簡単には消去できません。例えば、少数民族や移民に対する憎悪は制御不能になる可能性があります；過剰な民族主義は差別、過激主義、対立を引き起こす可能性があります。
おそらく、より重要なのは、操作方法が実際に私たちの意思決定の仕方を変えることです。これらは少なくとも一時的に他の関連する文化や社会的習慣を覆い隠すことができます。一般的に、大規模に操作方法を使用することは、深刻な社会的危害を引き起こす可能性があります。これは、デジタル世界で残酷な行動を取ることを含みます。誰がこれに責任を持つべきでしょうか？
法律の問題#
過去数年間にわたるタバコ会社、銀行、IT 企業、自動車会社に対する巨額の罰金を考えると、無視できない法律的問題が生じます。しかし、もしあれば、どの法律が違反される可能性があるのでしょうか？まず、操作技術は明らかに選択の自由を制限します。もし私たちの行動に対する遠隔操作がうまくいけば、私たちは基本的にデジタル奴隷になり、他の人が事前に下した決定を実行することになります。もちろん、操作技術は部分的な効果しか持ちません。それでも、私たちの自由は徐々に消えつつありますが、もちろん —— 現時点では、その速度は人々が抵抗するほどではありません。
偉大な啓蒙者イマヌエル・カントは、これに非常に関連する洞察を提供しました。彼は多くのことを指摘しましたが、その一つは、国民の幸福を決定しようとする国家は専制国家であるということです。しかし、個人の自己発展の権利は、自分の生活を制御する権限を持つ者によってのみ行使されるべきであり、これは情報自己決定（informational self-determination）を前提としています。これこそが私たちの最も重要な憲法上の権利です。これらの権利が尊重されない限り、民主主義はうまく機能しません。これらの権利が制限されると、私たちの憲法、社会、国家が危険にさらされます。
ビッグナッジなどの操作技術の働き方が個別化広告に似ているため、他の法律も影響を受けるでしょう。広告は真実を述べ、誤解を招くものであってはなりません。また、特定の心理的操作技術を利用することも許可されていません。これは、映画に一瞬のソフトドリンク広告を挿入することが禁止されている理由です。なぜなら、その場合、広告は意識的に認識されず、潜在意識に影響を与える可能性があるからです。さらに、現在一般的に存在する個人データの収集と処理は、欧州諸国や他の地域のデータ保護法に明らかに適合していません。
最後に、個別化された価格設定の合法性も疑問視されます。これは内部情報の誤用に当たる可能性があります。他の関連する側面には、平等と非差別の原則や競争法の違反が含まれる可能性があります。なぜなら、自由な市場参入と価格の透明性が保証されなくなるからです。この状況は、他の国でより低い価格で製品を販売する企業が、これらの国を通じての購入を阻止しようとする場合に類似しています。このような状況は、過去に高額な懲罰的罰金をもたらしました。
個別化広告や価格設定は、従来の広告や割引クーポンとは異なります。後者はターゲットを絞ったものではなく、私たちのプライバシーを侵害せず、私たちの心理的弱点を利用せず、批判的思考を奪うことはありません。
さらに、学術界では、最も無害な意思決定実験でさえ、人間を被験者として扱う必要があり、これは公衆が信頼できる倫理委員会の承認を得る必要があります。各ケースで、被験者は知情同意を示すよう求められます。それに対して、数回のクリックで数百ページの「利用規約」に同意することを確認すること（現在、多くの情報プラットフォームがこの方式を使用しています）は非常に不適切です。
学術界ではそうですが、ナッジなどの操作技術は数百万人に対して実験を実施し、彼らに通知せず、透明性も倫理的制約もありません。Facebook などの大規模なソーシャルネットワークや OkCupid などのオンラインデーティングプラットフォームは、こうした社会実験を行っていることを公然と認めています。人間や社会に対する無責任な研究を避けるためには（過去に心理学者が拷問に関与したことを考えると）、特に科学的品質基準やヒポクラテスの誓いに類似した行動規範を強制する必要があります。
私たちの思考、私たちの自由、私たちの民主主義はすでに堕落しているのか？#
私たちは、神のような知識と超人的な能力を持つ超知能の機械が存在すると仮定します：私たちはその指示に従うでしょうか？それは可能性があるようです。しかし、もしそうすれば、イーロン・マスク、ビル・ゲイツ、スティーブ・ウォズニアック、スティーブン・ホーキングなどが発した警告が現実のものとなります：コンピュータがこの世界を支配することになります。私たちは、超知能も間違いを犯したり、嘘をついたり、自己利益を追求したり、操作されたりする可能性があることを明確に認識する必要があります。最も重要なのは、それが全体の集団知恵に劣る可能性があるということです。
すべての市民の思考をコンピュータのクラスターに置き換えるという考えは非常に馬鹿げており、実現可能な解決策の多様性と質を大幅に低下させます。私たちは、最近データが著しく増加し、個別化された情報が使用されているにもかかわらず、この世界の問題が減少していないことを明確に見ることができます —— 逆に！世界の平和は脆弱です。気候の長期的な変化は、恐竜の絶滅以来最も深刻な種の損失を引き起こす可能性があります。私たちは金融危機とその経済への影響を克服していません。サイバー犯罪は毎年 3 兆ドルの損失を引き起こすと推定されています。国家やテロリストもサイバー戦争の準備を進めています。
図 1：デジタル世界の発展。出典：Dirk Helbing。ビッグデータの助けを借りて、私たちは今、より良い、証拠に基づいた意思決定を行うことができます。しかし、上からの制御はますます失敗するでしょう。なぜなら、私たちの世界がネットワーク化されるにつれて、社会の複雑さが爆発的に増加するからです。分散型の制御方法がますます重要になります。集団知恵を活用することで、私たちはこの世界の複雑性の問題に対する適切な解決策を見つける可能性があります。
急速に変化する世界の中で、超知能は完璧な意思決定を提供することは決してないかもしれません（図 1 を参照）：システムの複雑さの増加速度はデータ量の増加速度を上回り、データ量の増加速度はデータ処理能力の発展速度を上回ります。データ伝送速度には限界があります。これにより、システムは局所的な知識や事実を無視し、優れた解決策を実現するために重要な要素を見逃すことになります。分散型の局所制御方法は、特に行動が高度に変動し、予測が難しく、リアルタイムで最適化できない複雑なシステムにおいて、中央集権的な方法よりも優れていることが多いです。これは都市の交通制御において現実のものとなっており、私たちの高度にネットワーク化された、グローバル化した世界の社会的および経済的システムにおいては、問題はさらに深刻です。
さらに、危険も存在します：強力なアルゴリズムを使用した意思決定の操作は、「集団知恵」の基盤を破壊する可能性があります。集団知恵は、私たちのこの複雑な世界の課題に柔軟に適応することができるからです。集団知恵を機能させるためには、個々の情報検索と意思決定が独立して行われる必要があります。しかし、もし私たちの判断や意思決定がアルゴリズムによって事前に決定されているなら、それは実際には人々を洗脳することになります。知恵の存在は単なる指示の受け手に過ぎず、刺激に自動的に反応するだけになります。
言い換えれば：個別化された情報は私たちの周りに「フィルターバブル」を構築し、私たちの思考を囚えるデジタル監獄となります。このような状況で、創造性や「ボックスを超えた」思考はどのように実現されるのでしょうか？最終的に、技術官僚的な行動の中央集権的なシステムと超知能情報システムを使用した社会的制御は、新しい形の独裁政権を導くことになります。したがって、「リベラル・パターナリズム（liberal paternalism）」の旗の下にある上からの制御は、実際には美しい仮面をかぶった専制政治に過ぎません。
実際、ビッグナッジの目標は、多くの人々の行動を規範に制約し、彼らの意見や決定を操作することです。これは政治的プロパガンダの舞台中央に置かれ、市民の能力を行動制御によって奪うことを目的としています。私たちはその長期的な結果が致命的であると考えています。特に、上記の文化に対する危害の影響を考慮すると。
より良いデジタル社会は可能である#
世界的な競争が激化する中で、民主主義国家の賢明な行動は、何世紀にもわたる成果を捨て去らないことです。他の政治制度と比較して、西洋の民主主義国家の利点は、彼らが多様性と多元性に対処する方法を学んできたことです。今、彼らはそれをより多く活用する方法を学ぶ必要があります。
未来において、これらの国々は企業、政府、市民の間で健康的なバランスを見つけるでしょう。これはネットワーク化された思考方法と、情報、革新、製品、サービスの「エコシステム」を構築することを必要とします。良好な結果を得るためには、参加の機会を創出するだけでなく、多様性を支援することも重要です。なぜなら、私たちは最良の目標関数を特定することができないからです：私たちは一人当たりの国民生産総額を最適化すべきでしょうか、それとも持続可能性でしょうか？権力でしょうか、それとも平和でしょうか？幸福でしょうか、それとも平均寿命でしょうか？通常、事実が発生した後にのみ、どちらがより良いかを知ることができます。さまざまな目標を追求することを許可することで、多様な社会は予期しないさまざまな問題により良く対処できるでしょう。
中央集権的な、上からの制御は過去の解決策であり、これは低い複雑性のシステムにのみ適しています。連邦制度と多数決は現在の解決策です。経済と文化の発展に伴い、社会の複雑性も引き続き高まります。未来の解決策は集団知恵です。これは、市民科学、クラウドソーシング、オンライン討論プラットフォームが、より多くの知識、アイデア、リソースを提供する非常に重要な新しい方法であることを意味します。
集団知恵は高度に多様である必要があります。しかし、今日の個別化情報システムは多様性を弱めており、この傾向は強まっています。
社会の多様性は生物多様性と同様に重要です。これは集団知恵や革新を助けるだけでなく、社会に弾力性を提供します —— つまり、私たちの社会が予期しない衝撃に対処する能力です。社会の多様性を減少させることは、経済や社会の機能やパフォーマンスを低下させることがよくあります。これは、専制政権が隣国としばしば対立する理由です。社会の多様性が減少する典型的な長期的結果は、政治的不安定と戦争であり、これは歴史の中で何度も見られます。したがって、多様性と参加権は市民への譲歩と見なされるべきではなく、繁栄し、複雑で、現代的な社会の機能的前提条件と見なされるべきです。
図 2：デジタル交差点。出典：Dirk Helbing。私たちの社会は交差点に立っています：もしより強力なアルゴリズムが少数の意思決定者によって制御され、私たちの自己決定能力が低下すれば、私たちは重要な歴史的成果を失うことになります。しかし、今、私たちはデジタル民主主義または Democracy 2.0 の道を選択する機会があります。これは私たち全員に利益をもたらすことができます（参照：https://vimeo.com/147442522）。
全体的に見て、私たちは今、交差点に立っていると言えます（図 2 を参照）。ビッグデータ、人工知能、サイバネティクス、行動経済学が私たちの社会を形成しています —— それがこの社会をより良くするか、より悪くするかにかかわらず。これらの広く使用されている技術が私たちの社会の核心的価値観と互換性がない場合、彼らは遅かれ早かれ広範な破壊を引き起こすでしょう。彼らは、専制的な特徴を持つ自動化社会を生み出す可能性があります。最悪の場合、中央集権的な人工知能が私たちの知識と思考を制御し、私たちの行動様式をも制御することになります。私たちはこの歴史的な瞬間に立っており、正しい道を決定する時が来ています —— この道は私たちがこのデジタル革命の恩恵を受けることを可能にします。したがって、私たちは以下の基本原則を遵守することを促します：
- 情報システムの機能をさらに分散化すること；
- 情報自己決定と参加を支援すること；
- より良い信頼を得るために透明性を高めること；
- 情報の歪みや汚染を減少させること；
- ユーザーが制御できる情報フィルタリング技術を有効にすること；
- 社会的および経済的多様性を支援すること；
- 相互運用性を高め、協力の機会を改善すること；
- デジタルアシスタントや調整ツールを作成すること；
- 集団知恵を支援すること；
- デジタル認知教育と啓蒙を通じて、市民がデジタル世界で責任ある行動を取るよう促すこと。
このデジタル政策に従うことで、私たちは経済、政府、市民、その他すべての人々がこのデジタル革命の成果から利益を得ることができるでしょう。私たちは何を待っているのでしょうか？
デジタル時代への戦略#
ビッグデータと人工知能は間違いなく重要な革新です。個別化医療から持続可能な都市まで、彼らは経済的価値と社会的進歩を促進する巨大な潜在能力を持っています。しかし、これらの技術を使用して市民の能力を奪うことは完全に受け入れられません。ビッグナッジと市民信用スコアは、収集された個人データを中央集権的に悪用し、本質的に専制的な方法で行動制御を行います。これは人権や民主主義の原則と相容れないだけでなく、現代の革新的な社会を管理するためにも適用できません。この世界の真の問題を解決するためには、情報とリスク管理の分野でより良い方法を提案する必要があります。責任ある革新の研究分野や「Data for Humanity」イニシアティブは、ビッグデータと人工知能が社会の利益のためにどのように使用されるべきかについての指針を提供できます。
今、私たちは何をすべきでしょうか？まず、デジタル革命のこの時代において、市民の基本的権利は保護されるべきです。なぜなら、これらの基本的権利は現代の実行可能な民主社会の基本前提だからです。これは、信頼と協力に基づいて新しい社会契約を創造する必要があります。市民や顧客を障害物や利用可能な資源として扱うのではなく、彼らをパートナーとして扱うことです。そのためには、国家が適切な規制の枠組みを提供し、これらの技術が民主的な方法で設計され、使用されることを保証する必要があります。これは情報自己決定を保証しなければなりません。そして、それは理論的な保証だけでなく、実際に保証されなければなりません。なぜなら、これは私たちが自己決定し、責任を持って生活するための前提条件だからです。
私たちは、私たちの個人データから収集された情報のコピーを取得する権利を持つべきです。法律は、この情報が標準化された形式で自動的に個人データストレージに送信され、個人が自分のデータの使用状況を管理できるように規定すべきです（特定の AI ベースのデジタルアシスタントの支援を受ける可能性があります）。より良いプライバシーを確保し、差別を防ぐために、法律はデータの無許可使用に対して罰則を設ける必要があります。その後、個人は誰が自分の情報を使用できるか、どの目的で使用するか、どのくらいの期間使用するかを決定できる能力を持たなければなりません。さらに、データの保存と交換の安全性を確保するための適切な措置も講じる必要があります。
複数の指標を考慮した複雑で精緻な信用システムは、私たちの意思決定の質を向上させるのに役立つかもしれません。データフィルターや推薦、検索アルゴリズムがユーザーによって選択され、構成される場合、私たちは問題を異なる視点から検討でき、虚偽の情報による操作の影響を受けにくくなります。
さらに、私たちは市民に対して効果的な苦情手続きを提供し、規則違反に対して効果的な制裁を設ける必要があります。最後に、十分な透明性と信頼を確保するために、先進的な科学機関は現在民主的な制御を逃れているデータやアルゴリズムの受託者として機能するべきです。これは、少なくとも敏感なデータやアルゴリズムにアクセスする権限を持つ人々が遵守すべき適切な行動規範を要求します —— これは情報技術の専門家に対するヒポクラテスの誓いのようなものです。
さらに、私たちはデジタル社会の未来を築くためのデジタルアジェンダが必要です。毎年、私たちは農業や公共インフラ、学校や大学に数十億ドルを投資しています —— 産業やサービス業の利益のために。
したがって、デジタル社会が成功するために必要な公共システムは何でしょうか？第一に、全く新しい教育理念が必要です。標準化された労働者を育成するのではなく（これらの労働者の将来の任務はロボットやコンピュータアルゴリズムによって行われるでしょう）、批判的思考、創造性、革新性、起業精神を重視する必要があります。教育はまた、デジタル技術を責任を持って批判的に使用する方法を理解させるべきです。市民は、デジタル世界と物理的世界が相互に影響を与える方法を明確に理解する必要があります。市民が自分の権利を効果的かつ責任を持って行使できるようにするためには、これらの技術を理解し、どのように使用するのが適切かを知る必要があります。したがって、科学、産業、政治、教育機関は、これらの知識を広く提供する必要があります。
第二に、参加可能なプラットフォームが必要です。これにより、人々は自営業者になり、自分のプロジェクトを立ち上げ、パートナーを見つけ、世界中に製品やサービスを広め、資源を管理し、税金を納め、社会保障に貢献することが容易になります（すべての人が共有する経済の一形態です）。この分野でより良い結果を得るために、町や村は新興デジタルコミュニティセンターを設立し、新しいアイデアを無料で共同開発し、テストすることができます。これらのセンターで見つかるオープンで革新的なアプローチの推進により、大規模な協力的革新が促進されるでしょう。
特定のタイプの競技会は、革新に追加の動力を提供し、公共の認識を高め、参加型デジタル社会の発展を促進するのに役立ちます。これらは市民社会を動員するのに特に有用で、地元がグローバルな問題を解決するために貢献することを確保できます（例えば「気候オリンピック」の形式で）。例えば、希少資源を調整することを目的としたプラットフォームは、循環経済や共有経済の巨大な潜在能力を解放するのに役立ちますが、現在はその発展が限られています。
オープンデータ戦略へのコミットメントにより、政府や産業はますますデータを科学や公共の目的に提供し、私たちの世界の課題に対応するための効果的な情報と革新のエコシステムを創造する条件を整えます。これは、特定の国が環境に優しい技術を使用することを奨励するために税金を減免するのと同様に、減税を通じて奨励することができます。
第三に、市民が運営する「デジタル神経系」を構築することで、すべての人に新しい IoT（Internet of Things）の機会を開き、リアルタイムのデータ観測を提供します。私たちがより持続可能な方法で資源を使用し、気候変動の速度を遅らせたいのであれば、他の人や環境との相互作用の正の副作用と負の副作用を測定する必要があります。適切なフィードバックループを使用することで、システムは自己組織化の方法で影響を受け、必要な結果を実現することができます。
これを成功させるためには、さまざまなインセンティブと交換システムが必要であり、すべての経済、政治、社会の革新者に提供される必要があります。これにより、新しい市場が創出され、新たな繁栄の基盤が築かれます。多様な金融システム（例えば機能的に差別化された通貨）や革新発明に対する新しいルールを用いることで、デジタル経済のほぼ無限の潜在能力が解放されるでしょう。
私たちの未来の世界の複雑性と多様性により良く対処し、それを利点に変えるためには、個人デジタルアシスタントが必要です。これらのデジタルアシスタントは、人工知能の発展からも利益を得るでしょう。将来的には、必要に応じて人間の知恵と人工知能を組み合わせた多くのネットワークが柔軟に構築され、構成されることが予想されます。しかし、私たちが自分の生活を制御する権利を保持するためには、これらのネットワークを分散型の方法で制御する必要があります。特に、人々が必要に応じてログインしたりログアウトしたりできるようにすることが重要です。
民主プラットフォーム#
「文化のウィキペディア（Wikipedia of Cultures）」は、最終的に高度に多様化した世界のさまざまな活動を調整し、それらを相互に互換性のあるものにするのに役立つでしょう。これは、世界文化に内在する成功の原則を明らかにし、それらを新しい方法で結びつけることを可能にします。このような「文化ゲノムプロジェクト（Cultural Genome Project）」は、ある種の平和プロジェクトでもあります。なぜなら、社会文化の多様性の価値に対する公共の認識を高めるからです。グローバル企業はすでに、文化の多様性と多学際的なチームが同質的なチームよりも成功することを知っています。しかし、多くの人々の知識やアイデアを効果的に整理するには、集団知恵を生み出すためのフレームワークが必要であり、このフレームワークは多くの場所でまだ不足しています。これを変えるために、オンラインの議論プラットフォームを提供することが非常に有用です。これらは、デジタル民主主義を実現するために必要なフレームワークを創造し、市民により多くの参加機会を提供します。これは重要です。なぜなら、今日の世界が直面している多くの問題は、民間社会の貢献によってのみ管理できるからです。
中国に焦点を当てる：未来の社会はこのように見えるのか？#
行動や社会的制御は私たちの生活にどのように影響を与えるのでしょうか？現在中国で実施されている社会信用スコアは、私たちに一端を垣間見せてくれます。中国では、すべての市民が一つの次元のスコア指標で評価されています。彼らが行うすべてのことは、自分のスコアの増減に影響を与えます。この実践の目的は、大規模な監視だけではありません。このスコアは、個人のインターネット上のクリック状況や、彼らが政治的に正しい行動をしているかどうかに依存しており、このスコアは彼らの信用条件、特定の仕事の権利、旅行ビザを決定します。したがって、この社会信用スコアは行動と社会的制御に関わるものです。友人や知人の行動もこのスコアに影響を与え、家族の連帯責任の原則が適用されます：誰もが美徳の守護者であり、密告者となります；非正統的な考えを持つ人は孤立します。このような原則が民主国家で広く適用されるなら、国家政府であれ影響力のある企業であれ、これらのルールを設定することは最終的には重要ではありません —— どちらの場合でも、民主主義の柱は直接的な脅威にさらされることになります：
- すべてのデジタル痕跡を残す行動を追跡し、測定することは、市民を「裸」にし、彼らの人格の尊厳とプライバシーが徐々に侵食されることを意味します。
- 意思決定はもはや自由ではなく、政府や企業の視点からこのスコアシステムの基準を定義する誤った選択が負の結果をもたらします。原則として、個人の自主権は剥奪されます。
- どんな小さな間違いも罰せられ、誰もが疑われます。無罪推定の原則は廃止されます。予測的警察（Predictive Policing）は、まだ発生していない（単に予測されている）違反行為に対しても罰を科すことになります。
- アルゴリズムの基盤が完全に誤りなく機能することを保証できないため、公平と正義の原則は新しい形の恣意的な評価に取って代わられ、人々はそれに対して自分を弁護することがほとんどできなくなります。
- もし個人の目標が外部によって設定されるなら、個人の自己発展の可能性は排除され、民主的な多元性も消失します。
- 地域の文化や社会的規範は、適切で具体的な状況に依存する行動の基盤ではなくなります。
- 一次元の目標関数を使用して社会を制御することは、より多くの対立を引き起こし、社会の安全を損なうことになります。これは、私たちの金融システムで見られるように、深刻な不安定を引き起こすことが予想されます。
このような社会的制御は、自己責任を持つ市民を奴隷（underling）に変え、封建主義 2.0（Feudalism 2.0）へと導くことになります。これは民主主義の価値観とは正反対です。したがって、今こそ啓蒙 2.0（Enlightenment 2.0）の時代です。これはデジタル自己決定に基づき、民主主義 2.0（Democracy 2.0）を生み出すことになります。これは民主的な技術を必要とします：民主主義の原則と互換性のある情報システムです。さもなければ、それらは私たちの社会を破壊することになります。
拡張リーディング#
ACLU: オーウェル的市民スコア、中国の信用スコアシステムはアメリカ人への警告です，http://www.computerworld.com/article/2990203/security/aclu-orwellian-citizen-score-chinas-credit-score-system-is-a-warning-for-americans.html
ビッグデータ、ビッグブラザーに出会う：中国はデジタル全体主義国家を発明しました。その社会信用プロジェクトの懸念される影響。The Economist (2016 年 12 月 17 日)。
ハリス、S. 社会実験室、Foreign Policy (2014 年 7 月 29 日), http://foreignpolicy.com/2014/07/29/the-social-laboratory/
トン、V.J.C. 人々の思考と行動を予測する、International Innovation, http://www.internationalinnovation.com/predicting-how-people-think-and-behave/
ボロディミール、M.、カヴクチュオグル、K.、シルバー、D.、他：深層強化学習による人間レベルの制御。In: Nature, 518, S. 529-533, 2015。
フレイ、B. S. とガルス、J.：有益で搾取的なナッジ。In: Economic Analysis of Law in European Legal Scholarship. Springer, 2015。
ギガレンザー、G.： 自由主義的パターナリズムのための証拠について。In: Review of Philosophy and Psychology 6 (3), S. 361-383, 2015。
グラセッガー、H. とクロゲルス、M. 私はただ爆弾が存在することを示しただけです [I have only shown the bomb exists]. Das Magazin (2016 年 12 月 3 日) https://www.dasmagazin.ch/2016/12/03/ich-habe-nur-gezeigt-dass-es-die-bombe-gibt/
ハーフェン、E.、コスマン、D. とブランド、A.： 健康データ協同組合 — 市民の権限。In: Methods of Information in Medicine 53 (2), S. 82–86, 2014。
ヘルビング、D.： 社会の自動化は次だ：デジタル革命を生き延びる方法。CreateSpace, 2015。
ヘルビング、D.： 先を見越して — ビッグデータ、デジタル革命、参加型市場社会に関するエッセイ。Springer, 2015。
ヘルビング、D. とポウラナラス、E.： デジタル民主主義を構築する。In: Nature 527, S. 33-34, 2015。
ヴァン・デン・ホーヴェン、J.、ヴェルマース、P.E. とヴァン・デン・ポール、I.： 倫理、価値、技術設計のハンドブック。Springer, 2015。
ジカリ、R. とズウィッター、A.： 人類のためのデータ：オープンレター。フランクフルトビッグデータラボ、2015 年 7 月 13 日。ズウィッター、A.：ビッグデータ倫理。In: Big Data & Society 1 (2), 2014。