頭脳のない心?

人工知能の約束と危険
(Jezper / Alamyストックフォト)

多くの科学者の見解では、人工知能(AI)はその支持者の誇大宣伝に応えていません。安全な自動運転車はまだありません。近い将来、そうなる可能性はほとんどありません。また、私たちが余暇により多くの時間を費やすことができるように、ロボットが私たちの国内のすべての苦労を引き受けようとはしていません。明るい面では、ロボットが世界を乗っ取り、映画のように人間を奴隷に変えようとはしていません。

それにもかかわらず、AIがすでに私たちに与えている影響について懸念する本当の原因があります。ゲイリー・マルクス(GaryMarcus)とデイビス(ErnestDavis)が著書 『Rebooting AI: Building Artificial Intelligence We Can Trust』書いているように、「私たちが今持っているAIは単に信頼できない」。彼らの見解では、私たちが時期尚早に現在の機械システムに引き継ぐ権限が多ければ多いほど、私たちはもっと心配する必要があります。 「一部のグリッチは軽度です。たとえば、ランダムにくすくす笑うAlexa(または、私たちの1人に起こったように、真夜中に目を覚ます)や、「お誕生日おめでとう、親愛なるセオドア」の意味を「ハッピー」に自動修正するiPhoneなどです。誕生日、死んだセオドア」と彼らは書いている。 「しかし、偽のニュースや求職者に対する偏見を助長するアルゴリズムのような他のものは、深刻な問題になる可能性があります。」

マーカスとデイビスは、AI Now Instituteによるレポートを引用して、メディケイドの適格性の判断、刑期の判決、教師の評価など、さまざまな分野でのAIの問題について詳しく説明しています。

ウォール街でのフラッシュクラッシュは一時的な株式市場の落ち込みを引き起こし、恐ろしいプライバシー侵害がありました(Alexaが会話を録音し、所有者の連絡先リストにあるランダムな人に誤って送信したときなど)。そして複数の自動車事故、いくつかは致命的です。電力網でAIが原因で大きな誤動作が発生したとしても驚くことではありません。これが夏の暑さや冬の真っ只中に起こると、多くの人が死ぬ可能性があります。

コンピューター科学者のジャロン・ラニアーは、彼がかつて働いていたFacebookやGoogleなどのソーシャルメディアの巨人によって悪用されてきたAIの暗い側面を引用しています。ラニアー(Lanier)の見解では、AI主導のソーシャルメディアプラットフォームは、ロシアのハッカーがアメリカの有権者をドナルドトランプに向かわせるために偽のソーシャルメディアアカウントを作成した2016年と2020年の選挙ではっきりと示されているように、派閥主義とユーザー間の分裂を促進します。 Lanierが著書「今すぐソーシャルメディアのアカウントを削除するための10の議論」に書いているように、AI主導のソーシャルメディアは、ユーザーの注意を喚起し、プライバシーを侵害し、事実確認や精査されていないコンテンツで彼女を圧倒するように設計されています。実際、ラニアー(Lanier)は、「人々を嫌いな人に変える」ように設計されていると結論付けています。

ブルックリン大学の法学教授であり、連邦の寄稿者であるフランク・パスカルが著書「ブラックボックスソサエティ:お金と情報を管理する秘密のアルゴリズム」で指摘しているように、個人のプライバシーの喪失も憂慮すべきことです。そして、強力な企業、金融機関、および政府機関は、秘密保持契約、「独自の方法」、およびギャグルールの背後に彼らの行動を隠していますが、一般消費者の生活はますます彼らに開かれた本になっています。 「私たちがオンラインで行うことはすべて記録されます」とパスクアーレは書いています。

残っている唯一の質問は、誰がデータを利用できるか、そしてどのくらいの期間利用できるかということです。匿名化ソフトウェアはしばらくの間私たちを保護するかもしれませんが、隠そうとすることがそれ自体が用心深い当局にとって究極の危険信号ではないかどうか誰が知っていますか?監視カメラ、データブローカー、センサーネットワーク、および「スーパーCookie」は、運転速度、服用する錠剤、読んだ本、アクセスしたWebサイトを記録します。商取引の世界で秘密を積極的に保護している法律は、個人のプライバシーに関してはますます沈黙しています。

一方、Lanierが指摘しているように、これらの大手ハイテク企業は、何よりも優先することが多い贅沢なAI「競争」に公に取り組んでいます。ラニエは、このレースは非常識だと考えています。「AIは、政府機関からの助成金に依存していた頃、私たちがかつて資金を調達するのを支援するためにコンピューター科学者が作り上げた物語であることを忘れています。実用的な劇場でした。しかし今、AIはその作者を追い抜いたフィクションになっています。」

マーカスとデイビスの見解では、分野全体が、AIを常識にもっと敏感にすることにエネルギーを集中させる必要があります。これを行うには、マシンのプログラミング方法を完全に再考する必要があります。

 

「自分の意図を思いつき、それを因果推論の証拠として使用する能力は、私が知っている機械では達成できなかった自己認識のレベルです」と、主要なAIであるジューディアパールは書いています。キャリア全体を機械知能の研究に費やした提案者。 「私は機械を誘惑に導き、「いいえ」と言わせたいのです。」パールの見解では、現在のコンピューターは実際には人工知能を構成していません。それらは、真の人工知能につながる可能性があり、その可能性が高いものの基本レベルを構成するだけです。あなたの生活をはるかに楽にするアプリを持つことは、他の人間のようにあなたを推論して応答することができるマシンと会話することと同じではありません。

パールは、ダナ・マッケンジーと共同執筆した彼の著書「原因と結果の新しい科学」の中で、自分で考えることができる機械を製造するために満たす必要のある課題を示しています。現在のAIシステムは、人間よりも高速にデータの帯の規則性とパターンをスキャンできます。彼らはチャンピオンのチェスと囲碁のプレーヤーを倒すように教えることができます。科学の記事によると、ポーカーのマルチプレイヤーゲームで人間を打ち負かすことができるコンピューターがあります。しかし、これらはすべて狭く定義されたタスクです。彼らは自分で考えることによってパールが何を意味するかを必要としません。彼の見解では、データを使用するマシンは、データを「再生」する方法をまだ学習していません。自分で考えるには、因果関係のある質問に答えるためにデータをどのように利用するかを決定できる必要があります。さらに重要なことに、同じデータを異なる方法で使用する方法について、反事実的な質問をする方法を学ぶ必要があります。要するに、彼らはすべての3歳の子供に自然に来る質問をすることを学ぶ必要があるでしょう:「なぜ?」

「私にとって、強力なAIは、その行動を振り返り、過去の過ちから学ぶことができるマシンでなければなりません。 「私は違った行動をとるべきだった」という声明を、それが人間によって多くのことを言われたのか、それ自体がその結論に到達したのかを理解できるはずです。」パールは、彼が3レベルの「因果関係のはしご」と呼ぶものを中心にアプローチを構築します。その頂点に立つのは、真に因果関係のある言葉で考えることができる唯一の種である人間であり、反事実を主張します(「もし… ?」)。

しかし、その後、さらに疑問が生じます。そのような人工知能は、私たちのように意識しているのでしょうか。それとも、純粋に人間にサービスを提供するために存在する、より高度な形式の「スマート」マシンでしょうか。懐疑的な理由があります。哲学者のデイヴィッド・チ​​ャーマーズが2019年のニューヨークタイムズのインタビューでプラシャントラマクリシュナに語ったように、知性は必ずしも主観的な意識を意味するわけではありません。

インテリジェンスは、これらのシステムの行動能力の問題です。つまり、システムで何ができるか、入力が与えられた場合にどのような出力を生成できるかです。インテリジェンスに関して、中心的な質問は、いくつかの問題と目標を考えると、あなたはあなたの目的のために正しい手段を思い付くことができるかということです。できれば、それが知性の特徴です。意識は主観的な経験の問題です。あなたと私には知性がありますが、主観性もあります。私たちが経験を積むとき、それは内側に何かのように感じます。その主観性、つまり意識が私たちの生活を有意義なものにしているのです。それはまた、私たちに人間としての道徳的地位を与えるものでもあります。

チャーマーズの見解では、機械が意識を達成したことを証明しようとすることは容易ではありません。 たぶん、自分の意識状態を私に説明できるAIシステムは、「今、私は痛みを感じています。私はこの傷や幸福や悲しみの経験を持っています」はもっと重要です。おそらく最も重要なのは、その精神状態に戸惑いを感じることです。「私はシリコン回路の単なるコレクションであることを客観的に知っていますが、内部からはもっと多くのように感じます。

パールは、彼の側では、この哲学的な意識の問題に直接取り組んでいません。彼は、AIがその因果的思考において十分に強力である場合、それがChalmersの意味でも意識的ではないと信じる理由はないと考えているようです。多くの哲学者や神学者、そして他の多くのAI科学者は反対するでしょう。コンピューター科学者のアーニー・デービスは、意識が自発的にも緊急の行動としても起こらないと、電子メールで私に語った。

人間がその方向に向かうシステムを開発することは可能かもしれません。それは、彼らが悪意を持って強力になるという遠隔の可能性のためではなく、予測するのが難しいという理由だけで、賢明ではないでしょう…。映画「エクス・マキナ」のシナリオでは、悪意のあるロボットが彼女の監禁を逃れるために彼女の作成者を殺害しますが、意図的にそうしようとしない限り、非常にありそうにありません。(これも現在の技術をはるかに超えています。)

デイビスの見解では、はるかに可能性が高いのはAIであり、その動作は断続的に非常に奇妙で無意味に見えるため、ランダムに破壊されることがあります。現在、AIプログラムはツールとして機能しており、優れたツールとは自信を持ってできるツールです。

パールの仕事に興味をそそられるのは、強力なAIを達成するための道として彼がマークした因果的思考が、私たち自身の人間の意識がどのように進化したかについての忘れられない示唆をもたらす可能性です。イスラエルで観察力のあるユダヤ人として育てられたパールにとって、人類の進化のどこかで、人間は世界が事実(データ)だけでなく、因果関係のネットワークで構成されていることに気づきました。実際、事実ではなく、これらの因果関係の説明が人間の知識の大部分を構成しています。最後に、パールの見解では、生データの動物処理者から説明の作成者への移行は段階的ではありませんでした。プッシュが必要な飛躍でした。

パールにとって、創世記におけるアダムとイブの物語と彼らの罰は、因果的に考える私たちのユニークな能力の出現を表しています。「しかし、創世記の物語を振り付けた著者は、彼の時代の最も差し迫った哲学的な質問に答えるのに苦労していることを私たちは知っていました。私たちは同様に、この物語が、ホモ・サピエンスが私たちの惑星を支配するようになった実際のプロセスの文化的足跡を持っているのではないかと疑っていました。では、このスピーディーで超進化的なプロセスの一連のステップは何でしたか?」パールは、それが因果関係のはしごを介して急速に上昇したと信じています:観察から介入、因果関係の思考まで

聖書には、真珠のはしごの一番上の段について何か教えてくれるかもしれません。それは、反事実を主張する必要性と能力です。アダムとイブの物語の悲劇的な側面は、キリスト教の堕落と原罪の教義で解釈されているように、大きな反事実です。アダムとイブがいなかったら、私たちはどれほど良くなるでしょう。罪を犯した?秋がない世界はどうなるでしょうか?それは、トマス・アクィナスを含む、教父とその後の神学者の数人以上を夢中にさせた質問です。私たちは、動物が家族の死に対して悲しみと喪失を感じることを知っています。私たちは彼らが否定を経験していることを知っています。 (死後数日間、赤ちゃんの死体を背負っているメスのチンパンジーと、死んだ子牛に対して同じことをしているシャチのクジラを観察しました)。しかし、彼らが物事がどのように異なっていたのかについて陰謀を企てたという証拠はありません。 「この道の代わりにその道を進んだら、どうして悲しみを避けられたのだろうか」と自問する自己認識を持っているのは人間だけです。パールは、いつの日か、自分たちも考え直して後悔できるような自己認識のある機械を作ることができると考えていますが、すぐにはそうなるとは思っていません。

 

しかし、理性のある強力なAIが、私たちが自分自身であると考える方法で意識することを誰もが確信しているわけではありません。デイヴィッド・チ​​ャーマーズのように、AIスペシャリストのスーザンシュナイダーArtificialYouの著者は、知的な行動と脳が生み出す意識の種類を区別します。シュナイダーはラトガース大学で哲学の博士号を取得しており、プリンストン大学の神学調査センターのフェローでした。彼女は現在、フロリダアトランティック大学で心の未来のためのセンターを運営しており、そこで彼女と彼女の同僚はロボットラボを構築しています。 「私たちは意識と知性を区別する必要があると思います。原則として、意識のない高度にインテリジェントなマシンを作成することができました」と彼女は電話で私に話しました。 「人間の脳について考えてください。脳の活動の多くは無意識の計算です。私たちは、洗練された精神的処理が意識なしで起こり得ることを知っています。また、AIの開発から、機械学習にも印象的な開発があり、より一般的な形式のインテリジェンスに移行していることがわかります。そして、これらのアルゴリズムは、脳が行っていることとまったく同じではありません。」シュナイダーは、例としてコンピューターの囲碁チャンピオンに言及しています。 「そのアルゴリズムは、私たちのようにゲームを処理しません。ですから、私は機械が意識しているとはまったく思いません。私たちはその区別に敏感である必要があります。」

シュナイダー氏によると、これまで、知性と意識の違いをそれほど意識する必要はありませんでした。「知性を見る生物学の分野では、意識を見るからです」。しかし、AIの台頭に伴い、その区別を明確に維持する必要があります。コンピューターがインテリジェントに動作できるという事実は、コンピューターが主観的な体験ができることを示すものではありません。 AI業界は、「かわいいAI」、つまり猫や犬、または私たちのように見えるロボットを提供することで、コンピューターの動作と脳の動作の基本的な違いを曖昧にすることがよくあります。ロボットが顔のように見えるとき、つまり笑顔で私たちの目を見ることができるとき、私たちが自分のような経験をしていると想像するのははるかに簡単になります。しかし、それは予測であり、ロボットの実際の動作からの合理的な推論ではありません。シュナイダーは、機械が実際の意識を獲得できるかどうかという問題に関しては、様子見の立場を採用していると私に語った。

イギリスの作家スーザンブラックモアは、彼らができることに疑いの余地はありません。実際、彼女は彼らが少なくともある程度はすでに持っていると信じています。ブラックモアは、若い女性としての彼女自身の体外離脱(OBE)の原因を調査し、理解しようとすることから、心理学と意識の研究のキャリアを開始しました。彼女は最近の著書「SeeingMyself:体外離脱の経験が生、死、心について教えてくれること」でこれについて詳しく書いています。。 OBEを報告した他の人の経験と現象の科学的調査をレビューした彼女の長年の経験から、彼女は、死後の心の生存の信頼できる証拠を構成するものはないと結論付けました。彼女は、私たちが伝統的に考えてきた意識は幻想であると信じるようになりました。これは、意識が本物ではないということではなく、それが独立した存在を持つ重要でない実体または本質ではないことを意味します。意識の存在は、無形の魂の存在を必要としません。そして、これが事実であるならば、ブラックモアは主張します、そして、機械も意識することができないと信じる理由はありません。

「私は理由がないと思わない私たちがスカイプ経由で話した時に強力なAIを期待するには、」ブラックモアは私に言いました。しかし、強力なAIとそれがどのように発展するかについての彼女の考えは、パールの考えとは大きく異なります。ブラックモアの見解では、AIは完全に人間の作品であるという概念に与えられた信憑性が多すぎます。 「ほとんどの人は、「私たちは人工知能を作り、それをある種の機械に入れる」というこの考えに集中しているようです。まあ、多分。そうでないかもしれない。私が本当に興味を持っているのは、それ自体のために、すでに独自の方法で進化している人工知能です。

ブラックモアは「ミーム理論」の支持者です。人間の概念、行動、文化的人工物、宗教的儀式は、ダーウィンの進化の中で遺伝子が行うのとほぼ同じ方法で、時間の経過とともに人間社会の間で生き残り、伝播し、進化するという考えです。遺伝子のように、それらは複製、変化、そして選択の単純なプロセスによって成功します。ブラックモアによれば、マシンは現在、独自の種類のミームを世界規模で共有していることがわかります。確かに、彼女はAIミーム(または彼女が呼ぶところの「トレム」)生命の歴史の3番目のレプリケーターと見なしています。レプリケーターが登場しました。

「これにはインターネットミームが含まれます」と彼女は言いました。「そしてそれは私たちの知らないうちに処理されているすべての情報を含みます。つまり、インターネットミームは、私たちが選択を行い、変化を行うため、一種の中間的な例です。」しかし、「tremes」では、複製のほとんどはマシン自体によって実行されます。 「コピー、変更、選択の3つのプロセスが必要です。それが基本的なダーウィニズムです。ですから、私の頭に浮かぶ質問は、これら3つのことのうちどれだけがすでに行われているのかということです。人間の介入なしで行われたのですか?」コピーはかなり明白です。「スタッフはすぐにクラウド全体にコピーされます。このチャットのコピーはしばらくの間続きます。そして私たちのメール、複数のコピー。」次に、バリエーションがあります。ブラックモアは、これは現在、人間による監視や監視がほとんどない機械によって行われていると主張しています。 「自動化された学生のエッセイのようなもの—人工的なジャーナリズムのようなもの。これらのプログラムの負荷と負荷は、人間が書いたものと見分けがつかないことが多い新聞記事を作成するためのアルゴリズムとして開発されました。」最後に、選択があります。そして、これもマシンによって行われています(Googleを考えてみてください)。 「検索エンジンは、クエリに応じて特定の人に何を提供するかを選択します。」

ブラックモアは、もしそれが今起こっているのなら、「私たちの知性を生み出したのと同じようなことが起こっているのです。より一般的になりたい場合、それは非常に多くの異なるアルゴリズムまたは異なるプロセスであり、進化的プロセスであるという性質により、すべてが互いに相互作用し、互いにフィードし、ますます複雑になり、ますます相互接続されます。私の考えでは、人工知能がどのように現れているかです。」

ある時点で、彼女はこれが私たちの助けなしに強力なAIに進化すると考えており、一度進化すると、機械の意識が人間の意識に匹敵する可能性があると考えています。 「それは多くの点で深く神秘的ですが、それほどではありませんが、私は言うでしょう。しかし、私には疑問の余地はありませんが、それは私たちが持っている種類の脳と体、そして私たちが持っている種類の社会的交流を生み出す進化によってもたらされます。私たちのような意識を得るには、脳、体、そして他の人々も必要です。機械もそうしています。そして、彼らは進化しています。それは進化のもう一つの層です。」ブラックモアの立場は、生物学と技術の間に不浸透性の境界がないことを示唆しています。どちらも同じ基本的な自然法則の対象です。

 

A Secret History of Christianity: Jesus, The Last Inkling, And The Evolution Of Consciousnessの著者であり、訓練を受けた心理学者であり、英国国教会の神学者でもあるマーク・バーノン(Mark Vernon)は、AIが意味のある意味で意識を達成できるとは確信していません。彼が電子メールで私に言ったように:

おそらく、尋ねるのに良い質問は、生きていることは何ですか?アリストテレスからアクィナスまでの古典的な答えは、次のように言うことです。それは、動きがあらゆる種類の活動を意味する、内部からの動きの原則を持つことです。したがって、植物には、アリストテレスが植物の魂と呼んだ運動の内部原理が1つあります。動物には別のものがあります。なぜなら、彼らの動きには自発性の要素、動物の魂もあるからです。そして、人間はまた別の動物を持っています-おそらく他のいくつかの動物と一緒に-私たちが運動の原理に理性や自己認識などを加えることができるので、一緒に集まったものは身体内の運動の原理として人間の魂と呼ぶことができます。


ヴァーノンは、人工知能が自己運動する可能性があるとは考えていません。 「生物が持っているという意味での自己運動は、生物全体が行うことであり、これは、生物全体が、生物を構成する部分と「プログラム」の前に来ることを意味します」と彼は言いました。 「それが、部品から生物を作ることができない理由です(ただし、生物の特定の部分を置き換えることはできるかもしれません)。生物の部分は、それ自体の自律的な性格を持つことによってではなく、全体の一部であるという理由で常に存在します。」

人間の意識は、進化によって発達した体に依存しています。私たちと同じように意識するAIを作りたいのなら、進化論が私たちを構築したような方法でそれを構築する必要がありますか?シュナイダーは、センターフォーザフューチャーマインドの彼女の新しいラボは、実際には長期プロジェクトの1つとしてこのアプローチに取り組んでいると私に言いました。シアトルのアレン脳科学研究所の主任神経科学者であるクリストフ・コッホも、このアリストテレスの具体化へのアプローチを高く評価しています。 AIシステムが実際に意識することができ、実際に意識するようになるという彼の自信は、神経科学者で精神科医のジュリオ・トノーニによって最初に提案された統合情報の定量的理論に基づいています。これは、アリストテレスの形式的な因果関係の概念を利用した理論です。

しかし、コッホの見解では、意識の可能性は特定の物質的な基質に結び付けられる必要はありません。「脳」は生物学的またはシリコンである可能性があります。意識の出現は、その部分が(この場合はギリシャ文字のΦによって)定量化できる程度に因果的に相互作用し、定義上既約であるシステムに依存します。コッホは、この理論が「特定の種類の高度に組織化された物質、特に脳が意識できる理由を説明する方法を提供していると考えています。統合情報理論は… 2つの基本的な公理から始まり、世界の驚異的な説明に進みます。それは単なる投機的な哲学ではなく、具体的な神経生物学的洞察につながり、動物、赤ちゃん、眠る人、患者​​の意識の程度を評価できる意識メーターの構築につながります。と自分の経験について話すことができない他の人。」

コッホは彼の最近の著書「人生そのものの感覚:なぜ意識は広まっているが計算できないのか」でこの考えを拡張しています。そこで彼は、そのような統合情報の理論は、アリストテレスがラテン語のインフォーマルに由来する形式的な因果関係を使用して、形や形を与えることを反映していると主張している。 「統合された情報は、原因と結果の構造、つまりフォームを生み出します。統合された情報は、因果的、本質的、および定性的です。システムのメカニズムと現在の状態がシステムの過去と未来をどのように形成するかに基づいて、システムの内部の観点から評価されます。システムが過去と未来の状態をどのように制約するかによって、体験が紺碧の青のように感じるのか、濡れた犬の匂いのように感じるのかが決まります。」

マックス・テグマークは、情報統合理論(IIT)の提唱者でもあります。彼の著書LIFE3.0──人工知能時代に人間であるということ、彼は次のように書いています。

私は何十年もの間、意識は特定の複雑な方法で処理されたときに情報が感じる方法であると主張してきました。IITはこれに同意し、私の漠然としたフレーズ「特定の複雑な方法」を正確な定義に置き換えます。情報処理を統合する必要があります。つまり、Φを大きくする必要があります。これに対するジュリオの議論は単純であると同時に強力です。意識システムは統一された全体に統合される必要があります。なぜなら、それが2つの独立した部分で構成されている場合、それらは1つではなく2つの別個の意識エンティティのように感じるからです。言い換えれば、脳やコンピューターの意識的な部分が残りの部分と通信できない場合、残りの部分はその主観的な経験の一部になることはできません。

誰もがこの理論に同意するわけではなく、機械の意識についての議論を始めるのに有益な場所だと考えているわけでもありません。しかし、コッホとテグマークが正しければ、つまり十分に複雑な機械が知性だけでなく意識も発達させることができれば、機械も苦しむことができ、その苦しみはその作成者が責任を負うことになります。シュナイダーは、本質的に神を演じることで、意識的な機械の心を作り出す方法を私たちが知っていると考えることは傲慢の高さであると信じています。痛みを感じる機械を作ったら、権利はあるのでしょうか? AIを意識することができないと仮定すると、AIを私たちのサービスの単なるツールと考える方が簡単かもしれません。奴隷ではないにても、意識的な道具とは何ですか? 「私たちはディストピアの可能性に敏感でなければなりません」とシュナイダーは警告します。

私たちがまもなく自分の生活空間を自己感覚のある機械と共有するようになるとしたら、それは人類の未来にとって何を意味するのでしょうか。ジューディア・パールの夢が実現し、誘惑に抵抗したり、それに屈したりできる機械を設計できるとしたらどうでしょうか。この種の強力なAIが遅かれ早かれ来るかどうかにかかわらず、すでに明らかなことは、神経科学における私たち自身の人間の知性の研究と並行して、機械の知性の追求にはある程度の注意と形而上学的な謙虚さが必要であることです。「私たちは、他の形の知性を生み出す可能性に非常に謙虚にならなければなりません」とシュナイダーは言いました。「そして、私たちがまだ人間の意識さえよく理解していないので、それらの形の知性が意識する可能性に特に謙虚になりました。」

ミームが3番目のレプリケーターにどのように上昇したか

Pocket
LINEで送る

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA