AI の内部: エクステンド

ルビー・リアニ XTEND の CTO 兼共同創設者です。 彼の UAS の経験は、イスラエル海軍のソフトウェア統合責任者および戦闘システム統合士官であり、イスラエルのドローン レース リーグの共同創設者であったことに基づいています。 彼はコンピュータ ソフトウェア エンジニアリングの学位を取得しています。

「これはイスラエルでのみ起こり得る話です」と、ルビ・リアニ氏は自身の会社 XTEND におけるマン・マシン・テクノロジーの融合の起源について語った。

2018年、非対称戦争が再び中東紛争を形作っていました。 ガザの武装勢力は焼夷風船の小隊をイスラエルに送り込み、アイアン・ドーム・ミサイルやその他の防衛手段に比べて実質的に何の費用もかからずに肉体的、精神的ダメージを与えていた。

当時少佐だったリアニは、イスラエル国防軍が賢人同士の対決を求めた人物の一人だった。 イスラエル海軍でソフトウェア エンジニアおよびシステム統合士官として 10 年以上勤務していた間、リアニは何よりもイスラエルのドローン レース リーグを共同設立しました。 そこでリアニ氏は、「私は非常に速いドローンを持っているので、プロペラのブレードの回転で風船を割れば、私の経験から非常に簡単に風船に命中させることができる」と考えました。

彼の「新しい仕事」にはイスラエルリーグの多くのメンバーが含まれていた。 「2,000個ほどの風船を撤去しました。趣味と義務を結びつける、人生で最もクレイジーな3か月でした。」 彼の情熱に従い、リアニはその年の7月に退役した。 「1か月後、会社ができました」と彼は語った。

フィールド内でのドローン経験を活かし、ドローン リーガー仲間のアビブ シャピラは、エンターテインメントの経歴を統合して、リアニの言う「XR (拡張現実) ゲーム マシン」をサポートしました。 「XTEND」という名前は、「人々を拡張し、どこか別の場所にいるように感じさせたい」というゲーマーの願望から来ているとリアニ氏は述べた。 「私たちはUXを解明するために多くの反復を行いました。基本的には、正確である必要がある非常に高速なドローンを制御する方法です。」

2023 年に早送りすると、Liani は XTEND の共同創設者兼 CTO の一人です (Shapira は CEO 兼共同創設者です)。 XTEND の核心は、AI と VR の利点を最大限に活用し、それらをロボットに接続して正確かつユビキタスなドローン操作を提供することに特化したソフトウェア ビジネスです。 これにとって重要なのは、XOS (XTEND のオペレーティング システム) が、飛行サイクル全体を通じて機械と人間の洞察を最大限に融合させることを目指している、と Liani 氏は述べました。 そのために、VR ディスプレイと自然ジェスチャ コントローラーを組み合わせて、環境を検出できる AI 対応レイヤーを介してマシンと対話することで、人間を蚊帳の外にしようとする傾向に対抗します。 その結果、没入型でありながら直観的な人間主導の自律機械システムが誕生しました。

リアニ氏は、完全な自律性はまだ現実的ではないと考えており、「XTENDテクノロジーにより、人間は自分自身を行動の中に拡張できるようになる」と述べた。 複数のドローンが時速 130 マイルの速度で突進し、オペレーターが敵の対策を超えた状態で現場を検査することができます。 同時に、兵士、警察、その他の戦術オペレーターは、遠隔地または現場にいても、VR ヘッドセットを使用してリアルタイムの状況認識を取得し、オペレーターを露出させることなく窓やドアを通り抜けたり、狭い空間を横切ってドローンを操縦したりできるとリアニ氏は感じています」彼らが個人的にそこにいるかのように。」 従来のスティックが不要なため、トレーニング時間が推定 90% 短縮されます。

XTEND は、米国国防総省からの複数のスマート マシンの 2021 年の発注を含め、20 件以上の契約を獲得しています。 今年1月、イスラエル国防省はXTENDに2000万ドルの契約を与えた。 イスラエル国防軍関係者は、「この新しいプログラムが作戦能力に大きな飛躍をもたらすと確信している」とし、「民間技術の最高のものを兵士の手に渡すことになる」と語った。

そして XTEND は、石油とガス、海事、インフラプロジェクトのリスクを軽減する幅広い非軍事分野に注目しています。 「検査官は現場にいる必要はない」とリアニ氏は語った。

この成功を支えているものを説明するために、リアニ氏はいくつかの中核となる運用指針を私たちに教えてくれました。

最先端のドローンUX:リアニ氏によると、ハードウェア、オペレーティング システム、アプリケーションは、電話からドローンに至るまでのシステムに共通する 3 つの要素です。 「一般に、オペレーティング システムは人間と機械の間の架け橋です。」

最小要件を超え、Android 上で実行される XTEND は、ハードウェアに依存せずに最大限に採用されます。 修正を加えることで、リアニ氏が「3 つの主要ロボット コンピューターである Raspberry Pi、NVIDIA Jetson、Qualcomm RB5」と呼ぶものをサポートし、サードパーティ製のものを含むさまざまな種類のドローン機能に準拠できるようになります。 「誰かが Qualcomm を望んでいて、もう 1 人が NVIDIA Jetson を望んでいる場合、同じオペレーティング システムを実行しているため、話し合うことができます。私たちはロボット業界のハードウェアのトレンドに従っており、確実に準拠していることを確認しています。」

没入型 VR 飛行: 「私たちは人間として、ドローンについてではなく、使命について話します」とリアニ氏は語った。 「私たちはロボット工学者と、『ドアを通過するようにマークします。とにかく実行してください』という観点から話を始めました。 右や左、上や下にどれだけ飛ぶかは言いたくないのですが、これは人間の話し方ではありません。私の息子は 1 歳ですが、キッチンに行きたいときは、ただ を指差します。台所。"

XOS に統合されたオペレーティング システムの「Mark & Fly」機能は、AI の効率と人間の洞察の融合をサポートします。 リアニ氏は、小型クアッドコプターが窓から建物に入り、隠れた敵対者を探し出し出すデモビデオでこれを説明した。 大量のデータをリアルタイムで処理することで、ドローンは独自に調査を開始し、興味のある物体や人物を表示します。 その後、オペレーターは自らの裁量でドローンにさらに探索するよう命令します。

「私たちは AI アプリケーションを採用し、たとえば窓などのオブジェクトを検出するためにいくつかの AR 要素を組み込み始めました」と Liani 氏は言います。 「システム上でアプリケーションを実行する場合、バウンディング ボックスは、ニューラル ネットワークが認識するものと、それをどのように表示できるかを橋渡しします。これは窓を検出した結果です。窓を通り抜けて飛行するのは、棒を使った複雑なミッションです。私たちのシステムを使用すると、 、ウィンドウにマークを付けてガイド モードに移動し、そこを飛行するだけです。非常に正確です。」

自然な手のジェスチャー: XOS は、状況の展開に応じて人間の制御にすぐに切り替えることができます。 「その体験は、人々が VR ヘッドセットを装着して操作し、この 3D ビデオを視聴しているということです。非常に没入型です。」とリアニ氏は言いました。

オペレータは、手を動かしたり、頭を動かしたりして、希望の方向に方向を指示できます。 「私たちのシステムは手のジェスチャーによって制御されており、Wii リモコンと同じ考え方です」とリアニ氏は語った。 「これはレーザーポインターのようなものです。あなたが指している場所が、ドローンが追従する道です。あなたはミッションをいくつかのタスクに分割しています。『窓を通り過ぎて廊下の端まで飛んで、これを拾って、これを落としてください』もの。' サードパーティ製アプリケーションを使用すると、窓、床、物体を検出できる AI アプリケーションを実行している場合、タスクの作成が簡単になるため、作業が促進されます。」

マンマシンチーミング: 「私たちはロボットを制御するさまざまな技術を使って、人間が非常に遠く離れたところにいることができるようにしています」とリアニ氏は語った。 3 つの要素により、XOS はこれを強化できます。

「遠くに行けば行くほど、待ち時間、通信の問題、別れ話など、より多くの問題が発生します」とリアニ氏は言う。 「Mark & Fly を使用すると、オペレーターは行きたい場所を指定するだけで、2D 要素を 3D に変換できます。これにより奥行きが追加され、遅延や中断があってもドローンがより洗練されたものになります。通信が回復するまで待機します。まだ操作できます。

多かれ少なかれ、2 番目のチーム化要素には、AI アプリケーションと人間の洞察を融合することが含まれます。 リアニ氏は、同社の研究室を飛行するドローンの別のビデオを流した。AIが開口部を検出し、マーク＆フライが継続的にマークを付け、「タスク＆フライ」が課題を実行しながら、人間が内部環境全体を飛行した。 ガイド モードでは、オペレーターの情報とアクションが画面に表示されます。

トライアドの 3 番目のレグでは、リアニは遠隔地でのインタラクティブな操作に切り替えました。 「人間をそこから 100 キロメートル離れた場所に連れて行きましょう。ドローンにこの廊下を飛行させ、真っ直ぐ左に飛んでもらいたいのです。レイテンシーがあるため、ドローンが実際に動作した後 3 秒後にビデオを見ることができます。タスク アンド フライでは、 3D ビデオを使用して空間に 3D ポイントを配置し、アプローチ、追跡、スキャンなどのタスクを実行する機能。シミュレーションを行いました。衛星リンク経由で制御しているため、ビデオが 5 秒遅れて表示されることを覚えておいてください。好きな場所を選択できます。ドローンの向きと方向を指定してクリックすると、ドローンは制御を取り戻すまでそれを実行します。3D 空間でリモート制御する非常に簡単な方法です。」

担当者は近くにいる場合もあれば、遠くにいる場合もあります。 「誰かがドローンをそこに置く必要があるが、現場にいる人は指揮センターに制御を任せることができる。彼にはテロリストの周りで行動する時間はない。もっと大きな問題に対処しなければならない。私たちは以下の能力を与えている。指揮と制御に座っている人々に制御を移し、エアコンがあり、すべてが落ち着いています。ポインティングおよびマーキングポイントが表示され、行きたい場所を選択でき、ドローンの位置と方向の推定が確認できます。 。

「3D 空間を飛行するライブ ドローンを、GPS なしで、どのような環境でも、世界中のどこからでも制御し、環境と対話し、開口部を検出できます。しかし、私たちはまた、ドローンを設置している人が、ミッションが失敗しないようにするために、必要に応じて緊密な境界線が制御を握ることができます。」

オンサイトとリモートの両方のオペレーターが VR ヘッドセットを利用できます。 「私は世界のどこにでもいることができますが、私のマシンは私のアバターです」とリアニ氏は語った。

すべての画像は XTEND の提供によるものです。