在充滿未來科技的電影中，這個界面是非常令人難忘的，也是電影史上被引用最多的界面之一。 （有一個快速但不是很科學的測試方法，在谷歌中輸入［科幻電影名稱＋界面］，比較搜索結果。我們發現包含［關鍵報告］的結果有）459000個，是第二名［星際迷航］的6倍還要多（68800個）。
客觀說，在外行看來關鍵報告界面就是手勢界面的代名詞。但該電影製片人的顧問John Underkoffler(約翰-昂德科夫勒，麻省理工學院科學家，譯者註)甚至在為電影做顧問之前就已經通過他的公司（Oblong）開發了了手勢操作界面。此界面在現實世界中版本是一個通用的多用戶協作平台。他的公司幾乎可以讓電影中的場景在真實世界中實現商業化。
文中提到《關鍵報告》，兩點是值得注意的：
一，好的演示可以掩蓋很多缺點
好萊塢傳聞，湯姆·克魯斯（關鍵報告中安德頓的扮演者）在拍攝使用該界面的鏡頭時需要經常休息，因為這個界面非常難用。看影片時不難發現使用該界面要伸出手，但很少有人可以長時間把手臂舉的和胸部齊平並隨意移動。當然，湯姆·克魯斯休息的鏡頭不會在電影中出現——這些刪掉的鏡頭會誤導那些想在現實生活中使用這種界面完成工作的人（會讓人誤以為很好用，其實並非如此）。
儘管電影沒想詳盡介紹這個界面，也不是需要像急著出售此技術一樣做全面演示，但我們應該明白，在現實中演示已有技術時也有同樣的問題。演示界面的可用性（以及上述例子中的手勢語言）算然在賣出方案時是一種很有效的工具，但我們不得不承認這種演示可能是一種誤導信息。因為你不會把所有的使用細節都放在演示中。
二，手勢界面要理解操作者的意圖
啟示來自於這樣一組鏡頭：Danny Witwer走進Anderton的工作室，自我介紹的時候向Anderton伸出手（和他握手）。出於禮貌，Anderton也伸出自己的手。這時，電腦感應到Anderton手部動作的變化，並誤以為是Anderton的命令，差點將Anderton的工作內容移出界面（等於丟失）。 Anderton不得不放棄握手，轉而操作界面，繼續剛才的工作。
手勢操作界面中存在的最主要問題之一是用戶的身體就是界面的控制機制，但用戶只在某些時候才有主動操作界面的意圖。在其他時候，用戶可能只是想和別人握手，接電話或者撓痒癢。系統應該包含不同的模式：什麼時候用戶的手勢有含義，什麼時候沒有。這可能和平常的開關一樣簡單，但用戶仍然需要觸及到開關才能完成操作（去按開關同樣會有動作，此動作也可能引起誤操作，譯者註）。暫停命令可能會對此有所幫助，或者用帶有此命令的特殊手勢也行。再或者讓系統檢測用戶的視線，只有當用戶的視線在屏幕上時才響應用戶的手勢。不管用什麼解決辦法，切換命令最好和控制機制在“不同頻道”上，只有這樣模式切換才能平滑並且快捷，而且不用擔心發出錯誤指令。
【手勢操作還是一種不成熟的概念】
其他手勢操作界面呢？我們觀察它們的時候可以得到什麼？在此調查中還有很多手勢操作界面的例子，最早可以追溯到1951年，但在1998年之後才井噴式發展出現。
圖片中，我們通過科幻電影看到了一種規則還不成熟的輸入技術。（input technology）圖中每個界面都差不很大，只有少數核心的地方保持一致。當然，這些系統用於各種不同的場合，包括安全、遠程手術、遠程打擊、硬件設計、軍事情報工作、甚至外包體力勞動。大部分手勢操作設備只提供給用戶一個可交互的界面（看不到其他硬件），但在《少數者報告》中需要用戶帶上一種指尖發光的手套，如上給蟲蛹做遠程手術的圖片。我們可以想像成這是對可視方面的需求，這種方式確實方便電腦追踪手指的確切位置。好萊塢的“洋涇浜”（pidgin，形容好萊塢有很多表現手勢操作界面的方式，譯者註）在調查中儘管沒有對一連串複雜手勢命令中每個手勢所代表的含義做出解釋，但我們可以從觸發操作的原因以及得到的結果上拼湊出一套基礎手勢詞彙。
我們發現有七種通用的手勢：
1、WAVE手勢
激活第一種手勢是擺動手臂以激活設備，就像把它叫醒或引起它的注意一樣。如電影《地球停轉日》（The Day the Earth Stood Still）中，Klaatu用手劃過半透明的控制面板來激活飛船操作界面。還有《捍衛機密》（Johnny Mnemonic）中主人公在浴室中揮手打開水龍頭，如今這已成為現實。
2、PUSH手勢
表示移動移動物體的手勢基本上和現實中移動物體的方法一樣：用手指操作，手掌和手臂推動。移動虛擬物品時往往具有和他們現實世界中對應的物品一樣的阻力和剛性。
虛擬重力和動量會在手勢進行中出現，即使按理說虛擬物品不應該有這些性質。我們可以看到《少數者報告》中Anderton是這麼做的，而且《鋼鐵俠2》中Tony在移動他父親的主題公園設計方案投影是也是如此。
虛擬重力和動量會在手勢進行中出現，即使按理說虛擬物品不應該有這些性質。我們可以看到《少數者報告》中Anderton是這麼做的，而且《鋼鐵俠2》中Tony在移動他父親的主題公園設計方案投影是也是如此。
3、TURN手勢
表示旋轉在虛擬界面中旋轉物體和在現實世界中旋轉物體有些類似。雙手拿住物體的不同邊，沿著軸線向順時針或逆時針方向移動，虛擬物品就會旋轉。美劇《螢火蟲》中Simon Tam博士用這樣的手勢來控制界面檢測他妹妹的大腦。
4、SWIPE手勢
表示關閉關閉一個項目的手勢一般是揮出手臂，力道和方向都不重要。在《捍衛機密中》Takahashi生氣的反手甩出手臂來關閉桌子上的可視電話。《鋼鐵俠2》中Tony用正手揮動手臂來關閉不感興趣的設計。
5、POINT或TOUCH手勢
表示選擇用指尖點擊或觸摸來指定選項或選擇工作對象。電影《第九區》中外星人Christopher Johnson觸摸立體顯示設備中的選項來選擇目標。電影《天神下凡》裡Brügen博士在做遠程手術的時候，通過界面觸摸器官來確定手術位置。
6、EXTEND THE HAND手勢(探出手臂)
代表射擊要是小時候玩過牛仔與印第安人，你一定能認出這個手勢。在一個手勢操作界面之前，探出手臂（手指或者手掌）指向目標就能完成射擊。同樣的手勢出現在電影《迷失太空》裡面主人公Will的遠程打擊控制界面上。還有《超人中動員》中Syndrome的零點能量束。以及鋼鐵俠中也有類似的畫面。
7、PINCH和SPREAD手勢
表示縮放這一手勢在現實世界中沒有物理模型，電影中這種手勢的一致性來自於物理語義：拿住物體的兩邊，把手向外分開就可以讓一個物體變大。同樣，手指向內收縮或手臂向內併攏就可以讓物體變小。 《鋼鐵俠2》中Tony在檢測分子模型的時候就是用的這一手勢。雖然還有其他的手勢，但在此次調查中我們沒有發現和如上手勢一樣通用的模式。但我相信隨著現實中技術的成熟和科幻小說（電影）的發展，手勢操作的模式也會隨之變化。越來越多手勢操作的例子會讓整個手勢體系更加完善。
注意：偏離手勢操作規範時要謹慎。
上面所說的7中手勢已經得到了認可，因為它們在不同的電影中都能直觀的展示所表達的含義，這已經獲得電影製片人的共識。當然也有可能製片人從別的地方看到這種控制方式後加入到自己的電影中。如果一個手勢的含義已經很明確了，作為設計師要想在此基礎上做變化會有迷惑用戶的風險，因此只有在理由非常充分的時候才能謹慎做出改變。
舉個例子，在“非直接操作”的界面上滾動一個長文本，如在Mac OS中，用戶需要握住鼠標控制光標，將光標移動到滾動按鈕上，然後點擊鼠標才能完成滾動操作。 （作者為了突出“非直接操作”需要通過中間輸入設備完成而故意說的比較麻煩，譯者註）這麼長的描述看起來挺傻的，因為這一系列動作發生在很短的時間內，用戶幾乎已經把這種方式當做約定俗成的，甚至已經不記得最初接觸電腦時他們要依次學習每個步驟。但不得不說這種約定俗成的操作中，每一步都要額外的工作量。
但在一個“直接操作”的界面上完成同樣的任務，如ipad，用戶只要把手指放在頁面上，然後上下拖動就可以了。此處沒有鼠標、沒有光標、沒有滾動按鈕的參與。總之，用手勢完成滾動操作可以減少物理負擔和認知負擔。但由於直接操作需要復雜而且昂貴的技術支持，所以直到最近幾年才得到廣泛的應用。
在科幻電影中手勢操作界面和直接操作策略是緊密結合在一起的。也就是說很少看見手勢操作界面不是直接操作的。
Tony Stark想移動他父親所設計公園的三維投影，於是他把手放在投影下方，把它托起來移動到實驗室的新位置。 《螢火蟲》中Tam博士想旋轉她妹妹大腦的投影，於是他用手握住“面板”，就像旋轉真實物體一樣控制它。 《少數者報告》中有一個例外，但完全能夠理解，Anderton操作的對像是視頻片段，而視頻是一種更加抽象的媒介。
手勢操作界面和直接控制策略不是既定的耦合。概念上來說，完全可以用手勢操作WIN7系統，但WIN7系統並不是直接控制的界面。手勢操作既可以減少物理方面的中間媒介，又可以減少虛擬方面的中間媒介，所以，手勢一般都是直接操作的。但這種耦合併不能滿足所有用戶的需求。
如我們上面所講到的，直接操作所用的手勢需要現實世界中有對應的動作習慣。但操作虛擬物時，我們不只想移動、縮放、旋轉它們，除此之外還有其他比較抽象的操作嗎？
正如我們所期待的，這也是手勢操作界面應該考慮的方向。通過定義手勢含義來規定抽像操作的手勢，在現實世界中沒有簡單的對應物，並不能得到人們的認可，因此，還需要更多的解決方案。如調查中所示，一種解決方案是按上面附加一層圖形用戶界面。例如，當Anderton不斷回放視頻片段來幫助他理解所看到的內容時，以及Tony把一部分設計方案拖進垃圾桶時，這些操作都是通過手勢完成的，但不是直接操作的。
但在一大堆GUI工具中調用和選擇工具是非常麻煩的，甚至會造成想使用DOS系統一樣的記憶負擔。如果處於解釋抽像操作的需求，我們可以推斷出在手勢操作功能齊全的界面中會佈滿GUI圖形，並不像科幻電影中喜歡展示的干淨整潔，鬆弛有度的效果一樣。在調查中我們發現還有另外一種解決方案：使用聲音。
在鋼鐵俠中Tony對電腦說：JARVIS，你可以幫我建一個數字線框嗎？我需要可以可以操作的投影。收到命令JARVIS立刻開始工作。這樣一個命令如果用手勢操作完成可能要復雜很多。語言在處理抽象命令時很有效，人類也更善於應用語言。所以語言是一個不錯的選擇。
多途徑都可以考慮：GUI、手指位置和組合、表情、呼吸、凝視和眨眼，甚至是腦電波都可以考慮。所有這些途徑理論上都是可行的，但都無法取代語言在處理抽象信息方面的優勢。
注意：用手勢控制簡單、自然的的任務；用語言控制抽象的任務。
手勢操作界面在完成自然的任務時很快捷，但如果需要進行一系列操作，手勢很麻煩、效率比較低或者很難記住時候手勢操作就不適合了。當具體操作和抽像操作並行的時候，設計師應該提供可選的操作方式，比較理想的就是語言輸入。
手勢操作界面非常有前景，而且符合遠程交互的理念，隨著遠程技術的發展，遠程交互已經和現實世界越來越密切。所以拋開局限性不說，我們期望科幻電影製片人繼續在他們的電影中使用手勢操作界面，這樣可以促進這些技術在現實世界中的應用和發展。
機遇：完善手勢體系。
在現實世界中有很多電影裡從未提到的控制方式，而且他們都有相應的自然手勢。聲音控制就是其中一種。用手塞住或者摀住耳朵是降低音量的自然手勢。但在科幻電影中很少有需要控制音量的場景，所以控制音量的手勢還沒有和上面提到的其他幾種手勢一樣形成規範。換句話說，第一個定義出控制音量的手勢操作界面將有機為充實手勢詞彙做出貢獻。注意：偏離手勢操作規範時要謹慎。
上面所說的7中手勢已經得到了認可，因為它們在不同的電影中都能直觀的展示所表達的含義，這已經獲得電影製片人的共識。當然也有可能製片人從別的地方看到這種控制方式後加入到自己的電影中。如果一個手勢的含義已經很明確了，作為設計師要想在此基礎上做變化會有迷惑用戶的風險，因此只有在理由非常充分的時候才能謹慎做出改變。
直接操作
要注意上述7個手勢都是來自於和實物交互的經驗。這就引發了關於直接操作的討論。界面的直接操作意味著用戶不通過中間輸入設備或其他屏幕控制方式直接和和要控制的物體交互。舉個例子，在“非直接操作”的界面上滾動一個長文本，如在Mac OS中，用戶需要握住鼠標控制光標，將光標移動到滾動按鈕上，然後點擊鼠標才能完成滾動操作。 （作者為了突出“非直接操作”需要通過中間輸入設備完成而故意說的比較麻煩，譯者註）這麼長的描述看起來挺傻的，因為這一系列動作發生在很短的時間內，用戶幾乎已經把這種方式當做約定俗成的，甚至已經不記得最初接觸電腦時他們要依次學習每個步驟。但不得不說這種約定俗成的操作中，每一步都要額外的工作量。
但在一個“直接操作”的界面上完成同樣的任務，如ipad，用戶只要把手指放在頁面上，然後上下拖動就可以了。此處沒有鼠標、沒有光標、沒有滾動按鈕的參與。總之，用手勢完成滾動操作可以減少物理負擔和認知負擔。但由於直接操作需要復雜而且昂貴的技術支持，所以直到最近幾年才得到廣泛的應用。
在科幻電影中手勢操作界面和直接操作策略是緊密結合在一起的。也就是說很少看見手勢操作界面不是直接操作的。
Tony Stark想移動他父親所設計公園的三維投影，於是他把手放在投影下方，把它托起來移動到實驗室的新位置。 《螢火蟲》中Tam博士想旋轉她妹妹大腦的投影，於是他用手握住“面板”，就像旋轉真實物體一樣控制它。 《少數者報告》中有一個例外，但完全能夠理解，Anderton操作的對像是視頻片段，而視頻是一種更加抽象的媒介。
手勢操作界面和直接控制策略不是既定的耦合。概念上來說，完全可以用手勢操作WIN7系統，但WIN7系統並不是直接控制的界面。手勢操作既可以減少物理方面的中間媒介，又可以減少虛擬方面的中間媒介，所以，手勢一般都是直接操作的。但這種耦合併不能滿足所有用戶的需求。
如我們上面所講到的，直接操作所用的手勢需要現實世界中有對應的動作習慣。但操作虛擬物時，我們不只想移動、縮放、旋轉它們，除此之外還有其他比較抽象的操作嗎？
正如我們所期待的，這也是手勢操作界面應該考慮的方向。通過定義手勢含義來規定抽像操作的手勢，在現實世界中沒有簡單的對應物，並不能得到人們的認可，因此，還需要更多的解決方案。如調查中所示，一種解決方案是按上面附加一層圖形用戶界面。例如，當Anderton不斷回放視頻片段來幫助他理解所看到的內容時，以及Tony把一部分設計方案拖進垃圾桶時，這些操作都是通過手勢完成的，但不是直接操作的。
但在一大堆GUI工具中調用和選擇工具是非常麻煩的，甚至會造成想使用DOS系統一樣的記憶負擔。如果處於解釋抽像操作的需求，我們可以推斷出在手勢操作功能齊全的界面中會佈滿GUI圖形，並不像科幻電影中喜歡展示的干淨整潔，鬆弛有度的效果一樣。在調查中我們發現還有另外一種解決方案：使用聲音。
在鋼鐵俠中Tony對電腦說：JARVIS，你可以幫我建一個數字線框嗎？我需要可以可以操作的投影。收到命令JARVIS立刻開始工作。這樣一個命令如果用手勢操作完成可能要復雜很多。語言在處理抽象命令時很有效，人類也更善於應用語言。所以語言是一個不錯的選擇。
多途徑都可以考慮：GUI、手指位置和組合、表情、呼吸、凝視和眨眼，甚至是腦電波都可以考慮。所有這些途徑理論上都是可行的，但都無法取代語言在處理抽象信息方面的優勢。
注意：用手勢控制簡單、自然的的任務；用語言控制抽象的任務。
手勢操作界面在完成自然的任務時很快捷，但如果需要進行一系列操作，手勢很麻煩、效率比較低或者很難記住時候手勢操作就不適合了。當具體操作和抽像操作並行的時候，設計師應該提供可選的操作方式，比較理想的就是語言輸入。
手勢操作界面：一種新興的語言。
近幾年隨著一些遊戲平台的發展，如任天堂的Wii、微軟的Kinect，以及觸屏設備的流行，如iPhone和iPad，手勢操作界面在商業上已經取得了非常大的成功。人們一度想用“自然用戶界面”來形容這些。但上面那些科幻電影中的例子已經告訴我們，手勢只在一小部分操作中是“自然”的。在復雜的操作中需要介入其他類型的交互方式。手勢操作界面非常有前景，而且符合遠程交互的理念，隨著遠程技術的發展，遠程交互已經和現實世界越來越密切。所以拋開局限性不說，我們期望科幻電影製片人繼續在他們的電影中使用手勢操作界面，這樣可以促進這些技術在現實世界中的應用和發展。