對古籍數字化建設及其學術應用的若干思考 唐 磊 |
本文意在分享筆者在實際項目和科研過程中積累的一些有關國內古籍數字化建設與學術應用方面的宏觀思考，討論的范圍不僅限于紙本文獻向數字化形式轉換這一過程，而且包含數字化古籍及相應技術手段影響學術知識生產的諸方面問題。這些思考談不上系統，也許很不成熟，但借此機會提出，祈望得到方家指正。 一、整合古籍數字化資源的必要與可能 在這一領域內，一些問題曾經反復討論，但始終沒有達成一致的見解或產省生一致的行動，就古籍數字化建設方面如數據規范問題、漢字標準問題、分類問題問題等等，大家在深切感受到不便的同時，又苦于無法尋找到切實的解決方案，這里有一個深層的矛盾即在于：表面看這是一項學術基礎建設工程或信息化工程，而在操作層面，它往往被嵌入到制度環境或市場環節中。 古籍數字化建設同所有信息化建設工程一樣，需要充足的資金支持。一般情況，僅有建設熱情的個人是難以負擔的，所以充當主角的只能是組織性的科研機構或從事商業運營的開發商。由科研機構組織的古籍數字化建設，通常是以項目形式申報，在整個項目流程中，會受到來自所屬組織及機構內部的的業務基礎、募資能力、人員素質、管理效率乃至做事風格等多種因素的影響，很多時候，這些因素可以歸結到行政組織的某些固有特性上，而不得不有所掣肘。因此，有時是在某些具體技術問題如工作平臺的選取、工程進度的安排等上，都是一個多方博弈的結果。 對于商業運作的公司而言，制度環境相對簡單、技術力量也較學術單位強大，但他們在項目過程中，每一步都會有成本—收益的考量，這是商業公司的性質所決定的，當學術目標與商業利益發生沖突的時候，往往被放在次要位置。而古籍數字化的最終目標是為知識發展服務，因而，上述沖突總是很難避免。 不過，這兩只力量畢竟是古籍數字化建設的主力，雖然存在諸多不盡人意的問題，但數字化建設還是在發展，這是大勢所趨。隨著商業公司同學術機構合作的不斷深化與擴大，也產生了一些經濟效益和學術影響兼備的成果，如書同文公司開發的“四庫全書”、“四部叢刊”，國學公司開發的“國學寶典”；學術機構、包括圖書館單位在較好地協調各種因素后，也貢獻了許多精品，國家圖書館的敦煌文獻、歷代拓片數字化項目、北京大學中文系的全唐詩檢索系統、全宋詩分析系統，即是其例。 分散來看，我們在十數年間已經取得了相當的成績，古籍數字資源從無到有，逐漸發展，就數據量而言，根據專家統計，我國古籍的數量超過20萬種，已經數字化的古籍恐怕已近其半，大型類書或叢書如《四庫全書》、《四部叢刊》、《古今圖書集成》、《續修四庫全書》、《大藏經》、《太平御覽》都已數字化，一些珍本古籍包括《諱書集成》、《北京圖書館珍本年譜叢刊》等也被陸續數字化。 但將古籍數字化做為一個通盤的工程項目來看，我們會發現有許多問題。首先，這些數字化資源格式并不統一，底層格式主要是文本和圖片格式，但最終實現的格式卻因建設方和生產工具的不同，呈現為txt、word、pdf、djvu、tiff、超星格式等，幾乎涵蓋所有現行的數字化工具；其次，檢索平臺和檢索方式不統一，這些數字化資源大多需要納入數據庫，以便調用和檢索，但各家所用數據庫很不統一，access、mysql、sqlsever都有，有時使用同樣的數據庫平臺，也會因為開發商的再次技術加工（以知識產權為目標）而形成人為的數據格式差異，從而給數據兼容及隨后的跨庫檢索應用帶來極大不便。另外，由于分散作業，各自為用，我們至今無法完整地了解哪些古籍已經被數字化，更無法知曉其數字化格式、利用程度，這一方面造成了數不清的重復建設，一方面又使這些有用的學術資源無法充分發揮其作用。 應當認識到，我們今天從事的古籍數字化建設是一項惠澤當下，福被來者的千秋工程，盡管受到各博弈方的影響，但是這一工程的最終指向仍應定位于為知識發展服務，這一目標在建設知識型社會的今天，并非不可能同商業利益或制度環境達成一致。抱著這樣的信心，筆者試提出以下三條建議，旨在現有條件下整合古籍數字化資源，并促進未來古籍數字化建設的公共平臺。 1．數據標準有待統一——基于元數據 統一數據標準也許是一個談虎色變的話題，但筆者這里提出統一，并不是主張把所有古籍文獻內容統一為文本或圖像格式，在現有條件下，把全部古籍電子格式文本化也不現實。筆者所謂的統一，是基于目前圖書館界和國外學術資料信息化的普遍經驗，將資源對象的語義信息統一為元數據格式。 元數據是用來描述數據的數據，故稱“元數據”。以最為通用的DC元數據即“都柏林核心（DublinCore）元數據”為例，該元數據規范包含十五個最基本的元素及許多拓展元素，用以描述資源對象的語義信息，這十五個元素是：題名（Title）、創建者（Creator）、日期（Date）、主題（Subject）、出版者（Publisher）、類型（Type）、描述（Description）、其他責任者（Contributor）、格式（Format）、來源（Source）、權限（Rights）、標識符（Identifier）、語種（Language）、關聯（Relation）、覆蓋范圍（Coverage）。[1] 元數據可以擴展定義，就是說可以根據每一不同對象來定義一套不同的元數據，在保證開放性的同時，它又采用了規范的語法，使信息的描述和分類可以實現格式化，從而為機器處理創造了可能。 對古籍數字資源進行元數據標引，有諸多好處，首先它不必對現有資源進行格式改造，只是加以外部屬性描述；其次，這將為全部古籍數字化資源的調查和格式轉換或再度開發創造統一的數據環境（元數據元素集中定義了相關標識字段）。隨著學術需求和開發建設的不斷發展，可以想象，對現有數字古籍資源做元數據回溯標引也將勢在必行（類似對圖書館館藏的回溯標引一樣）。 2．資源分布需要普查 五年前，中國社科院歷史所陳爽先生曾在《文史知識》上發表《網絡文史資料庫概覽》、《網絡古籍全文檢索系統簡介》兩篇文章，很受歡迎，各大學術網站都紛紛轉載。五年中類似這樣介紹古籍電子資源或網絡資源的文章出現不少，許多有心的學者和熱心的網友都做出了貢獻，但遺憾的是，至今尚沒有一份完整的古籍數字化資源普查報告，我們對科研單位、商業公司或個人總共做了多少工作，古籍數字化的覆蓋面、分布情況無法獲得一個全體的了解。 這份工作的必要性和重要性無須贅言，它有如學術資料的索引一樣，將對我們更好地利用和建設古籍數字化資源將產生巨大的作用。但是，這項工作也存在相當的困難，否則也不會持久無人問津。總結起來，困難主要在于：第一，開發單位分散、信息交流機制不健全、存在相互保守心態；第二，數字化資源流散情況復雜，許多早期建設的資源由于格式、利用率等問題，很容易被人遺忘而逐漸流失，而且網絡資源的變更或自然流失更是一個普遍現象，據學者研究表明，因特網上的資源，在6個月，有12.2％的網站和20.5％的網頁不能被訪問到；1年后，分別上升到17.7％和31.8％。每周有0.5％的網頁和網站消失，6個月和1年內網站發生變化的比率分別為97％和超過99%，對于網頁，這組數據分別為98.3％和99.1％[2]；第三，這項普查工作是一項基礎工作，很難獲得直接的經濟效益或被納入學術成果，因而很難吸引相關機構來從事，而其費時費力又顯然不是個人能夠完成。 這些問題，無論國內外，都普遍存在，但是否無法客服呢？筆者認為不然。在技術支持上，我們完全有足夠的支持，通過網頁跟蹤技術，可以相對克服網絡資源自然耗散問題，通過簡單的數據庫技術和元數據定義，可以實現資源定位整合與持續更新，關鍵是組織保障和經費支持。而在這些方面，筆者以為恰可以發揮現有體制的某些優勢來克服。例如，通過古籍整理委員會或大型科研機關或某個行業、學術聯盟的力量，通盤規劃，完全可以在較短時間內完成這一普查，并由調查單位維護更新，其中，建立長效機制的最好辦法莫過于成立行業聯盟。這就引出我的第三個建議。 3．有必要成立業界聯盟 成立一個集聚科研單位、圖書館、專業開發公司及有相關經驗的團體、個人的古籍數字化業界聯盟，不僅有助于實施諸如古籍數字化建設普查這樣的大型公益項目，同時可以起到引領行業發展、避免重復建設、統一業界規范等多種作用。 眾所周知，古籍數字化建設中，現有字符集不夠用是一個瓶頸，北京大學中文系李鐸先生就指出，無論是GBK還是方正超大字符集，其中毫無用處的字符太多，屬于“拍腦袋拍出的垃圾字”。[3]為什么會出現這樣的情況？主要在于設計方不知道實際需求，Gb2312的六千多個漢字可以滿足一般文獻的需要，但對于處理古代典籍到底需要哪些字符，沒有實際的古籍數字化經驗，很難有清晰的認識。業界聯盟的建立，可以集中經驗，共同制定一個相對穩定、合理的字符集標準。 在文獻信息處理過程中，每一步都將會涉及標準問題，如異體字的統一、信息的組織分類、敘詞表（關鍵詞）的確定等環節無不如此。數字化古籍本質上如李鐸先生指出的是“公共信息”產品，則其目的是更多的人能夠使用，此時我們就不能使用“誰做大做強誰就是標準”的簡單市場思維，而應遵循共享共贏的公共理念。多年來，成立業界聯盟的呼聲始終不斷，但一直未能實現，與大家缺乏這種公共理念是有關系的。 二、提高古籍信息化建設水平的兩點理論準備 古籍數字化建設發展到今天，需要對各方面資源進行整合，同時，比較國際文獻信息化的發展水平，我們還需要提高，而且這種訴求不僅來自于與國外的比較，同時也是信息社會或知識型社會發展趨勢對我們提出的必然要求。 李鐸先生曾提出，信息技術介入人文學術研究，不再停留在文獻檢索層面，而是進入了所謂“分析時代”。[4]這與信息技術發展的方向也是一致的，即今天的信息技術已經從簡單的信息處理走向大規模的信息分析和深度信息挖掘。 人類今天所擁有的、可以利用的信息量早已超過我們個體的生理能力實際可以“運算”的信息量，這是信息技術發展的重要后果之一，而同時，我們也越來越依賴信息技術來處理所有這些信息。人永遠努力避免無知或者不能掌握對象的恐懼，這便使信息增長和信息處理方式不斷相互競逐。 信息處理的目標是使信息有序化，盡量降低信噪比，并產生相應的知識結果。早期發展起來的是以搜索引擎和檢索工具為主要代表的信息定位技術以及以關鍵詞標引和手工分類為代表的信息分揀技術，近年來，又發展出各種信息聚合和以“元數據”為代表的“多屬性標引”信息處理技術。所有這些追求信息增值的技術理念又都圍繞著一個核心理念，即知識生長的固有邏輯與計算機信息處理邏輯的有效結合。 因此，要提高現有古籍數字化建設水平，使之更好地服務于現代學術需求，我們需要有兩點理論準備，一是對現有知識譜系及其生長特點的了解，二是對計算機信息處理邏輯的充分理解。 現代知識體系和學術體系肇基于自古希臘時期便得以發展的以概念、關系、邏輯等為基本架構的一套譜系，在知識分類上以樹型結構為通用構型，在深層邏輯上以數學關系為基礎，在此基礎上，產生了今天的計算機信息處理方式，因而二者間有著天然的相通。[5]這套知識邏輯同時也成為我們今天共享全部信息和知識成果并不斷推動知識進步的話語基礎。我們要理解和把握今天所謂信息社會或知識型社會的發展方向，必須承認這個話語基礎。 在這個話語基礎上，我們要進一步領會這套框架體系的元素構成和結構，就像學習面向對象的程序語言必須徹底掌握對象—屬性這一邏輯方式一樣。 目前，許多單位都在開發所謂“專家知識系統”或“多維信息系統”，以李鐸先生提出的“多屬性標記本文或多維度的數據倉庫（Databank）”為例，其理念是：在存儲時，人們已經根據可能性做了多維的標記處理，這些標記并不是針對某一具體方向的工作而做的，但計算機可以根據其屬性歸納總結出簡單而又直接的“指令”來，這“指令”是由計算機發出。[6]這一思路明顯是從“元數據”的理念中來。 隨之而來的一個問題就是，理論上，一個對象可以有無限多的屬性，哪些屬性是可以充分描述該對象的核心屬性必須得到確定，同時，不同對象的屬性集會不同，這樣，“元數據”是否準確和適用便成為影響上述系統成敗的關鍵（在技術上處理元數據的彈性可變已不成障礙），而確定對象—屬性的內容與關系（即元數據結構）則有賴于我們對認識對象和其在知識譜系中與其他對象的各種時空聯系有較全面的把握，并以這樣的認識基礎來確定“元數據”內容，便可以利用計算機的處理邏輯來組合“元數據”各種屬性，分析其屬，實現知識挖掘。筆者不妨借用李鐸、王毅文章中的例子來解釋這種把握：“比如以某一作家的生平家世為焦點，可以迅速排列比較同時代和異時代的多個、甚至多組作家的類似背景資料，從而發現其中各種關聯和變化的脈絡。又比如從某個重要作家的家世和作品系統，可以方便地切入與此相關的眾多時代事件的信息系統之中；如果需要，還可以進一步了解諸如官制、地理、經濟、民俗、宗教、中外文化交流等等所有某一具體事件背后復雜弘闊的背景，了解它們在一個長時段中各自的沿革脈絡、相互關系等等。”[7] “元數據”所代表的數據結構化已成為大規模信息處理的基礎，圍繞它而發展的各種技術也成為業界的重要發展趨勢。最近，出現了一個名為的“freebase”的網站[8]，它被譽為“2007年互聯網上最激動人心的東西”，其目標是整理世界上所有的信息，與現有的wiki百科系統不同的是，它為每一個條目都設計了一套元數據，所有的信息內容都是結構化的。比如一個人物，就包含出生時間、死亡時間、性別、職業、國籍、配偶等等多條屬性和相應屬值，當數據量充分豐富后，我們可以很方便的查詢諸如“2000年去世的中國女性作家”，同時提取她們的生平履歷。這樣的信息材料在和元數據理念和大規模信息處理技術發展以前，我們很難得到，也就不會把這些信息或知識成果納入研究視域，但有了上述手段，我們就有了完全不同的基礎。 李、王二位學者就提出：“當‘多維度的數據庫'系統等等手段有了比較充分的發展完善、人們可以方便地從非常廣泛多元的視角（比如文化諸多領域的信息資源之間、古今信息之間、中外信息、人文科學與某些相關自然科學領域之間等等參照關聯的路徑已經充分發達）進入無數具體的研究界域時，則這個進入研究的過程本身，其蘊含的信息量、尤其是它蘊含信息的開放潛能、擴展潛能和升值潛能，就必定是極大地超越了進入該具體研究界域之前的知識準備和邏輯預設，于是研究過程的展開就再也不會僅僅是對已有學術假說的論證、對預設認識路徑的修正和充實而已，而必然是研究過程與研究者之間的一種全新的互動關系”。筆者認為，這是一個激動人心但又確實具有前瞻性的預言，但要充分發展這些手段，對人類知識譜系的基本構架、邏輯方法的理論認識和思維準備必不可少。 其次，我們需要理解計算機處理信息的邏輯特點，以尋求它與人類知識能力和思維方式的最大結合。在量子計算機和各種生物計算機得到突破性發展之前，目前我們通常使用的計算機其基本工作原理仍是以數學二進制為基礎，以0-1式的電子脈沖為實現方式，這就決定了其基本邏輯仍是線性的，再高級的算法也只是提供了線性邏輯的多種復雜組合和并行方式。 當我們充分利用電腦的我稱之為“多維線性”的邏輯特點，便可以完成人腦不能勝任的許多任務，比如海量信息中某一信息元的搜索定位、相關信息的匹配與比較，這些功能在古典文獻研究中可以幫助我們完成校對、輯軼、排重等許多基礎文獻工作，也可以幫助我們實現詩歌的韻式分析、詞頻統計等文學研究的外部計量工作。但是，電腦不具備人腦那些主動的跳躍性思維或非邏輯的情感聯想功能，比如說起“黃河”便聯系到“母親”，提起“秋”就聯系到生命、時間的流逝。所有電腦“具備”的“智能”，本質上都來自于對其語義邏輯各組成元素之間關系的人工定義，只有當人們在程序中定義了“秋”與“生命”相聯系時，電腦才有可能分析一首悲秋主題的詩歌中的生命意蘊。一句話，現有的電腦信息處理技術可以按規定有邏輯的模擬人的某些思維過程，并且比人更加嚴格地遵守邏輯法則，但它不能主動的創造未經定義的或無法通過現有信息和邏輯推導出來的關系，也無法超出邏輯范圍來判斷對象或關系的合理性。 電腦信息處理的邏輯在總的特點上表現為多維線性方式，在具體的程序實現上又涉及邏輯嵌套、邏輯遍歷等具體環節。例如通過學習同樣一套基礎語義模本，來實現對其他文本的語詞切分、自動標點，如果定義的學習方式不同，出現的結果就會不一樣，錯誤的時候離真實結果偏差會很大。因此，理解計算機的邏輯還需要掌握基本的編程能力。 提高古籍數字化建設的核心因素是人員素質的提高，而從事古籍數字化的專業人員首先應該具有以上兩個理論和認識準備。 三、在學術研究中提高應用數字資源水平的兩點要求 提高建設水平對建設者提出高要求，同樣在學術研究中拓展和深化對古籍數字化資源的利用也對研究者和學界提出相應的要求。結合信息時代背景和學術發展需要，筆者提出兩條基本要求。 1．信息時代的學術研究對個人信息能力的要求 2000年1月美國公布了《高等教育信息素養（informationLiteracy）能力標準》，確定了一個具備信息素養的人應達到的目標是：“確定所需信息的范圍；有效地獲取所需的信息；鑒別信息及其來源；將檢索出的信息融入自己的知識基礎；有效地利用信息去完成一個具體任務；了解利用信息所涉及的經濟、法律和社會問題，合理合法地檢索、搜集和利用信息。”第五條說的是關于利用信息的安全與倫理問題，前面四條包含了個人收集、管理和運用信息的全部重要環節。這是信息時代對個人信息能力提出的基本要求。 許多學者（尤其是年輕一代學者）已經開始使用電腦信息處理手段來輔助科研，但這些運用大多停留在簡單的利用搜索引擎進行信息檢索和論文查詢上，而信息時代提供的信息環境和信息手段實際已使今天的學者有條件超越前人，這種超越體現在通過信息手段來不斷擴大自己的知識基礎，而不是僅僅將“檢索出到的信息融入自己的知識基礎”，還體現在學者不僅可以“完成一個具體任務”，而且可以完成前人無法完成的任務。 對于前者，學者首先需要有“究通天人，吞吐萬象”的學術自信和“八面受敵”的學習心態，然后需要通過科學的知識管理來積累各門學科的知識，并通過這種管理來創造打通學術壁壘的可能。 關于“個人知識管理”概念，美國學者Frand和Hixon定義為：“它是一種概念框架，指個人組織和集中自己認為重要的信息，使其成為我們知識基礎的一部分。它還提供某種將散亂的信息片段轉化為可以系統性應用的東西的（個人）戰略，并以此擴展我們的個人知識。”[9]今天，越來越多的程序開發人員、公司管理人員、金融分析人員使用個人知識管理軟件來管理他們所接觸的各種信息和知識，他們應用知識管理的目標是“在最快的時間內找到我所需要的信息”。對于人文學者來說，進行知識管理不僅能夠實現上述目標，同時知識管理系統的樹形組織方式和靈活多變的信息整合功能，常常在我們在管理知識的時候，給我們提供更廣泛的知識聯系和學術視域。比如，在組織知識時反復使用和調整的分類操作一方面加強我們對學科特點的把握，一方面又提示我們超越學科畛域的可能。 個人知識管理理念，在許多資料管理和文檔處理軟件中已有一些體現，如Microsoft Office系列產品，筆者在此愿意推薦兩種專門的個人只是管理軟件：Mybase[10]和iNota[11]，學者不妨下載嘗試運用，將會獲得不少便益。 2．信息時代學術研究需要相應的思維方法和學術理論 一般來說，工具是配合理論而發展的，就如統計學的發展推動了各種統計軟件的產生，但技術發展速度同時也刺激了理論的更新速度，近二三十年來，數理統計方法和計算機處理技術的完美結合，也促使前著發生了重大的進步。而與此相比，人文研究特別是國內的古典學科研究在擁有越來越強大的電腦信息處理手段的同時，相應理論卻十分落后，這也造成了應用基本停留在粗淺的信息檢索層次上這一普遍情況。 在一些較深層次的應用上，比如意象統計、字頻統計、風格分析，學界尚沒有提出一些有針對性性的算法，或者存在一些對應特定系統的算法，這些經驗也沒有經過交流而上升為一種通用的方法。要解決目前的理論缺陷，一渠道是學界借鑒在科技、商業領域的各種應用算法，合理移植到人文研究中。例如，過去很多搜索技術都采用了簡單計算文字、詞組出現頻率的方法，卻忽略了文字使用增加的速率，而康奈爾大學的科學家開發了一個算法，能夠識別一篇文章中某些文字的“突發”增長，而這些“突發”增長的文字可以用來快速識別最新的趨勢和熱點問題，因此能夠更有效地篩選重要信息。類似這樣的算法創新往往被最先運用到商業領域，分析客戶需求風尚和購買習慣，而很少被及時引入到人文研究領域。這也提醒我們跨學科交流過少、關注視域不廣等不足。 前面已經提到，信息時代的信息環境和各種信息手段為研究者提供了不斷開拓研究界域、打破學科壁壘的條件，甚至帶來“研究過程與研究者之間的全新互動關系”，但實現這些變化的潛在要求則是我們思維方式順時的轉變與開拓和學術方法的更新。這一點，有賴信息技術界、信息服務提供方（圖書館等）和學術研究界的共同合作與努力。 【注釋】 [1]關于DC元數據的具體運用和相關信息，可以查看其官方網站http://dublincore.org/。 [2]見段宇鋒《網絡鏈接研究中的制約因素分析》一文。 [3]見李鐸、王毅《數據分析時代與古典文學研究的開放性空間——兼就信息化工程與古典文學研究之間的互動問題答質疑者》一文，載《中國文化研究》2006年第2期。 [4]同上。 [5]這與中國傳統學術思維和知識譜系有著明顯分野。盡管在“究天人之際，通古今之變”這些對象和目的上中西方并無差別，但中國傳統知識譜系和思維特點始終沒有擺脫非理性和神秘主義傾向。很難想象通過這樣的非理性思維能夠發展出一套現實的計算機系統。 [6]見李鐸、王毅《數據分析時代與古典文學研究的開放性空間——兼就信息化工程與古典文學研究之間的互動問題答質疑者》一文。 [7]同上引。 [8]讀者可以通過http://www.freebase.com訪問該網站。 [9]Pason Frand，Carol Hixon. Personal Knowledge Management：Who，What，Why，When，Where，How？[DB/OL]. http://www.anderson.ucla.edu/faculty/jason.frand/researcher/speeches/educom98pkm/ 1998.10.17。 [10]Mybase是一個可自定義格式及層次關系的通用資料管理軟件，可用于管理各種各樣的信息，如：各類文檔、文件、資料、名片、事件、日記、項目、筆記、下載文件等等，其數據組織能力足夠靈活，允許您自定義更多的適合具體情況的各種用途。官方網站：http://www2.wjjsoft.com/。 [11]iNota是一套個人知識管理編輯工具，可用拖曳或剪貼的方式取得文字或圖形，以樹狀結構來分類及管理資料，包含詳細的資料注解，可自動轉成XML文件，作為網絡資源之用，并且自動化的方式整理、歸類，重點注記及內容加值的方法，建立個人的目錄與個人知識管理系統，提高信息處理與知識吸收的效率。 官方網站：http://www.mypcera.com/。
【作者單位】中國社會科學院文獻信息中心研究部 |
 |