1976年、古びた紙テープと最新AI技術が奇迹の融合を遂げました。最新鋭のGPUなしでもTransformerは訓練できるのか——この挑発的な問いに答えたのが、1976年製ミニコンによるTransformer訓練プロジェクトです。

ミニコンという選択：なぜ1976年なのか

1976年、DEC社（現ヒューレット・パッカード）が開発したPDP-11シリーズなどのミニコンピュータは、当時の技術革新の象徴でした。これらのマシンには современные GPUもSSDもなく、唯一の情報記録メディアが**パunch紙テープ（穿孔紙テープ）**でした。

プロジェクトの中心は、このレトロハードウェアでTransformerアーキテクチャを訓練するという大胆な試みです。Paper Tape Is All You Need——このスローガンの下、研究者たちは以下の目標を設定しました：

- миниатюрなデータセットでのTransformer訓練 - paper tapeからの 입출력処理の実装 - 1970年代の技術的制約内での最適化

Paper Tape処理の実装技術

1976年ミニコンでTransformerを訓練するには、まずPaper Tapeの読み書きシステムが不可欠です。以下は、実装されたPaper Tape処理の基本的なアプローチです： 

class PaperTapeHandler:
    def __init__(self, device_path='/dev/paper_tape'):
        self.device = open(device_path, 'rb')
        self.buffer_size = 4096
    
    def read_sequence(self, length):
        data = self.device.read(length)
        return self._decode_holes(data)
    
    def write_sequence(self, tokens):
        encoded = self._encode_holes(tokens)
        return self.device.write(encoded)
    
    def _decode_holes(self, raw_data):
        # 8トラックPaper Tapeの復号化
        return [bin(byte).count('1') for byte in raw_data]

Paper Tapeは8トラックまたは5トラックの穿孔パターンでデータを記録します。各トラックに穴が開いているか否かで1ビットを表現し、1行で1バイトを記録していました。処理速度は现代のストレージ相比大幅低速ですが、顺序的な読み取りには十分な性能を発揮します。

Transformer訓練の最適化戦略

1976年ミニコンの制約の中で、研究者たちはTransformer训练を适配するため、以下の革新的戦略を採用しました：

**1. 模型の軽量化** 埋め込み次元を64に抑え、アテンションヘッドも2つに制限。これにより、パラメータ数を数百分の1に削減できました。

**2. バッチ処理の最適化** Paper Tapeの逐次読み取り特性を活かし、大きなバッチサイズで梯度更新を効率化。

**3. 整数演算专用品** 浮動小数点运算が低速だった时代背景から、16ビット整数ベースの演算を主に使用。

``` Memory Layout (PDP-11 style): 0x0000 - 0x3FFF : Paper Tape Buffer 0x4000