IceCube Detector
Readout
Karl-Heinz Sulanke
EL-Gruppe
DESY Zeuthen
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
1
Inhalt
• Einführung
• IceCube DAQ allgemein
• DOM (Digital Optical Module), kurz
• DOR (Digital Optical module Readout card),
ausführlicher
• DOR-Produktion und -Test
• Schlussbemerkung
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
2
Amundsen-Scott South Pole Station
Skiway
Südpol
Dome
AMANDA
IceCube
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
3
IceCube Detector
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
4
Bohrhütte und Schlauchtrommel
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
5
Deployment
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
6
December 2010:
86 Strings im Eis!
5160 DOMs
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
7
IceCube DAQ, Hardware Komponenten
•
DAQ basiert auf standard IT-Technik (PC-Farm, Switches,…)

•
Ethernet für Datentransfer
drei “custom made” Hardware Komponenten:

DOM (Digital Optical Module), im Eis

MCU (Master Clock Unit) + DSB (Domhub Service Board)
 GPS-signal-fanout
 by J. Przybilski, LBNL Berkeley

DOR (DOm Readout-card)
 by K.-H. Sulanke, DESY Zeuthen
•
Spezialkabel für DOM <-> DOR Verbindung
 Schwedische Firma Ericsson
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
8
IceCube DAQ Block Diagram
DORs
DOMs
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
9
DOM (Digital Optical Module)
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
10
DOM Mainboard Block Diagram
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
11
DOM Montage und Test in Zeuthen
• Jürgen Pieper aus der
Elektronikwerkstatt
• Etwa 1500 DOMs
wurde in Zeuthen
montiert
• Klimakammer fuer
Langzeit-Tests (R.
Nahnhauer) mit Hilfe
von LED +
Lichtleitfasern
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
12
String Kabel (Ericsson)
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
13
IceCube Kabel (3 km lang)
•
16+2 Quads, 0.9 mm Kupferdraht, „solid wire“
•
Je ein Quad, bestehend aus zwei verdrillten Paaren, für 4 DOMs
•
145 Ohm Impedanz, DC-Widerstand <140ohm / 2.5 km
•
Wichtig (!) wenig crosstalk zwischen den Drahtpaaren
12/1/2015

>50 db suppression near end cross talk

>30 db suppression far end cross talk

Akkurate mechanische Konstruktion nötig
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
14
DOR (Dom Readout card)
• 8 DOMs pro Karte, 32 bit PCI Businterface, DMA fähig
• In System Firmware Update per Software
• 96V DC und Kommunikation (je 2 DOMs) über ein twisted wire pair
• DOM Datenrate, >= 20KB / DOM, -> 48KB
-Kommunikation, Paket-basierend inkl. 32 bit Checksumme
• Zeitkalibration, Genauigkeit besser als 5ns, -> 3ns
- virtuell : 5160 gleichlaufende Uhren im Eis !!!
• GPS Interface (UTC, ASCII Time String -> PCI)
• DOM Power-Switch (96V) inkl. Strom / Spannungsauslese
• DOM Power-Ramping
• DOM Power-Überwachung per Firmware
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
15
DOR_rev0
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
16
DOR_rev1b
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
17
DOR - DOM Readout card, Revision 1b
96 V
Power Control Ch0..Ch3
On Cur Vol
20MHz
Comm. Ch0
ADC / DAC
DOM
quad
cable
PLL
In0
In_sel In1
Comm.
FPGA
Comm. Ch1
ADC / DAC
DOM
quad
cable
Local
Bus
Comm. Ch3
ADC / DAC
Osc.
SRAM
1 MByte
33MHz
PCI
FPGA
Cfg
Req
PLD
FLASH
2 MByte
JTAG
JTAG
PLD
FPGA
PLL-In_sel
JTAG
PCI
Bus
12/1/2015
10Mhz
1PPS
Time-string
10MHz
Cfg
Comm. Ch2
ADC / DAC
10MHz
Mem.
Bus
33MHz
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
18
Cable Interface Scheme
FPGA
+48V
PREAMP
ADC
10 Bit
10
DAC
8 Bit
8
-48V
Cable
Con.
RS485
alternative use
12/1/2015
K.-H. Sulanke
DESY Engineering Day, 2013-04
19
ASK Encoding, 1MBit/s
Tx
•
Derzeit implementiert
•
DC-free, über Trafo eingekoppelt, 1=pulse, 0=kein Signal,
•
Ist default encoding für den DOM nach power on
•
DOM-Datenrate von 50 KByte/sec
12/1/2015
K.-H. Sulanke, DESY Zeuthen
Rx,
3500m
Kabel
DESY Engineering Day, 2013-04
20
Rx / Tx Data Path, one Wire Pair
PCI Bus
FPGA
Comm.
DAC
8
Framing,
Encoding
Tx_FIFO_A,B
8
Cable
Con.
32
Data_out
Data_in
Empty
ReadEna
AlmEmpty
WriteEna
Address
Decoder
2
Wire Pair Control
(8) State Machines
2
BusCycle
4
Message_rcvd
Interrupt
Control
Diff.
Rec.
Comm.
ADC
10
DeFrame,
Decoding
Interrupt
Rx_FIFO_A,B
8
Data_in
Data_out
AlmFull
WriteEna
Empty
ReadEna
1
Internal FIFOs will be replaced by external SRAM
12/1/2015
K.-H. Sulanke
DESY Engineering Day, 2013-04
21
Firmware, ein Beispiel
• Statemachine zur Steuerung der halbduplex Kommunikation mit den
DOMs A,B
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
22
Zeitkalibration
•
Kalibrations-Zyklus komplett in Firmware realisiert
•
initiert durch Software, typ. 1 x pro Sekunde
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
23
Time Calibration
automatic, every few seconds
In-ice DOMs
Time
IceTop
for 76 DOMs
DESY Engineering Day, 2013-04
8B10B Encoding, 2MBit/s
Tx
Rx,
3500m
Kabel
•
Verdoppelung der Datenrate
•
Erste Labortest waren o.k. (1 x DOR + 8 DOMs), auch Mix von ASK / 8B10B
•
Bei vollen Domhub ( 8 x DOR, 60 DOMs) , unter Linux, gab es Probleme
12/1/2015

Linux-Treiber, zu hohe Gesamtdatenrate ?

Firmware –Bug ?
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
25
DOR Bestückung
• Prototypen, Bestueckung in der Zeuthener Elektronik-Werkstatt
• Serienfertigung für etwa 800 boards extern
• Hersteller I: Mittelstaedt / ESL GmbH, Bln. Tempelhof
– etwa 30+60 boards
– kostengünstig, aber …
 veraltete Produktionsanlagen (Stand Ende 2004)
 Probleme (keine Erfahrungen) mit dem BGA-Löten
 kein Löten unter Schutzgas (war in Aufbauphase)
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
26
DOR Bestückung, fortgesetzt
• Hersteller II: Intratec / Elbau GmbH, Bln. Weissensee
– etwa 800 boards geliefert
– moderne Produktionsanlagen
– Löten unter Schutzgas
– keine Probleme mit BGAs
– geringe Probleme, verursacht durch Handbestückung
 LED 180° gedreht (1x)
 einzelne Pins nicht gelötet (~4x)
– Komplettangebot inkl. Materialbeschaffung möglich
– kann empfohlen werden
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
27
DOR Test
•
Erste Firmware-Tests unter DOS, 130 Mhz Pentium, 32MB Speicher
-> Borland_C, Templates fuer Linux Treiber (by John Jacobsen)
•
Nach Herstellung, 100%-iger Funktionstest Test unter Linux
•
Test Software von Arthur Jones, LBNL Berkeley, California
•
Selbsttest mit Hilfe rückgeführter Ausgänge / Testadapter
•
Testlog wird im DOR-Flash abgelegt
•
einmalige Nummer per Server vergeben und aufgeklebt
R1B0674D05
Rev. 1b
abs. Nr.
Serien Nr.
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
28
DOR Fehleranalyse, bezogen auf 225 Boards
• sofort funktioniert (Fa. Intratec) : ~85 %
• nach “einfacher” Reparatur, Ausbeute : ~ 98%
• LP-design, Fehler durch schlechte Footprint-Libraries
– schlechte Pad Geometrie versursacht Lötfehler
– z.B. SO-8 Footprint mit zu kurzen Pads
• echte Bestückungsfehler
– durch verbogene Pads (schlechter Lieferzustand)
– durch Handbestückung
– durch schlechten Lötpastendruck (selten)
• defekte Bauelemente: 2x
– 5V/5V - DC / DC Wandler
– Operationsverstärker OPA237NA
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
29
DOM hub
From GPS Unit
12/1/2015
DOR card
DOR card
DOR card
DOR card
DOR card
DOR card
DOR card
DOR card
Power Supplies
Fans
Monitors
CPU
10 MHz, 1 pps. Time String
Cat5-cable with:
• 10 MHz
• 1 Pulse per Second
• RS-232 Time String
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
30
DOM hub (Industrie-PC)
DOM
Power
Supplies
Power
Distr. Card
Chassis
Fans
Hard
Drive
Backplane with
12 PCI slots
CPU
DOR Cards
(2 of 8 shown)
DSB for
GPS distr.
~300 W running 60 DOMs
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
31
Rack with DOMhubs
LEDs for
Rx, Tx and
DOM-Power
PCI Bus
access
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
32
Unterkunft ->Zukünftiges IceCube Lab
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
33
IceCube Lab im Winter
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
34
Schlussbemerkungen
•
IceCube Auslese funktioniert zuverlaessig, Detektor uptime >99%
•
Firmware / Software Entwicklungsaufwand war betraechtlich
– Kommunikations-Protokoll zu komplex (?)
•
PINGU als evtl. IceCube Erweiterung, 10 Gev...100 GeV
– Auslese basierend auf PCIe, uTCA, ATCA (?)
– Verwendung der existierenden Software moeglich (?)
– Besseres Encoding (?), z.B. PSK (Phase Shift Keying)
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
35
Verwendete Quellen
• Animationen, entnommen dem IceCube docushare/public/
• „Design and Performance of the IceCube Electronics“,
Vortrag von R.G. Stokstad (LBNL Ca.), 2005
• eigene Dokumente und Bilder
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
36
Danke für die Aufmerksamkeit !
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
37
Backup Slides
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
38
IceCube
String
Main Cable
60 optical
sensors
DOM
1400 m
Electrical
feedthrough for
power + data
Base with
HV
generator
OM Spacing: 17 m
Photomultiplier
DOM Board
String
Gel
Glass pressure
sphere. Rated
to 10000 psi.
Outer
diameter: 13"
2400 m
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
39
DOR Leiterplatte
• Entwurf: Reiner Roitsch, Berlin
• 8 Lagen, 311 x 122 mm, SMD beidseitig
• Technik: part. chem NiAu auf Cu
• 3 BGAs, 484 / 256 / 100 pins
• Herstellung
– Fa. Mittelstaedt, schlechte Qualität
– Fa. Gillett, schlechte Daten-Vorverarbeitung
– Fa. straschu, ausreichend gute Qualität
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
40
Hose reel
Hot water
generator
Drill tower
IceTop tanks
The drilling site in January, 2005
DESY Engineering Day, 2013-04
Each 2 m dia.
IceTop tank
contains two
Digital Optical
Modules. The
freezing of the
water is done
in a controlled
manner to
produce clear
ice.
DESY Engineering Day, 2013-04
Data Packet Format
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
43
Zeitkalibration
•
Kalibrations-Zyklus komplett als Firmware realisiert
•
initiert durch Software, z.B. 1 x pro Sekunde
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
44
Timing verification with flashers
1.74 ns rms
{
All 60 DOMs
DESY Engineering Day, 2013-04
Alte und neue Station (im Bau befindlich)
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
46
Polemarker
12/1/2015
K.-H. Sulanke, DESY Zeuthen
DESY Engineering Day, 2013-04
47

DOR_kite_20130423