Make isLegalAddressingMode() taking DataLayout as an argument
[oota-llvm.git] / lib / Target / Mips / MipsISelLowering.h
1 //===-- MipsISelLowering.h - Mips DAG Lowering Interface --------*- C++ -*-===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // This file defines the interfaces that Mips uses to lower LLVM code into a
11 // selection DAG.
12 //
13 //===----------------------------------------------------------------------===//
14
15 #ifndef LLVM_LIB_TARGET_MIPS_MIPSISELLOWERING_H
16 #define LLVM_LIB_TARGET_MIPS_MIPSISELLOWERING_H
17
18 #include "MCTargetDesc/MipsABIInfo.h"
19 #include "MCTargetDesc/MipsBaseInfo.h"
20 #include "Mips.h"
21 #include "llvm/CodeGen/CallingConvLower.h"
22 #include "llvm/CodeGen/SelectionDAG.h"
23 #include "llvm/IR/Function.h"
24 #include "llvm/Target/TargetLowering.h"
25 #include <deque>
26 #include <string>
27
28 namespace llvm {
29   namespace MipsISD {
30     enum NodeType : unsigned {
31       // Start the numbering from where ISD NodeType finishes.
32       FIRST_NUMBER = ISD::BUILTIN_OP_END,
33
34       // Jump and link (call)
35       JmpLink,
36
37       // Tail call
38       TailCall,
39
40       // Get the Higher 16 bits from a 32-bit immediate
41       // No relation with Mips Hi register
42       Hi,
43
44       // Get the Lower 16 bits from a 32-bit immediate
45       // No relation with Mips Lo register
46       Lo,
47
48       // Handle gp_rel (small data/bss sections) relocation.
49       GPRel,
50
51       // Thread Pointer
52       ThreadPointer,
53
54       // Floating Point Branch Conditional
55       FPBrcond,
56
57       // Floating Point Compare
58       FPCmp,
59
60       // Floating Point Conditional Moves
61       CMovFP_T,
62       CMovFP_F,
63
64       // FP-to-int truncation node.
65       TruncIntFP,
66
67       // Return
68       Ret,
69
70       EH_RETURN,
71
72       // Node used to extract integer from accumulator.
73       MFHI,
74       MFLO,
75
76       // Node used to insert integers to accumulator.
77       MTLOHI,
78
79       // Mult nodes.
80       Mult,
81       Multu,
82
83       // MAdd/Sub nodes
84       MAdd,
85       MAddu,
86       MSub,
87       MSubu,
88
89       // DivRem(u)
90       DivRem,
91       DivRemU,
92       DivRem16,
93       DivRemU16,
94
95       BuildPairF64,
96       ExtractElementF64,
97
98       Wrapper,
99
100       DynAlloc,
101
102       Sync,
103
104       Ext,
105       Ins,
106
107       // EXTR.W instrinsic nodes.
108       EXTP,
109       EXTPDP,
110       EXTR_S_H,
111       EXTR_W,
112       EXTR_R_W,
113       EXTR_RS_W,
114       SHILO,
115       MTHLIP,
116
117       // DPA.W intrinsic nodes.
118       MULSAQ_S_W_PH,
119       MAQ_S_W_PHL,
120       MAQ_S_W_PHR,
121       MAQ_SA_W_PHL,
122       MAQ_SA_W_PHR,
123       DPAU_H_QBL,
124       DPAU_H_QBR,
125       DPSU_H_QBL,
126       DPSU_H_QBR,
127       DPAQ_S_W_PH,
128       DPSQ_S_W_PH,
129       DPAQ_SA_L_W,
130       DPSQ_SA_L_W,
131       DPA_W_PH,
132       DPS_W_PH,
133       DPAQX_S_W_PH,
134       DPAQX_SA_W_PH,
135       DPAX_W_PH,
136       DPSX_W_PH,
137       DPSQX_S_W_PH,
138       DPSQX_SA_W_PH,
139       MULSA_W_PH,
140
141       MULT,
142       MULTU,
143       MADD_DSP,
144       MADDU_DSP,
145       MSUB_DSP,
146       MSUBU_DSP,
147
148       // DSP shift nodes.
149       SHLL_DSP,
150       SHRA_DSP,
151       SHRL_DSP,
152
153       // DSP setcc and select_cc nodes.
154       SETCC_DSP,
155       SELECT_CC_DSP,
156
157       // Vector comparisons.
158       // These take a vector and return a boolean.
159       VALL_ZERO,
160       VANY_ZERO,
161       VALL_NONZERO,
162       VANY_NONZERO,
163
164       // These take a vector and return a vector bitmask.
165       VCEQ,
166       VCLE_S,
167       VCLE_U,
168       VCLT_S,
169       VCLT_U,
170
171       // Element-wise vector max/min.
172       VSMAX,
173       VSMIN,
174       VUMAX,
175       VUMIN,
176
177       // Vector Shuffle with mask as an operand
178       VSHF,  // Generic shuffle
179       SHF,   // 4-element set shuffle.
180       ILVEV, // Interleave even elements
181       ILVOD, // Interleave odd elements
182       ILVL,  // Interleave left elements
183       ILVR,  // Interleave right elements
184       PCKEV, // Pack even elements
185       PCKOD, // Pack odd elements
186
187       // Vector Lane Copy
188       INSVE, // Copy element from one vector to another
189
190       // Combined (XOR (OR $a, $b), -1)
191       VNOR,
192
193       // Extended vector element extraction
194       VEXTRACT_SEXT_ELT,
195       VEXTRACT_ZEXT_ELT,
196
197       // Load/Store Left/Right nodes.
198       LWL = ISD::FIRST_TARGET_MEMORY_OPCODE,
199       LWR,
200       SWL,
201       SWR,
202       LDL,
203       LDR,
204       SDL,
205       SDR
206     };
207   }
208
209   //===--------------------------------------------------------------------===//
210   // TargetLowering Implementation
211   //===--------------------------------------------------------------------===//
212   class MipsFunctionInfo;
213   class MipsSubtarget;
214   class MipsCCState;
215
216   class MipsTargetLowering : public TargetLowering  {
217     bool isMicroMips;
218   public:
219     explicit MipsTargetLowering(const MipsTargetMachine &TM,
220                                 const MipsSubtarget &STI);
221
222     static const MipsTargetLowering *create(const MipsTargetMachine &TM,
223                                             const MipsSubtarget &STI);
224
225     /// createFastISel - This method returns a target specific FastISel object,
226     /// or null if the target does not support "fast" ISel.
227     FastISel *createFastISel(FunctionLoweringInfo &funcInfo,
228                              const TargetLibraryInfo *libInfo) const override;
229
230     MVT getScalarShiftAmountTy(const DataLayout &) const override {
231       return MVT::i32;
232     }
233
234     void LowerOperationWrapper(SDNode *N,
235                                SmallVectorImpl<SDValue> &Results,
236                                SelectionDAG &DAG) const override;
237
238     /// LowerOperation - Provide custom lowering hooks for some operations.
239     SDValue LowerOperation(SDValue Op, SelectionDAG &DAG) const override;
240
241     /// ReplaceNodeResults - Replace the results of node with an illegal result
242     /// type with new values built out of custom code.
243     ///
244     void ReplaceNodeResults(SDNode *N, SmallVectorImpl<SDValue>&Results,
245                             SelectionDAG &DAG) const override;
246
247     /// getTargetNodeName - This method returns the name of a target specific
248     //  DAG node.
249     const char *getTargetNodeName(unsigned Opcode) const override;
250
251     /// getSetCCResultType - get the ISD::SETCC result ValueType
252     EVT getSetCCResultType(const DataLayout &DL, LLVMContext &Context,
253                            EVT VT) const override;
254
255     SDValue PerformDAGCombine(SDNode *N, DAGCombinerInfo &DCI) const override;
256
257     MachineBasicBlock *
258     EmitInstrWithCustomInserter(MachineInstr *MI,
259                                 MachineBasicBlock *MBB) const override;
260
261     struct LTStr {
262       bool operator()(const char *S1, const char *S2) const {
263         return strcmp(S1, S2) < 0;
264       }
265     };
266
267     void HandleByVal(CCState *, unsigned &, unsigned) const override;
268
269     unsigned getRegisterByName(const char* RegName, EVT VT) const override;
270
271   protected:
272     SDValue getGlobalReg(SelectionDAG &DAG, EVT Ty) const;
273
274     // This method creates the following nodes, which are necessary for
275     // computing a local symbol's address:
276     //
277     // (add (load (wrapper $gp, %got(sym)), %lo(sym))
278     template <class NodeTy>
279     SDValue getAddrLocal(NodeTy *N, SDLoc DL, EVT Ty, SelectionDAG &DAG,
280                          bool IsN32OrN64) const {
281       unsigned GOTFlag = IsN32OrN64 ? MipsII::MO_GOT_PAGE : MipsII::MO_GOT;
282       SDValue GOT = DAG.getNode(MipsISD::Wrapper, DL, Ty, getGlobalReg(DAG, Ty),
283                                 getTargetNode(N, Ty, DAG, GOTFlag));
284       SDValue Load = DAG.getLoad(Ty, DL, DAG.getEntryNode(), GOT,
285                                  MachinePointerInfo::getGOT(), false, false,
286                                  false, 0);
287       unsigned LoFlag = IsN32OrN64 ? MipsII::MO_GOT_OFST : MipsII::MO_ABS_LO;
288       SDValue Lo = DAG.getNode(MipsISD::Lo, DL, Ty,
289                                getTargetNode(N, Ty, DAG, LoFlag));
290       return DAG.getNode(ISD::ADD, DL, Ty, Load, Lo);
291     }
292
293     // This method creates the following nodes, which are necessary for
294     // computing a global symbol's address:
295     //
296     // (load (wrapper $gp, %got(sym)))
297     template <class NodeTy>
298     SDValue getAddrGlobal(NodeTy *N, SDLoc DL, EVT Ty, SelectionDAG &DAG,
299                           unsigned Flag, SDValue Chain,
300                           const MachinePointerInfo &PtrInfo) const {
301       SDValue Tgt = DAG.getNode(MipsISD::Wrapper, DL, Ty, getGlobalReg(DAG, Ty),
302                                 getTargetNode(N, Ty, DAG, Flag));
303       return DAG.getLoad(Ty, DL, Chain, Tgt, PtrInfo, false, false, false, 0);
304     }
305
306     // This method creates the following nodes, which are necessary for
307     // computing a global symbol's address in large-GOT mode:
308     //
309     // (load (wrapper (add %hi(sym), $gp), %lo(sym)))
310     template <class NodeTy>
311     SDValue getAddrGlobalLargeGOT(NodeTy *N, SDLoc DL, EVT Ty,
312                                   SelectionDAG &DAG, unsigned HiFlag,
313                                   unsigned LoFlag, SDValue Chain,
314                                   const MachinePointerInfo &PtrInfo) const {
315       SDValue Hi =
316           DAG.getNode(MipsISD::Hi, DL, Ty, getTargetNode(N, Ty, DAG, HiFlag));
317       Hi = DAG.getNode(ISD::ADD, DL, Ty, Hi, getGlobalReg(DAG, Ty));
318       SDValue Wrapper = DAG.getNode(MipsISD::Wrapper, DL, Ty, Hi,
319                                     getTargetNode(N, Ty, DAG, LoFlag));
320       return DAG.getLoad(Ty, DL, Chain, Wrapper, PtrInfo, false, false, false,
321                          0);
322     }
323
324     // This method creates the following nodes, which are necessary for
325     // computing a symbol's address in non-PIC mode:
326     //
327     // (add %hi(sym), %lo(sym))
328     template <class NodeTy>
329     SDValue getAddrNonPIC(NodeTy *N, SDLoc DL, EVT Ty,
330                           SelectionDAG &DAG) const {
331       SDValue Hi = getTargetNode(N, Ty, DAG, MipsII::MO_ABS_HI);
332       SDValue Lo = getTargetNode(N, Ty, DAG, MipsII::MO_ABS_LO);
333       return DAG.getNode(ISD::ADD, DL, Ty,
334                          DAG.getNode(MipsISD::Hi, DL, Ty, Hi),
335                          DAG.getNode(MipsISD::Lo, DL, Ty, Lo));
336     }
337
338     // This method creates the following nodes, which are necessary for
339     // computing a symbol's address using gp-relative addressing:
340     //
341     // (add $gp, %gp_rel(sym))
342     template <class NodeTy>
343     SDValue getAddrGPRel(NodeTy *N, SDLoc DL, EVT Ty, SelectionDAG &DAG) const {
344       assert(Ty == MVT::i32);
345       SDValue GPRel = getTargetNode(N, Ty, DAG, MipsII::MO_GPREL);
346       return DAG.getNode(ISD::ADD, DL, Ty,
347                          DAG.getRegister(Mips::GP, Ty),
348                          DAG.getNode(MipsISD::GPRel, DL, DAG.getVTList(Ty),
349                                      GPRel));
350     }
351
352     /// This function fills Ops, which is the list of operands that will later
353     /// be used when a function call node is created. It also generates
354     /// copyToReg nodes to set up argument registers.
355     virtual void
356     getOpndList(SmallVectorImpl<SDValue> &Ops,
357                 std::deque< std::pair<unsigned, SDValue> > &RegsToPass,
358                 bool IsPICCall, bool GlobalOrExternal, bool InternalLinkage,
359                 bool IsCallReloc, CallLoweringInfo &CLI, SDValue Callee,
360                 SDValue Chain) const;
361
362   protected:
363     SDValue lowerLOAD(SDValue Op, SelectionDAG &DAG) const;
364     SDValue lowerSTORE(SDValue Op, SelectionDAG &DAG) const;
365
366     // Subtarget Info
367     const MipsSubtarget &Subtarget;
368     // Cache the ABI from the TargetMachine, we use it everywhere.
369     const MipsABIInfo &ABI;
370
371   private:
372     // Create a TargetGlobalAddress node.
373     SDValue getTargetNode(GlobalAddressSDNode *N, EVT Ty, SelectionDAG &DAG,
374                           unsigned Flag) const;
375
376     // Create a TargetExternalSymbol node.
377     SDValue getTargetNode(ExternalSymbolSDNode *N, EVT Ty, SelectionDAG &DAG,
378                           unsigned Flag) const;
379
380     // Create a TargetBlockAddress node.
381     SDValue getTargetNode(BlockAddressSDNode *N, EVT Ty, SelectionDAG &DAG,
382                           unsigned Flag) const;
383
384     // Create a TargetJumpTable node.
385     SDValue getTargetNode(JumpTableSDNode *N, EVT Ty, SelectionDAG &DAG,
386                           unsigned Flag) const;
387
388     // Create a TargetConstantPool node.
389     SDValue getTargetNode(ConstantPoolSDNode *N, EVT Ty, SelectionDAG &DAG,
390                           unsigned Flag) const;
391
392     // Lower Operand helpers
393     SDValue LowerCallResult(SDValue Chain, SDValue InFlag,
394                             CallingConv::ID CallConv, bool isVarArg,
395                             const SmallVectorImpl<ISD::InputArg> &Ins, SDLoc dl,
396                             SelectionDAG &DAG, SmallVectorImpl<SDValue> &InVals,
397                             TargetLowering::CallLoweringInfo &CLI) const;
398
399     // Lower Operand specifics
400     SDValue lowerBR_JT(SDValue Op, SelectionDAG &DAG) const;
401     SDValue lowerBRCOND(SDValue Op, SelectionDAG &DAG) const;
402     SDValue lowerConstantPool(SDValue Op, SelectionDAG &DAG) const;
403     SDValue lowerGlobalAddress(SDValue Op, SelectionDAG &DAG) const;
404     SDValue lowerBlockAddress(SDValue Op, SelectionDAG &DAG) const;
405     SDValue lowerGlobalTLSAddress(SDValue Op, SelectionDAG &DAG) const;
406     SDValue lowerJumpTable(SDValue Op, SelectionDAG &DAG) const;
407     SDValue lowerSELECT(SDValue Op, SelectionDAG &DAG) const;
408     SDValue lowerSELECT_CC(SDValue Op, SelectionDAG &DAG) const;
409     SDValue lowerSETCC(SDValue Op, SelectionDAG &DAG) const;
410     SDValue lowerVASTART(SDValue Op, SelectionDAG &DAG) const;
411     SDValue lowerVAARG(SDValue Op, SelectionDAG &DAG) const;
412     SDValue lowerFCOPYSIGN(SDValue Op, SelectionDAG &DAG) const;
413     SDValue lowerFABS(SDValue Op, SelectionDAG &DAG) const;
414     SDValue lowerFRAMEADDR(SDValue Op, SelectionDAG &DAG) const;
415     SDValue lowerRETURNADDR(SDValue Op, SelectionDAG &DAG) const;
416     SDValue lowerEH_RETURN(SDValue Op, SelectionDAG &DAG) const;
417     SDValue lowerATOMIC_FENCE(SDValue Op, SelectionDAG& DAG) const;
418     SDValue lowerShiftLeftParts(SDValue Op, SelectionDAG& DAG) const;
419     SDValue lowerShiftRightParts(SDValue Op, SelectionDAG& DAG,
420                                  bool IsSRA) const;
421     SDValue lowerADD(SDValue Op, SelectionDAG &DAG) const;
422     SDValue lowerFP_TO_SINT(SDValue Op, SelectionDAG &DAG) const;
423
424     /// isEligibleForTailCallOptimization - Check whether the call is eligible
425     /// for tail call optimization.
426     virtual bool
427     isEligibleForTailCallOptimization(const CCState &CCInfo,
428                                       unsigned NextStackOffset,
429                                       const MipsFunctionInfo &FI) const = 0;
430
431     /// copyByValArg - Copy argument registers which were used to pass a byval
432     /// argument to the stack. Create a stack frame object for the byval
433     /// argument.
434     void copyByValRegs(SDValue Chain, SDLoc DL, std::vector<SDValue> &OutChains,
435                        SelectionDAG &DAG, const ISD::ArgFlagsTy &Flags,
436                        SmallVectorImpl<SDValue> &InVals,
437                        const Argument *FuncArg, unsigned FirstReg,
438                        unsigned LastReg, const CCValAssign &VA,
439                        MipsCCState &State) const;
440
441     /// passByValArg - Pass a byval argument in registers or on stack.
442     void passByValArg(SDValue Chain, SDLoc DL,
443                       std::deque<std::pair<unsigned, SDValue>> &RegsToPass,
444                       SmallVectorImpl<SDValue> &MemOpChains, SDValue StackPtr,
445                       MachineFrameInfo *MFI, SelectionDAG &DAG, SDValue Arg,
446                       unsigned FirstReg, unsigned LastReg,
447                       const ISD::ArgFlagsTy &Flags, bool isLittle,
448                       const CCValAssign &VA) const;
449
450     /// writeVarArgRegs - Write variable function arguments passed in registers
451     /// to the stack. Also create a stack frame object for the first variable
452     /// argument.
453     void writeVarArgRegs(std::vector<SDValue> &OutChains, SDValue Chain,
454                          SDLoc DL, SelectionDAG &DAG, CCState &State) const;
455
456     SDValue
457       LowerFormalArguments(SDValue Chain,
458                            CallingConv::ID CallConv, bool isVarArg,
459                            const SmallVectorImpl<ISD::InputArg> &Ins,
460                            SDLoc dl, SelectionDAG &DAG,
461                            SmallVectorImpl<SDValue> &InVals) const override;
462
463     SDValue passArgOnStack(SDValue StackPtr, unsigned Offset, SDValue Chain,
464                            SDValue Arg, SDLoc DL, bool IsTailCall,
465                            SelectionDAG &DAG) const;
466
467     SDValue LowerCall(TargetLowering::CallLoweringInfo &CLI,
468                       SmallVectorImpl<SDValue> &InVals) const override;
469
470     bool CanLowerReturn(CallingConv::ID CallConv, MachineFunction &MF,
471                         bool isVarArg,
472                         const SmallVectorImpl<ISD::OutputArg> &Outs,
473                         LLVMContext &Context) const override;
474
475     SDValue LowerReturn(SDValue Chain,
476                         CallingConv::ID CallConv, bool isVarArg,
477                         const SmallVectorImpl<ISD::OutputArg> &Outs,
478                         const SmallVectorImpl<SDValue> &OutVals,
479                         SDLoc dl, SelectionDAG &DAG) const override;
480
481     bool shouldSignExtendTypeInLibCall(EVT Type, bool IsSigned) const override;
482
483     // Inline asm support
484     ConstraintType getConstraintType(StringRef Constraint) const override;
485
486     /// Examine constraint string and operand type and determine a weight value.
487     /// The operand object must already have been set up with the operand type.
488     ConstraintWeight getSingleConstraintMatchWeight(
489       AsmOperandInfo &info, const char *constraint) const override;
490
491     /// This function parses registers that appear in inline-asm constraints.
492     /// It returns pair (0, 0) on failure.
493     std::pair<unsigned, const TargetRegisterClass *>
494     parseRegForInlineAsmConstraint(StringRef C, MVT VT) const;
495
496     std::pair<unsigned, const TargetRegisterClass *>
497     getRegForInlineAsmConstraint(const TargetRegisterInfo *TRI,
498                                  StringRef Constraint, MVT VT) const override;
499
500     /// LowerAsmOperandForConstraint - Lower the specified operand into the Ops
501     /// vector.  If it is invalid, don't add anything to Ops. If hasMemory is
502     /// true it means one of the asm constraint of the inline asm instruction
503     /// being processed is 'm'.
504     void LowerAsmOperandForConstraint(SDValue Op,
505                                       std::string &Constraint,
506                                       std::vector<SDValue> &Ops,
507                                       SelectionDAG &DAG) const override;
508
509     unsigned
510     getInlineAsmMemConstraint(StringRef ConstraintCode) const override {
511       if (ConstraintCode == "R")
512         return InlineAsm::Constraint_R;
513       else if (ConstraintCode == "ZC")
514         return InlineAsm::Constraint_ZC;
515       return TargetLowering::getInlineAsmMemConstraint(ConstraintCode);
516     }
517
518     bool isLegalAddressingMode(const DataLayout &DL, const AddrMode &AM,
519                                Type *Ty, unsigned AS) const override;
520
521     bool isOffsetFoldingLegal(const GlobalAddressSDNode *GA) const override;
522
523     EVT getOptimalMemOpType(uint64_t Size, unsigned DstAlign,
524                             unsigned SrcAlign,
525                             bool IsMemset, bool ZeroMemset,
526                             bool MemcpyStrSrc,
527                             MachineFunction &MF) const override;
528
529     /// isFPImmLegal - Returns true if the target can instruction select the
530     /// specified FP immediate natively. If false, the legalizer will
531     /// materialize the FP immediate as a load from a constant pool.
532     bool isFPImmLegal(const APFloat &Imm, EVT VT) const override;
533
534     unsigned getJumpTableEncoding() const override;
535     bool useSoftFloat() const override;
536
537     /// Emit a sign-extension using sll/sra, seb, or seh appropriately.
538     MachineBasicBlock *emitSignExtendToI32InReg(MachineInstr *MI,
539                                                 MachineBasicBlock *BB,
540                                                 unsigned Size, unsigned DstReg,
541                                                 unsigned SrcRec) const;
542
543     MachineBasicBlock *emitAtomicBinary(MachineInstr *MI, MachineBasicBlock *BB,
544                     unsigned Size, unsigned BinOpcode, bool Nand = false) const;
545     MachineBasicBlock *emitAtomicBinaryPartword(MachineInstr *MI,
546                     MachineBasicBlock *BB, unsigned Size, unsigned BinOpcode,
547                     bool Nand = false) const;
548     MachineBasicBlock *emitAtomicCmpSwap(MachineInstr *MI,
549                                   MachineBasicBlock *BB, unsigned Size) const;
550     MachineBasicBlock *emitAtomicCmpSwapPartword(MachineInstr *MI,
551                                   MachineBasicBlock *BB, unsigned Size) const;
552     MachineBasicBlock *emitSEL_D(MachineInstr *MI, MachineBasicBlock *BB) const;
553     MachineBasicBlock *emitPseudoSELECT(MachineInstr *MI,
554                                         MachineBasicBlock *BB, bool isFPCmp,
555                                         unsigned Opc) const;
556   };
557
558   /// Create MipsTargetLowering objects.
559   const MipsTargetLowering *
560   createMips16TargetLowering(const MipsTargetMachine &TM,
561                              const MipsSubtarget &STI);
562   const MipsTargetLowering *
563   createMipsSETargetLowering(const MipsTargetMachine &TM,
564                              const MipsSubtarget &STI);
565
566   namespace Mips {
567     FastISel *createFastISel(FunctionLoweringInfo &funcInfo,
568                              const TargetLibraryInfo *libInfo);
569   }
570 }
571
572 #endif